江苏省建设科技领域研究成果的效益评价方法研究

夏永芳 1,2，吴志敏 1,2，杨玥 1,2

（ 1.江苏省建筑科学研究院有限公司，江苏 南京 210008； 2.江苏省绿色建筑与结构安全重点实验室，江苏 南京 210008）

[摘要] 近几年，江苏省在建设科技领域的科研项目逐年增加，科技成果也逐步提升，科技支撑力度进一步增强，但对于科研项目的事后评估不足。本文通过调研“十一五”至“十三五”期间建设系统科技项目，结合江苏省建设科技领域成果的特殊性，运用统计学的方法对项目调研数据进行分析，将江苏省的建设科技项目分为政策研究型、基础研究型和技术应用型三类。针对三类课题的研究特性制定统一的评价指标和差异化的指标权重，对江苏省建设科技领域成果管理和评价工作具有重要指导意义。

[关键词] 建设科技；效益评价；政策研究型；基础研究型；技术应用型；指标体系

1、研究背景

对建设科技领域研究成果的效益评价方法的研究，是一项集评价理论、评价方法与具体操作系统为一体的综合性研究项目。建设科技领域研究成果的效益评价工作是科技评估工作的重要组成部分，它主要是对科技活动产生的效益进行全方位的评定，从反馈的角度为科技管理部门提供决策、修改政策等方面的依据，因而在科技评估工作中具有更重要的地位。近几年，江苏省在建设科技领域的科研项目逐年增加，财政对科研的投入不断加大；但对科研项目的评价工作却仅限于事前立项、事中执行检查和项目结题验收，对科研项目的事后评估不足，且现有的科研项目后评估指标体系和后评估方法存在缺陷，而江苏省的建设科技科研项目后评估工作则尚未开展。基于以上现实，本文提出对建设科技领域研究成果的效益评价方法和指标体系进行研究。

2、江苏省建设科技领域研究项目成果调研

2.1 调研对象

本次研究主要调研对象为江苏省2006年—2019年建设系统科技项目和建筑节能引导资金重大课题研究项目，共计1709项，其中招标项目15项，指导项目1299项，计划项目353项，重大课题项目42项。

图1 建设科技领域科研项目数量统计图

2.2 调研小结

江苏省紧紧围绕节约型城乡建设，把科技进步和自主创新作为推动城乡建设事业发展的强大动力，把科技成果转化和试点示范作为提升节约型城乡建设的重要途径，把推广科技应用和标准编制作为建设科技进步的关键抓手，建设领域工作，科技成果质量大幅提升，科技支撑力度进一步增强，为江苏省建设事业发展提供了强有力的核心动力，推动了建设领域各行业整体技术进步。

“十一五”到“十三五”期间，江苏省建设科技支撑能力不断增强，技术研发与成果应用极大的推动了产业发展，建设领域重点工作成果喜人。建设科技创新和管理机制不断完善，行业科技投入、科技成果水平、科技队伍创新能力更上一个台阶，示范项目数量和质量在全国继续保持领先地位，建筑产业现代化、智慧城市建设等重点领域技术创新取得突破。

江苏省建设科技领域的项目围绕着城乡规划、新农村建设、智慧城市、产业现代化发展、海绵城市建设等各项工作，科研项目研究领域涉及市政建设、城市规划建设、建筑节能、分项计量、绿色建筑技术、产业化发展、可再生能源应用、建筑材料、智慧城市、资源合理化综合利用技术等等，为江苏省推进节约城乡型建设提供了有力的技术支撑。

3、国内外科技研究成果效益评价方法

3.1 国内外科技领域研究现状

国外科技评价研究注重基础理论与评价实践相结合，主要分为三个方面^[1]：一是关于科研项目和计划评价的理论研究，这些研究大多是直接为科技评价实践服务或提供理论依据。二是研究科技评价的方法，定性评价方法研究最多的是同行评议。三是关于具体的评价实践研究，如机构评价、项目评价、人员评价、政策评价以及学科评价等。

从国外开展项目评价的现状分析，主要有以下几个特点：（1）评价活动既是通过立法保障的、制度化的工作行为，又是专业性很强、技术含量很高的研究活动；（2）为决策服务是评价活动的基本宗旨，独立性、客观性是评价活动的首要原则；（3）明确的评价目标是确保评价质量的关键要素：（4）科学性与可操作性相结合是开展项目评价行之有效的做法；（5）坚持决策导向与重视评价理论方法的创新。

我国在一些重大科技（计划）项目方面，如国家对攻关计划的评价、“863”计划评价、高新技术开发区评价等，开展了一系列的研究和实践探索。我国已经充分认识到了科学项目评价工作对科学技术管理工作的重要作用，在评价领域内也有自己的一些见解。但由于评价工作是一种跨学科、跨层次的综合性工作，它既要求社会科学、经济学与自然科学的结合，又要求决策层、执行层与研究层的结合，我国目前在进行科技评价时，各地都有自己的政策，还没有一个总的规范性的要求，很难在全国范围内进行统一标准的评价。

3.2 国内外科技领域常用研究方法

国内外常用的科技成果效益评价方法包括定性评价方法和定量评价方法，其中定性评价方法分为专家会议法（同行评议法）

^[1]、Delphi法^[2]；定量评价方法分为层次分析法^[2,3]、模糊综合评价法^[2,3]：和数据包络分析法^[3]：各类评价方法的特征及应用对比见表1。

表1 主要评价方法比较^[4]

4、江苏省建设科技研究成果效益评价方法研究

科技项目评价是科学技术管理体系中的重要环节，它既是管理过程的出发点，又是管理过程的归宿，对于加强科技项目的管理，提高科技资源配置的有效性和投资效益有着重要的作用。

4.1 统计分析

结合江苏省建设科技领域成果的特殊性，运用统计学的方法对项目调研数据进行分析，根据分析结果，对建设科技领域研究项目类别进行系统划分，主要有以下三类：

1）政策研究型课题

通过政策研究型课题开展支撑建设领域政府管理能力、承担任务的能力，合理控制科技资源规模，提升建设科技服务水平与服务质量。这类课题会形成指导江苏省建设科技领域发展的政策文件、导则、标准、评价指标体系、建设指南等等。政策研究型课题是建设科技项目的重要组成部分，以实现决策科学化、民主化为目标，综合运用自然科学、社会科学和工程技术等多门类、多学科知识，为建设科技、经济和社会发展重大决策提供支撑。

政策研究型课题强调“服务决策效能”，为建设领域科技创新、经济发展、社会进步、民生改善等重大决策提供支撑。课题研究突出策略和方案研究，一般无纯理论性、技术性研究，也非具体技术应用性研究。

2）基础研究型课题

对江苏省建设行业相关领域理论现状、技术现状、发展状况进行基础调研、宏观方面的应用研究，发现相关规律，提出创新性的发展思路和建议，提升自主创新能力和市场竞争力，并产生间接的经济及社会效益。这类课题一般是理论方法研究、建筑技术现状与对策研究、对建设科技某些领域的回顾与展望、监管与管理体系研究等等。

建设行业突出科技成果应用，基础研究型课题主要针对相关技术的应用基础研究，一般非纯理论性学科方面的研究，课题研究成果主要为建设领域技术开发、技术应用提供基础支撑。

3）技术应用型课题

技术应用型课题是为了提高建设领域生产力水平进行的科学研究和技术开发，通过技术开发、试验和应用推广产生具有实用价值的新技术、新工艺、新材料、新设计、新产品，并产生直接和间接的经济及社会效益。

技术应用型课题注重关键技术研究、核心技术的开发，旨在解决建设领域实际工程中的共性和关键的技术难题。课题研究成果可以直接服务于工程建设，创造实际的经济及社会效益。

4.2 评价方法

国内外常用的科技成果效益评价方法包括定性和定量两大类、五种评价方法，本次研究总结当前国内外常用的科技项目评价方法：定性的评价方法和经济评价法比较简单，易于操作，在实际中应用比较多。层次分析法、多属性和多目标决策方法以及模糊综合评价法用起来需要有很高的专业知识，属于定量的研究，一般对进行评价的人员要求很高。其中在定性的研究的时候，评价指标的制定是一项很复杂的工作，一般而言，指标的范围越宽，数量越多，则方案的差异越明显，越有利于判断和评价，但指标的确定也就越困难。

在对江苏省建设科技项目进行评价的时候，到底采用哪一种方法，需要根据评价对象、评价的目的和要求等来选取。为了保证评价过程的公平、公正、客观，我们借鉴国外科技项目评价方法，结合江苏建筑科技领域科研项目的实际情况，采用如下方法步骤：

（1）结合江苏建筑科技项目的实际情况，对科技项目的内容进行仔细分析，按政策性课题、基础性课题、应用型课题三个种类，对科技项目的社会影响、市场价值和前景进行判断，选择合适的评价方法，能够正确地反映评价对象和评价目的。

（2）在对科技项目进行评价时，由于一般都采用专家打分和指标评价的方法，这就要求参与该项目评价的人员要独立于评价委托方，遵循回避原则；在选择专家时，要从专家库里面选择来自不同领域不同地方的专家进行评价，使得知识结构合理化，避免熟人效应的副作用。

（3）进行科技项目评价时，必须简洁明了，尽量降低算法的复杂性，选择评价者所熟悉的方法。如果有可能，多使用一些定量的评价方法来进行分析，使评价过程更具有说服力。

4.3 指标体系构建

建设行业是个相对比较老的行业，建设领域的技术成熟度和实用性相对比较高。建设领域科研成果取自于工程建设实践，也终将服务于工程建设实践。建设领域纯理论性的研究相对偏少。根据前述分析，将建设领域科研项目进行分类，结合建设行业以及建设领域科研的实际情况，本着相对全面、构架清晰、指标合理、实用、可操作性强等原则，构建建设领域科研项目评价指标体系框架。

为易于评价，针对政策研究型、基础研究型以及技术应用型3类科研项目均建立统一的评价指标体系框架，各指标之间尽量没有交叉、重复。根据科研项目的类型不同设置不同的指标的权重组成结构。

从科技水平、综合效益、科技价值3方面构建一级指标。科技水平下设创新程度、先进程度2个二级指标；综合效益下设经济效益、社会效益、环境效益3个二级指标；科技价值下设推广价值、行业贡献、学术价值3个二级指标。8个二级指标下共设21个三级指标，指标体系框架见表2。

表2 建设领域科研项目评价指标体系框架

4.4 各类型课题指标体系

4.4.1政策研究型课题指标体系

政策研究型课题的研究主要是现行建设领域迫切需要解决的问题、需要推进的技术体系、技术措施，通过课题研究确认研究领域的发展程度、在江苏地区的推进情况，建立推进过程中的制度、管理体系，为政策推进提供保障。政策研究型课题的评价指标侧重于政策发布实施后带来的综合效益，即对现有建设领域产生的经济、社会效益和环境保护作用，因此综合效益的权重最高，达到58%。此外对政策型课题比较重要的是政策应用推广效果和对建设领域、建设科技的带动作用。制定一个好的政策可以更好的带动建设科技领域的发展，提升发展速度、保证服务水平，因此对政策型课题科技价值的评价也很重要，指标权重为28%。对政策研究型课题而言，科技水平高可以更好的引领建设领域的发展速度，但是过于创新、先进的科技水平，建立政策推广难度较大，且不利于合理控制，因此科技水平的权重相对较低，指标权重为14%。政策研究型指标体系的指标权重见表3。

表3 政策研究型指标体系

4.4.2 基础研究型课题指标体系

建设行业基础研究型课题主要针对相关技术的应用基础研究，一般非纯理论性学科方面的研究，课题研究成果主要为建设领域技术开发、技术应用提供基础支撑。通过基础研究型课题的研究促进企业自主创新能力和市场竞争力，从而产生间接的经济效益和社会效益。

基础研究型课题侧重于对江苏省建设行业相关领域理论现状、技术现状、发展状况进行基础调研、宏观方面的应用研究，发现相关规律，提出创新性的发展思路和建议，基础研究型课题成果的创新性和先进性为后期江苏省建设领域的创造性发展奠定基础，因此基础研究型课题的评价指标中科技水平的权重最高，达到45%。基础研究课题评价指标中比较重要的另一个指标是其科技价值，权重为28%，科技价值体现了基础研究成果对整个建设行业的贡献、学术认可度，从而有利于成果在建设行业的推广，为技术开发、技术应用提供更好的基础支撑。此外，通过基础研究课题的研究促进建设领域企业自主创新能力、提升市场竞争力、间接产生经济、社会、环境效益综合效益的权重为27%。基础研究型指标体系的指标权重见表4。

表4 基础研究型指标体系

4.4.3 技术应用型课题指标体系

技术应用型课题注重关键技术的研究、核心技术的开发，旨在解决建设领域实际工程中的共性和关键的技术难题。课题研究成果表现为具有实用价值的新技术、新工艺、新材料、新设计、新产品，创造实际的经济及社会效益。

技术应用型课题研究成果旨在开发可以直接服务与建设工程的新技术、新产品、新工艺，这些新的技术、产品、工艺具有更高的技术水平，与原有的技术、产品、工艺相比，可以节约造价成本、增加产能、提升建设品质、人员舒适度、同时还能改善生态环境、节约能源资源，因此技术应用型课题的综合效益权重达到41%。技术应用型课题成果评价另一个重要指标为成果的科技价值，指标权重为39%。科技价值反应新开发的技术、产品、工艺的学术水平、在整个建设科技领域的行业影响力，以及成果推广应用情况。技术应用课题成果更强调新的技术在建设科技领域实际工程中能解决的关键技术难点，相比较而言，技术应用型课题的科技水平指标稍微低一些，指标权重为20%。技术应用型指标体系的指标权重见表5。

表5 技术研究型指标体系

5、小结

本次研究运用统计学的方法对项目调研数据进行分析，根据分析结果，对建设科技领域研究项目类别进行系统划分，主要分为政策研究型、基础研究型和技术应用型三大类。总结定性评价法与定量评价法的优缺点，找出适宜江苏省建设科技评价的技术体系。结合江苏省建设科技项目的特点，梳理出适宜的指标体系构建思路，筛选评估指标，量化指标权重，从科技项目的社会影响、市场价值和应用前景几个方面，针对政策研究型、基础研究型、技术应用型三类项目建立评价指标体系和指标权重。这对江苏省建设科技领域成果的管理、评价具有重要的意义。

参考文献

[1]吴淑荣. 科技项目评审专家绩效综合评价方法研究[D]. 武汉：武汉理工大学， 2009.

[2]金振辉. 科技项目评价方法研究[D]. 昆明：昆明理工大学，2006.

[3]戴静兰. 基于DEA方法的江苏省技术创新效率研究[D]. 南京：南京理工大学， 2009.

[4]陈良美. 建筑新技术评价模式及指标体系设计研究[D].重庆：重庆大学，2005.

[5] 徐岳. “十三五”江苏建设科技创新发展的思考与探析[J]. 江苏建筑，2016（3）