科技评价中专家权重赋值优化研究
科技评价方法论研究
讨论： 第一，应该考虑科技管理理论，对于重要 的变量，即使统计检验再不显著，也不应 该轻易舍去。 第二，一旦发现变量的统计检验不显著， 要从数据的来源、数据的内含进行认真分 析，尽量避免数据重复、数据错误、指标 类似等情况发生。 第三，删除指标时要考虑多重共线性因素 ，同类指标在删除时至少要留下最重要的 一个。多重共线性问题也会使回归系数为 负。
结论与讨论： 1、同行评议与指标评价结果不一致时 ，最好将两者结合进行评价。 2、在原始数据较少的情况下不宜采用 本方法 。 3、如果指标体系本身数据比较完备， 能反映完全信息，此时应向同行评议专家 提供相关数据，以避免专家由于数据缺失 而造成的偏见。如果基础数据本来就较少 ，此时不提供基础数据给同行评议专家可 能反而是较好的选择，让专家凭直觉进行 判断即可。
需要说明的是，这两种方法均不适用 于指标体系直接人为赋权的评价，因为直 接赋权时，评价结果值与诸指标是严格的 等量关系，而不是相关关系。 如:指标体系加权汇总(x1~x4为指标，Y 为评价值） Y=0.2X1+0.1X2+0.4X3+0.3X4，这是严格 的等量关系，该方法经常被应用。 若采用主成分或TOPSIS等方法，那么Y与 X1~X4之间就是相关关系，可以用回归进 行估计。 运用以上两种方法，还可以找到异常 样本点，对其可以进行重点分析。
方法： 1、比较不同评价方法评价结果与评价指标 回归后的拟合优度R2。 R2越大，说明各指 标对评价结果的解释越好。 2、采用DEA方法，所有评价指标作为投入 变量，评价值作为产出变量，先计算效率 。然后计算效率集中度。 效率集中度=1-效率标准差/效率平均值
如果样本点越靠近拟合曲线，评价结果对 指标体系的解释效果越好。最佳状态，所 有点都在一条直线上。
多种赋权方法联合应用制定科技实力评价指标权重
ｍ
⑤ 熵权法 ： 第－ 『 项指标的信息熵计算公式 ：
弓＝ 一 （ １ ｎ ｍ ） ∑Ｐ ｌ ｎ Ｐ ， ＝ ｌ ， ２ ， ３ ， … ， ３ ６
其 中， ｍ为被评 价对象 的数 目， ｎ为评 价指 标数
（ 本 例 ＝ ３ ６ ） 并 且Ｐ ＝ ｄ Ｊ∑ｄ ， ｄ ｕ 为 通过 线性 插
２ ． 研 究 方法
科研项目 项目总数 项 目级别
学士人数 项目总数
全军级别项目数 军区后勤科研计划数
后勤 科研单位后勤 科研计划数
国家基金资助项目 数
（ １ ） 评 价 指标 的筛 选
舶 勋 勘 血 肼 本年 孙 脚经费 期 本年度预算经费 度预算
技术任务 技术任务总数 科研设施 年度投入资金 技术任务总数 年度投入资金 设备经费 本年度预算经费 本年度预 算经费
中国卫生统计 ２ ０ １ ３年 ２月第 ３ Ｏ卷第 １期
多 种 赋 权 方 法 联 合 应 用 制 定 科 技 实 力评 价 指 标 权 重
何 倩 顾 洪 郭 晓 晶 许金 芳 贺 佳
【 提 要】 目的 制定 评价科技实力指标权重 。方 法 采用 主观赋权 （ 专家打分 法 、 对 比排序法 、 Ｓ ａ ａ ｔ ｙ ’ ｓ 权 重法 ） 和 客观赋权 （ 标 准离差法 、 熵权法 、 Ｃ Ｒ Ｉ Ｔ Ｉ Ｃ法 ） 相结合 的方法制定科技实力指标权重 。结果 主观赋权法得到 的指标权重 之 间相关系数均大 于 ０ ． ７ ， 客观赋权 方法 中， 熵权法 和标 准离 差法及 Ｃ ＩＴ Ｒ Ｉ Ｃ法得 到的权重 之间存 在负相 关 ； 主观赋权 方法
价方法相结合建立科技实力评价体 系， 对科技单位进 行综合评价， 力求更全面客观地反映实际情况。
科技评估指标体系设计的原则及其应用研究
指标体系
构建科技成果评估的指标体系是评估工作的核心。指标体系的构建应考虑科 技成果的特点和评估目的，包括科技成果的创新性、实用性、经济社会效益等方 面。具体来说，指标体系应包含以下内容：
1、科技成果的创新性：主要评估科技成果是否具有新颖性、创造性和实用 性。
2、科技成果的技术水平：主要评估科技成果在相关领域的技术地位和水平。
随着国家科技创新体系的不断完善，地方科技计划项目在推动地区经济发展 和科技进步方面具有重要意义。然而，如何科学地评估这些项目的绩效成为了一 个重要的问题。本次演示旨在探讨地方科技计划项目绩效评估指标体系的研究与 应用，以期为项目管理提供理论支持和实践指导。
在过去的研究中，针对地方科技计划项目绩效评估指标体系的研究尚不完善。 虽然已有一些研究涉及到了科技计划项目的评估，但大多集中在项目立项、执行 过程和成果评价等方面，而对于项目绩效的全面评估和指标体系的构建研究不足。 此外，已有研究多从单一角度出发，缺少全面、系统的分析。
2、综合分析：除了使用定量的评估指标外，还可以结合定性的方法，如案 例分析、专家评审等，进行综合分析，以便更全面地了解政策的实施效果。
3、公众参与：鼓励公众参与评估过程，可以提高透明度和公正性。例如， 可以组织公开听证会、在线问卷调查等活动，让更多的人参与到政策实施效果的 评估中来。
总之，构建并应用科技人才政策实施效果评估指标体系，有助于科学准确地 评价政策的实际效果，为进一步完善科技人才政策提供依据。这不仅有助于提升 科技人才的吸引力和培养质量，还有助于推动国家科技创新和社会进步。
评估方法
科技成果评估的方法包括定性和定量两种。定性评估主要采用专家评审、同 行评议等方式，侧重于对科技成果的创新性、科学价值、社会影响等方面进行评 估。定量评估则采用数学模型和数据分析等方法，通过对科技成果的相关数据进 行统计分析，以量化的方式评估科技成果的价值。在具体实践中，可以根据具体 情况采用一种或多种评估方法，以获得更全面准确的评估结果。
全国缝制机械行业科技创新奖评价指标权重分配的优化研究
第２ １卷 第 ２期
２ ０ 年 ３ 月 ０８
Ｄｅ ｅｏ ｍｅ ｔ Ｉ ｎ ｖ ｔ ｎ ｏ ｃ ｉｅ ｙ＆ Ｅ ｅ ｔ ｃ ｌ ｒ ｄ ｃｓ ｖ ｌｐ ｎ ＆ ｎ ｏ ａｉ ｆ ｏ Ｍａ ｈｎ ｒ ｌｃｒ ａ ｏ ｕ ｔ ｉ Ｐ
机 电 产 品 开发 与 崭
４ 已 获 经 济 经 济 效 益 较 大 Ｂ． 效 益 Ｃ 经 济 效 益 一 般
．
４
５分
对 提 高 市
３分 １２分 ～ ０分 ４ ５分 —
３分 １２分 ～ Ｏ分 ４
～
Ｏ
．
２
１ 全 国缝 制 机械 行 业 科技 创 新 奖 评 选 过 程
全 国缝 制 机 械 行 业 科 技 创 新 奖 的 评 定 范 围 为 各 企 业
一
５分
所 申 报 的符 合 行 业 科 技 开 发 项 目指 南 目录 相 关 条 目要 求
３分 Ｏ１ ．５ １ ２分 Ｏ分
的项 目 在 收到 企业 的 申报后 ．协 会科 技委 将组 织行 业 专家 对其进 行验 收 ．所 有验 收合 格项 目将 有 资格 参加 全
ｌ 号 指标项 序 考评点 Ａ． 重 大 突 破 或 实 质 性 创 新 有
有一定创新
技 度 明破新 术 显或 创Ｂ 突创 新 Ｃ 有
．
考评点 分值 权重 ４ ５分 —
１ ２分 —
。２ ．
３ Ｊ 分
Ｏ分 Ｏ２ ． Ｏ分
～
Ｄ 基 本 没 有 创 新 ． 技 术 经 济 达 到 同 类 技 术 领 先 水 平 Ａ． ２ 指 标 、 先 达 到 同类 技 术 先 进 水 平 Ｂ Ｃ 接 近 同类 技 术 先 进 水 平 进 程 度 Ｄ ．未 达 到 国 内最 好 水 平
基于路径分析的科技成果评价指标赋权方法研究
在科 技成果 综 合 评 价 过 程 中 ， 指标 权 重 的确 定
的专家 不 同 ， 出 的权 重 也不 同。这 类 方 法 的 主要 得 缺 点是 主观 随意性 大 ， 一 点并 未 因采 取 诸 如专 家 这 数量 、 仔细挑 选 专家 等 措 施 而 得到 根 本 改善 … 因 １。 而 ， 用主观 赋权 法 得 到 的权 重 结果 可能 会 与实 际 采 情 况存 在较 大差异 。
主观赋 权法 是指 利用专 家 的知 识与 经验 来确定 指标 的权 重 ， 其原 始 数 据 主 要 由专 家 根 据 经 验 主观 判 断得 到 ， 比如 德尔菲 法 、 两两 比较法 、 比评 分法 、 环
层次分析法 ， 等等。 目 前对 主观赋权方法 的研究 比 较成熟 ， 这些方法 的共同特点是 ： 各评价指标的权重
小； 反之 ， 其权重应越大。指标间重复信息程度一般 用相 关系数 来衡 量ｌ－ｊ ３。 ２ 世纪 ２ 年代初 ， ０ ０ 遗传学家休厄尔 ・ 赖特（ ｅ Ｓ
由专家根据 自己的经验 和对实 际的判断给出 ， 所选
收稿 日期 ：０ ７ １ ２ 修 复 日期 ：０ ８ １ ０ ２ ０ —１ —２ ； ２０ —０ —２
果 的真 实水平 ； 一 方 面 由 于 主观 赋 权 方 法确 定 的 另 指标 权 重一般 固定 不变 ， 以适 应 社 会 科 技 环境 不 难 断发展 变化 的 现状 。因此 ， 究 科 学 的指 标 赋权 方 研 法对 于 科技 成果 评价工 作具 有重 要 意义 。
一
客观 赋权 法 是从 指标 的统 计 性质 上 来 考虑 ， 由
构建科学的同行评议专家综合评价体系研究
2021年第1期构建科学的同行评议专家综合评价体系研究张 莹（昆明理工大学科学技术院，云南 昆明 650500）摘要：科学基金的评审普遍采用同行评议方法，它是一种有效且可行的方法，被广泛应用于科研管理。
但同行评议方法具有一定的局限性，受到国内外学术界的批评，争议的核心主要是针对同行评议专家。
因此，对评审专家的学术水平和评审能力进行评估迫在眉睫。
文章利用层次分析方法构建同行评议专家综合评价体系对专家基本信息和评审信息进行评价，基本信息包括专家个人资历、科研能力，评审信息包括评审离散率、评审有效性和评审态度。
通过对评价指标量化处理，确定了指标权重，为更好地筛选、调整专家提供了借鉴。
关键词：同行评议；综合评价体系；层次分析法中图分类号：G 463 文献标识码：A 文章编号：1004-1168（2021）01-0001-060 引言科学技术对社会经济发展的影响日益增强，科学基金制度在推动社会发展和科学技术进步的过程中发挥着巨大的作用。
当前，科学基金评审普遍采用同行评议方法，该方法按照“充分依靠专家队伍，发扬民主，引入竞争机制，坚持择优支持、公正合理”的指导方针[1]，从而实现对科技资源的优化配置。
同行评议方法在项目评审、中期检查、成果评奖、人才及团队推选等众多领域获得了广泛应用，它是一种有效且可行的民主决策评价方法，尤其在基金评审工作中发挥着重要作用，是科研项目评审的生命线[2]。
然而，同行评议方法本身具有一定的局限性，在实际运用过程中尚存在一些问题，曾一度受到国内外学术界一些专家的批评和责难，争议的核心主要是针对同行评议专家。
评议专家在项目评审过程中会出现无人监管，评审专家的权利无限放大，并且不需要付出相应责任等有失科学公正的行为，甚至有一小部分专家出现人情照顾，瞎评，乱评，故意恶评的行为。
同行评议要求同行评议专家客观、公正、科学地进行评审，遴选同行评议专家是同行评议的重要内容，也是同行评议过程中的重要环节，如果没有科学、合理的评价体系对评审行为进行约束，将很难保证评审结果的公正性。
基于偏差度权重的科技项目评审专家绩效评价方法研究
ｓ 。ｄ孟 ｉ Ｔ ｅ
。 。 ｈ ｔ 。Ｒ。
ｄｉ１． ９９ ｊｉ ｎ １０ ７９ ．０ ２ １． １ ｏ ： ３ ６ ／．ｓ ． ０ ０— ６ ５ ２ １ ． ５ ０ ７ ０ ｓ
基 于 偏 差 度 权 重 的科 技 项 目评 审 专 家 绩效 评 价 方 法 研 究
ｉ ｇ ｔ ｈ ｉ ｃ ｒ ｓｆｎａｌ Ａｎ ｉ ｕ ｔａｉ ｅ ｅ ａ ｌ ｓ ｕ ｅ ｏ ｓ ｗ ｈ ｒ ｃｉ ａｉｙ ａ ｄ ｖ ｌｄ ｔ ｆ ｔｅ ｐ ｏ ｏ ｅ ｐ ｏ ｃ ｎ ｏ ｔｅ ｒｓ ｏ ｅ ｉ ｌｙ． ｌ ｓｒ ｔｖ ｘ ｍｐ ｅ ｉ ｓ ｄ ｔ ｈｏ ｔｅ ｐ ａ ｔｃ ｌ ｎ ａ ｉｉｙ ｏ ｈ ｒ ｐ ｓ ｄ ａ ｐｒ ａ ｈ． ｌ ｔ
近年来 ，网络 评 审 已发 展 成 为 各地 科 技 项 目评 价广泛 采 用 的重 要 手 段之 一 ＿ 。该评 审方 式 不 但 打 １ Ｊ 破 了传 统项 目评 审 的 时 空 间 限制 ，还 有利 于评 审 的 全程监 控 ，缩 短评 审 周期 。但 由于 网 络 审评 时各 参 评专 家之 间是 不能 进行集 中商讨 和 意见 交 流 ，因此 ， 在 网络 审评 过 程 中容 易 出现 个 人 非 理 性 偏 好 增 加 ， 造成 评价 结果 出现 一 定 的偏 移 ，个 别 专 家 甚 至 会 给 出不 合理 评价 等 问题 。 针 对 同行 评 议 专 家 评 价 和 选 择 中存 在 的 问题 ， 近几 年来 在研 究 理论 和解 决 方 法 方 面 也 取 得 了 一定 的成 果 。国外 大部 分 学 者 是 从 定 性 的角 度研 究 探讨 评议 专家 选择 策略 的 问题 。 国 内的研 究 成果 中 ， 在研 究评 价评 审 专 家 水 平 的 指标 方 面 ，大 部分 学 者 建立 起 的评估 指 标 体 系 的 内容 包 括 经 验 指标 、偏 差 指标 、命 中 指 标 、有 效 指 标 等 一 。在 构 建 评 价 评 审 专家水 平 的方 法 与 模 型 方 面 ，大 部 分 学 者 都 结 合 Ａ Ｐ法 ，提 出 了模 糊 综 合 、Ｔ Ｐ １ Ｈ Ｏ Ｓ Ｓ和 Ｄ Ａ数 据 包 Ｅ
技术预测中咨询专家人数、权重和评价意见的讨论
计算结果差异不大。这一结论说明，在讨论未来科 “量 ; ， 技发展方向时， 如果专家人数达到一定的 在综 “质 ; 之间的差异。 合专家意见时， 可以不考虑专家 * & 专家评价意见的正态性检验。 计算结果显示，各领域专家对本领域技术项目 的评价意见，其技术重要性指数较高和较低的项目 数量相对较少，居中的相对较多。这些数据是否服 从正态分布， 需要进行假设检验。 ") B 不服从正态分布 采用非参数的 !#$%#&#’#( ) *%+’,#( ! 柯尔莫哥 洛夫 ( 斯米诺夫 & 检验法， 用 0=00 计算各领域正态 参数的均值、标准差及最大绝对差数。如果采用 "# B 服从正态分布
万方数据
第 % 期 ! "##$ 年 % 月 &
中国科技论坛
・ "%・
技术项目数。 经过遴选， 共选择 $+’ 项技术开展 调查， 其中信息 $% 项、 生物 ,- 项、 新材料 (’ 项、 能 源 ,- 项、 资源环境 *## 项、 先进制造 $, 项、 农业 **’ 项、 人口健康 ++ 项、 公共安全 +, 项。 反馈意见的专家人数。第二轮 !"#$%& 调查共向 - +,* 位专家发出征询意见，反馈意见专家 * ’(( 位， 反馈率 -(. ,/ ， 这些专家来自企业、 高等学校、 研究机构、 政府部门和社会团体等各方面。 平均每个项目参评的专家人数。根据 !"#$%& 调 查的第二轮数据统计，每个技术项目平均参评专家 *#( 人，其中信息领域每个技术项目平均参评专家 生物 **" 人， 新材料 *#’ 人， 能源 **( 人， 资 *"# 人， 源环境 *#’ 人， 先进制造 ,’ 人， 农业 *-’ 人， 人口健 康 *#$ 人， 公共安全 $( 人。 熟悉专家的人数比例。专家对技术项目专业知 “高、 识的熟悉程度分 较高、 中、 较低、 低 0 % 级。本研 “高、 究把具有 较高 0 熟悉程度的专家归为熟悉专家， “中、 把具有 较低、 低 0 熟悉程度的专家归为一般专 家。 调查数据显示， 熟悉专家人数占全部专家人数的 比例为 "-. ,/ ， 其中， 信息 "$. $/ ， 生物 "(. -/ ， 新 材料 "#. */ ， 能源 *%. -/ ， 资源环境 *(. "/ ， 先进 制造 *$. */ ， 农业 ",. #/ ， 人口健康 ",. "/ ， 公共 安全 -". %/ 。 " & 分析模型。 我们所进行的德尔菲调查共 *$ 项指标， 包括每 项技术对我国的重要性， 技术研发水平， 对我国高技 术产业发展的作用， 对我国传统产业的作用等。 本文 重点讨论每项技术对我国的重要性 （用技术重要性 指数表示） 。 （不考虑专 等权模型。 在假定不同熟悉专家等权 家的差异） 的情况下， 每项技术的重要性指数按照如 下公式计算： ’&()"* 1 ! *## 2 +* 3 $% 2 +" 3 %# 2 +- 3 "% 2 +’ & （* ） 4 +,## 其中 +*、 +" 、 +- 、 +’ 和 +% 分别是对技术重要程度回 “高 0 、 “较高0 、 “中 0 、 “较低0 和 “低0 的专家人数， 答 +,## 是所有反馈意见的专家人数。当所有专家都认 为该项目的重要性为“高 0 时其指数为 *##， 当所有 专家都认为不重要时其指数为 #。 “高 0 、 “较高0 、 “中 0 、 “较低0 和 加权模型。假定 “低0 专家的权重分别为 -* 、 每项 -" 、 -- 、 - ’ 和 -% ，
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
科技评价中专家科技评价中专家权重赋值权重赋值权重赋值优化优化优化研究研究1俞立平 潘云涛 武夷山摘要：为了对科技评价中专家权重赋值进行优化，本文首先构建指标体系综合评价方法的分类体系，然后利用加法平均和证据理论对不同专家的权重赋值进行合成进而进行评价，并将评价结果按20：60：20的比例进行分级。
接着比较不同专家分级评价结果与加法平均及证据理论分级结果的一致性，计算每个专家的灵敏度，可以找出权重赋值意见分歧最大的专家，从而提供了一种专家修正自己权重的定量比较方法。
本文研究发现，证据理论合成能够充分尊重每个专家的意见，但在专家们对某个指标权重打分都比较低的情况下，该指标权重合成的结果可能极小甚至为0，因此适用于一些不太成熟的科技评价或者用于新生事物的评价。
对于一般的科技评价宜用加法平均进行合成，然后再进行灵敏度分析进而进行专家权重调整。
将本方法结合传统的权重直接比较和评价结果直接比较可以取得良好的效果。
关键词：科技评价 权重合成 灵敏度 证据理论 权重优化1引言科技评价是科技管理工作的重要组成部分，是推动国家科技事业持续健康发展，促进科技资源优化配置，提高科技管理水平的重要手段和保障。
目前国内外综合评价方法有数十种之多，根据权重确定方式结合评价原理，本文将其分为三大类（如图1所示）：第一类是主观评价法，其基本原理是进行指标主观赋权，然后将数据标准化后加权汇总，如专家会议法、德尔菲法、层次分析法等等。
第二类是客观评价法，包括两种，一种是采用客观赋权法确定指标权重，然后进行加权汇总，如熵权法、变异系数法、复相关系数法等；另一种是不需要赋权的系统方法，如主成分分析法、因子分析法、TOPSIS等。
第三种是主客观相结合的赋权法，首先采用主观赋权方法确定权重，然后采用系统方法进行综合处理，如ELECTRE法、模糊综合评价法、PROMETHEE等等。
这里的系统方法主要指综合运用运筹学、模糊数学、系统工程等领域的方法进行评价。
指标体系综合评价方法存在的主要问题是，针对同一评价对象，选取相同的指标，采取同样的数据，不同评价方法得出的评价结果不一致，结果难以得到公认。
图1 评价方法体系结构单纯的客观评价方法由于不考虑不同指标的重要性，完全凭数据说话，因此存在一些争议。
主观赋权法有德尔菲法、专家会议法等。
Helmer,O.和Gordon,T.J.（1946）[1]创立了德尔菲法，后来日趋成熟。
当时美国兰德公司为避免集体讨论存在的屈从于权威或盲目服从多数的缺陷，首次将德尔菲法用于技术预测中，之后便迅速地应用到了世界各国，在技术预测1国家十一五支撑计划项目（2006BAH03B05）；国家自然科学基金资助（70673019）作者简介：俞立平（1967-）男，江苏泰州人，博士，扬州职业大学准教授，主要从事信息经济、科学计量领域的教学科研工作。
Email: chinayangzhou@和新产品市场需求预测等方面得到了较为普遍的应用。
专家会议法是指根据规定的原则选定一定数量的专家，按照一定的方式组织专家会议，发挥专家集体的智能结构效应，从而做出判断的方法，与德尔菲法相比，专家是见面的。
层次分析法(Analytia1 Hierarchy Process, AHP)是美国匹兹堡大学A．L．Saaty（1974）[2]应用网络系统理论和多目标综合评价方法，提出的一种层次权重决策分析方法。
这种方法的特点是在对复杂决策问题的本质、影响因素及其内在关系等进行深入分析的基础上，利用较少的定量信息使决策的思维过程数学化，从而为多目标、多准则或无结构特性的复杂决策问题提供简便的决策方法。
在多属性评价领域，我国学者田凤调（1987）[3]发明了秩和比法（Rank Sum Ratio），邓聚龙（1984）[4]创立了灰色系统理论。
主观赋权法离不开专家的权重，关于不同专家权重的合成方式，人们主要采用加法平均法对不同专家的权重进行合成。
自Dempster（1967）[5]创立证据理论以来，一些学者开始将其用于不同专家权重的合成，但这方面的应用迄今较少，就不同专家权重采取加法平均合成与证据理论合成所带来的差异开展实证研究的也不多。
无论哪种主观赋权方法，专家都必需以某种方式参考其他专家的赋权结果，进而修正自己的判断，但是迄今为止，除了简单进行专家间权重比较或评价结果的比较外，尚没有定量方法得知某个专家设定权重的评价结果与所有专家权重合成后评价结果的差异。
若设法找到这种差异，会有利于专家们调整自己的权重赋值，因为主观赋权的最终结果总是专家们经过若干轮循环后达到的一种状态。
本文利用中国科学技术信息研究所的医学科技期刊原始数据，首先分析加法平均合成与证据理论合成的特点，然后对每个专家权重的灵敏度进行分析，找出意见分歧较大的专家，从而为专家们进一步调整自己的权重提供数据分析支持。
2方法2.1证据理论证据理论是由Dempster首先提出，后来由他的学生Shafer（1976）[6]发展起来的，它是经典概率论的一种推广。
证据理论提出，把对“假设”能构成影响的所有可能的证据收集起来，分解成一些相互独立的“元证据”(具单一因素的证据成份)，组成一个证据空间，然后对这些元证据所有可能的组合赋以一个满足一定约束条件(比概率约束要弱)的值，从而得到一个定义在证据空间幂集上的一个函数，称为基本概率分配函数。
由于证据空间的子集不再互相独立，而且约束条件比概率弱，为了获得类似于概率的可信度意义，在基本概率函数基础上再设计一个函数，称为类概率函数，它满足类似于概率的约束条件，用这个类概率函数来表示证据的可信度。
同时利用基本概率分配函数可以将“不知道”和“不确定”两种成份分开，这是一种对“不精确性”更深入细致的描述。
证据理论的上述特点，使之非常适合于专家权重的合成。
与专家赋权修正敏度分析与专家赋权修正2.2 灵敏度分析灵敏度分析有多种，比如可以从指标权重的角度入手分析指标权重的变化对评价结果的影响，也可以从评价对象自身数据变化的角度进行分析。
本文立足专家们权重加法合成与证据理论合成的评价结果，分别计算每个专家评价结果的灵敏度，在此基础上专家可以对自己的权重赋值进行优化，其步骤如下：1、进行专家赋权搜集第一轮专家评议结果，供后续分析。
2、合成评价结果分别采用加法平均和证据理论合成，得到专家们权重的合成结果，共有两套赋权方案，分别为方案A和方案B。
3、利用两套赋权方案进行评价分别利用两套赋权方案进行评价，得到两套评价结果，分别为评价结果A和评价结果B。
4、分级打分评价结果根据正态分布的原理，科技期刊中较好的期刊和较差的期刊总是少数，参考日常生活中的二八定律，在最好的科技期刊差不多占20%，最差的科技期刊也约占20%的，可以据此进行分级。
首先将评价结果A和评价结果B进行降序排列，然后按20：60：20的比例进行分级，最后将结果分别用A、B、C三个等级打分，当然共有两套，分别为打分A和打分B。
5、根据单个专家权重进行评价和分级利用每个专家的权重进行评价，然后根据上述原理对评价结果进行分级，并且根据等级打分为A、B、C。
6、计算每个专家权重的灵敏度分别筛选出每个专家打分结果与打分A、打分B完全一致的个数，计算完全一致结果的百分比，得到每个专家加法合成的灵敏度和证据理论合成的灵敏度，灵敏度本质上就是每个专家的评价结果与所有专家权重合成评价结果的一致性程度。
7、向专家们提供灵敏度分析结果向专家们提供加法平均合成与证据理论合成灵敏度分析的结果，供专家们进一步修正自己的判断。
以上步骤可以进行数轮，直到专家们不再更改自己的判断为止。
3数据本文数据来自于中国科学技术信息研究所CSTPC数据库，本文以基础医学与综合医学类期刊为例进行分析。
中国科学技术信息研究所从1987年开始对中国科技人员在国内外发表论文数量和被引情况进行统计分析，并利用统计数据建立了中国科技论文与引文数据库，同时出版《中国科技期刊引证报告》，本文数据是2006年的基础医学与综合医学类数据，共136个基础医学期刊和大学医院学报，选取的指标有总被引频次、被引半衰期、影响因子、即年指标、基金论文比5个指标。
原始数据必需进行标准化处理，本文设定每项指标最大值为100，其他数据分别与最大值相除后得到各自标准化后的结果。
此外，被引半衰期是反向指标，也进行了必要的处理。
4实证结果4.1专家权重赋值及其合成为了对专家主观权重赋值方法进行进一步分析，假定有6位专家，分别给5个指标赋予权重，然后用加法平均合成与证据理论合成进行专家权重的合成，其结果如表1所示。
表1 专家权重及其合成专家权重 总被引频次 被引半衰期 影响因子 即年指标 基金论文比专家1 0.5 0.05 0.3 0.05 0.1专家2 0.4 0.1 0.3 0.1 0.1专家3 0.2 0.1 0.2 0.3 0.2专家4 0.3 0.1 0.4 0.1 0.1专家5 0.1 0.2 0.3 0.2 0.2专家6 0.2 0.15 0.3 0.15 0.2加法平均合成 0.283 0.117 0.3 0.15 0.15证据理论合成 0.266 0.002 0.718 0.005 0.009 加法平均合成的权重与证据理论合成的权重相差较大，其中影响因子的权重在证据理论合成时被大大增加，达到0.718，而均值只有0.3；一些权重均值较小的指标在采用证据理论合成时被大大削弱，如被引半衰期、即年指标、基金论文比。
根据证据理论的原理，专家权重的合成方法本质上是乘法合成，如果将证据理论合成的方法进行进一步化简可以分为三步，首先进行每个指标每个专家权重连乘，然后将连乘结果汇总，最后将每个指标连乘的结果除以连乘结果汇总，从而得到证据理论每个指标的权重。
根据证据理论，如果专家们对某个指标意见比较一致，虽然权重打分不尽相同，但总体权重打分偏低，那么连乘的结果也会非常小，从而导致该指标权重极低，如被引半衰期、即年指标、基金论文比就是这种情况。
乘法合成还有另外一个特点，就是充分尊重每个专家权重的打分，这和加法平均是不同的，如果某个专家对某个指标打分偏低，即使其他专家打分都较高，那么连乘的结果受该专家打分的影响仍然较大。
4.2 评价分级及专家权重灵敏度分析根据加法平均合成与证据理论合成得到的指标权重，分别进行评价，然后将评价结果按20：60：20的比例进行分级，由于共有136家期刊，因此A类期刊27种，B类期刊82种、C类期刊27种。
由于期刊较多，表2给出了部分加法平均合成、证据理论合成以及专家5评价的分级结果，按加法平均得分降序排列，取前30种期刊。
表2 部分评价及分级结果刊名 加法平均得分 加法平均分级证据理论得分证据理论分级专家5得分专家5分级中华医院管理杂志 66.46 A 85.55 A 66.98 A 中华医学杂志 62.30 A 73.36 A 50.23 A 中国危重病急救医学 59.56 A 76.30 A 58.91 A 细胞与分子免疫学杂志 42.22 A 39.85 A 49.48 A CHINESE MEDICAL JOURNAL 40.58 A 43.10 A 40.64 A 中国病理生理杂志 39.39 A 37.64 A 39.33 A 中国疫苗和免疫 38.97 A 46.35 A 43.60 A 中国现代医学杂志 38.35 A 42.83 A 32.56 A 医学研究生学报 38.01 A 36.03 A 44.27 A 浙江大学学报医学版 37.96 A 30.03 B 46.66 A 中华医学遗传学杂志 36.87 A 37.92 A 41.09 A 生理学报 35.23 A 31.96 A 40.10 A 中华男科学杂志 34.69 A 37.76 A 38.85 A 中华麻醉学杂志 34.64 A 49.95 A 30.94 B 航天医学与医学工程 33.78 A 25.52 B 40.37 A 中华血液学杂志 33.71 A 43.47 A 31.31 B ASIAN JOURNAL OF ANDROLOGY 33.56 A 41.56 A 39.71 A 吉林大学学报医学版 33.35 A 24.03 B 38.39 A 免疫学杂志 33.20 A 30.74 A 38.46 A 第四军医大学学报 33.17 A 34.60 A 29.44 B 中山大学学报医学科学版 32.70 A 32.06 A 37.55 A 中国寄生虫学与寄生虫病杂志 32.53 A 30.20 A 35.68 A 第三军医大学学报 32.40 A 31.46 A 31.79 B 中华病理学杂志 31.32 A 42.32 A 30.89 B 解剖学报 31.01 A 30.46 A 34.65 A 医疗设备信息 30.87 A 35.44 A 33.96 A 中国实验血液学杂志 30.43 B 28.32 B 36.63 A南方医科大学学报 30.36 B 27.53 B 32.74 A北京大学学报医学版 30.32 B 37.42 A 30.82 B中国医院管理 30.30 B 30.40 A 32.84 A 很明显，权重赋值不同，评价结果不同，当然分级也不一样。