导师答疑：实例演示MBA、MEM、MPA论文中德尔菲法（专家调查法）的使用

关 注百川 一站式论文写作指导

德尔菲 法，也称专家调查法，利用专家集体的知识和经验，对那些带有很大模糊性、比较复杂且无法直接进行定量分析的问题，通过选择一批专家多次填写征询意见表的调查形式，取得测定结论的方法。 第一步: 第二步: 第三步: 第四步: 第五步: 第六步: 专家咨询问卷 专家咨询问卷包括四个部分， 一是引导语，介绍基本信息和研究基本情况； 二是一级构成要素的重要性评估与修改建议； 三是二级构成要素的重要性评估与修改建议； 四是专家意见权威程度调查；

数据统计指标 （一）专家的积极系数 专家的积极系数即专家咨询表的回收率( 回收率 = 参与的专家数 / 全部专家数) ，可以反映专家对研究的关心程度。 （二）专家意见的集中程度 专家意见集中程度用均数( M j ) 和 满 分 频 率 ( K j ) 来表示，两者数值越高，说明指标重要性越高。 ( 三) 专家意见的协调系数 专家意见的协调程度用变异系数和协调系数来表示。通过计算变异系数和协调系数可以判断专家对每项指标的评价是否存在较大的分歧，或找出高度协调专家和持异端意见的专家。 （四）专家意见的程度 专家的程度是指专家对某个研究问题或领域的权威力度，对于评价的可靠性具有显著影响，因此，专家权威程度（Cr）被作为德尔菲法中衡量专家咨询可靠性的重要指标。 专家的权威程度以自我评价为主，一般由两个因素决定，一个是专家对方案作出判断的依据，一个是专家对问题的熟悉程度，可以用公式Cr=（Cs+Ca）/2来计算得出。 （1）判断依据 用 Cα 表示判断影响程度系数。专家一般以“实 践经验”、“理 论 分 析”、“对国内外同行的了解”及 “直觉”等作为判断依据，判断系数 Cα ≤1 。

（2）专家对问题的熟悉程度 用 Cs 表示专家对问题熟悉程度系数

多轮专家咨询结果（案例） 第*轮专家咨询过程与结果分析 1. 专家咨询结果 （1）回收数据的初步统计与处理 专家对于每个指标重要性程度的打分，并对于各个一、二级指标提出意见和建议，之后进行一、二级指标的均数、中位数、满分频率、标准差、变异系数等关键指标的描述性分析，根据界值法进行对于指标进行初步筛选，三个筛选标准分别为： ①均数≥“均数-2*标准差” ②满分频率≥“满分频率-2*标准差” ③变异系数≤“变异系数+2*标准差” 若某项指标达到三个标准则给予纳入，若其中一个或者两个标准不满足则需通过专家意见决定是否纳入，若三个标准均未能达到则排除。 （2）专家意见的集中度分析 我们在应用德尔菲法对于教师精准教学能力构成指标进行咨询时，需要考虑两个方面的内容。第*，如何获取到初步指标，这些指标的来源应具有科学性；第二，借鉴专家的经验对这些指标进行评价和打分，从而最终确定所需要的指标。 基于这个思路，首先，我们应用内容分析法，析出了教师精准教学能力的初始指标。之后，需要借助专家的专业经验对于指标进行判断和筛选。 在应用德尔菲法的过程中，专家意见的可靠程度主要反映在四个方面： 1.专家的权威程度； 2.专家的积极性； 3.专家意见的集中程度； 4.专家意见的协调程度。 其中，专家咨询意见的集中程度是影响专家咨询结果最重要的因素，可以通过重要性赋值的均数M和满分频率K来表示，M值越大，则说明该项指标越重要。而通过上四分位数Q+与下四分位数Q-之差来反映专家意见的集中程度时，则可以用公式：（Q+-Q-）<a< span="">（an-a1）来进行计算。 若采用李克特五点式量表设计的专家问卷，则*大值an=5，而最小值a1=1，当a赋值为0.45时，a(an-a1)=1.8，则1.8可以作为专家咨询意见集中程度参考的基准值。（Q+-Q-）小于基准值1.8时，可以判定为专家意见集中度较好；当1.8≤（Q+-Q-）≤2.0时，专家意见集中程度为一般，还可以接受；当（Q+-Q-）>2.0时,专家意见集中程度则比较差，其平均值和中位数所代表的意义不可接受①。 ①一级要素指标分析（满分率、平均值、变异系数） 从满分率来看，专家们的意见在一级构成要素上意见比较集中，4个指标中，有3个满分率高。 而从平均值来看，一级指标的均值都在4.5分以上。从Q+－Q－与基准值（1.8）的比较来看，一级指标中有2个属于专家意见高度集中（<1.8），还有2个属于专家意见比较集中(1.8≤Q+-Q-≤2.0)。 基于以上分析可知，大部分专家对于一级要素指标的意见比较一致，对于各个一级要素指标的重要性比较认同。

②二级要素指标分析（满分率、平均值、变异系数） 通过频数分析可以清楚呈现出专家意见的基本信息，可以*直接地发现专家们意见的满分率，以及出现较大分岐的选项的数据。

在第*轮的专家意见咨询中，教师精准教学能力的18个二级构成要素得分均值在4分以上的有17个，占比94.4%。只有1个得分在4分以下，占比5.6%。通过(Q+-Q-)的值可以反映出： 第*，专家在“智能技术教学创新能力”、“学生个性化学习需求诊断能力”和“学生个性化学习效果评估与反馈能力”这三个构成要素的满分率*高都是（87.5%）。其中，“智能技术教学创新能力”的意见集中程度*高(Q+-Q-)＝1。表明专家意见在这个指标上达到了高度的一致性，同时，也说明专家认为这个二级指标是最重要的构成要素。虽然“学生个性化学习需求诊断能力”和“学生个性化学习效果评估与反馈能力”满分率、平均值也都比较高，但是，专家意见的集中程度不是很高(Q+-Q-)>1.8，可见还是有个别专家在这两项指标上打出较低的分数，考虑到专家整体数量的比例，我们可以视为专家们集中认为，这两个构成要素可以作为构成教师精准教学能力的二级要素。 第二，“大数据技术认同”、“精准教学知识”、“教育数据反思与评价能力”等8个二级构成要素的(Q+-Q-)值为2，专家对这些二级构成要素的意见集中程度一般，但还可以接受。 第三，“精准教学意识”、“教育数据思维”和“教育数据获取与采集能力”“智能技术教学创新能力”4个二级构成要素的(Q+-Q-)值为1，表明专家对于这些二级构成要素的意见集中度较好。 此外，通过变异系数可以发现，“智能技术的基本知识”这一要素指标不符合变异系数的要求(Cv<0.25)，需要修改或删除。而其它二级构成要素还不能准确判断应该修改或删除，因此，还需要与专家的意见相结合，以便进一步修订和确定这些构成要素。 2. 专家意见整理 首先，在“精准教学知识”方面，专家E12认为，此二级构成要素的描述有些宽泛，不容易让人理解；专家E4、专家E7、专家E09、专家E14都认为“精准教学知识”放到“精准教学认知与取向”维度下不够准确，知识不应该属于认知与取向范畴，还有其他专家认为“精准教学知识”这个表述是否合理，容易产生争议，建议删除。专家E08还指出：到底什么是精准教学知识，与一般的教学知识的区别在哪里？ 其次，在“教育数据加工与处理能力”方面，专家E3、专家E5、专家E6、专家E14、认为该要素过于宽泛，不够准确，容易与其他要素产生交叉，建议调整或删除。尽管专家在“教育数据加工与处理能力”方面的意见集中度不好，(Q+-Q-)=4，但是，这一指标的满分率高，而且平均值为4.25，因此，经过综合考虑后将这个二级指标保留修改。第三，在“智能技术的基本知识”方面，专家E02、E16认为，“此二级构成要素的概念太大，且与前面的指标存在重复，建议修改或删除。考虑到这个指标的均值*低，专家意见集中程度不高(Q+-Q-)=3，需要考虑修改或删除。 3.构成要素修订 （1）一级要素的修订 专家E06提出一级要素“学生精准画像与个别化指导能力”这个指标的描述不够合适，学生精准画像要比个别化指导能力更加重要，建议可以考虑把个别化指导去掉，仅用“学生精准画像能力”。经过综合考虑，决定接受专家的建议，根据专家建议进行调整。 （2）二级要素的修订 第*，在已有的18个二级要素指标中，“大数据技术认同”，“个性化精准教育理念”，“教育数据反思与评价能力”，“智能技术教学创新能力”，“学生个性化学习需求诊断能力”，“学生个性化学习内容推送能力”，“学生个性化学习效果评估与反馈能力”这7个二级要素的满分率高，说明专家整体对于这7个二级指标的认同程度较高，尽管由于个别专家的打分较低，产生了专家意见集中度不高的问题(Q+-Q-)=3，但是，在充分考虑到均值和中数结果后，我们认为这7个二级指标专家意见已经趋同，可以不予修正。 第二，在所有的二级要素指标中，专家们认为重要性*低的是“智能技术的基本知识”，专家E02、E16指出基本知识的概念太过于宽泛，并不适合作为二级要素指标，更像是个一级要素指标，建议修改或删除。在综合考虑专家意见和建议的基础上，并综合考虑到二级指标的平衡性，决定将二级要素“智能技术的基本知识”替换为“智能技术教学创新思维”。 第三，有部分专家提出：二级要素“精准教学知识”放到一级要素“精准教学认知与取向”中缺乏合理性。并且考虑到这个二级要素指标的满分率高，专家意见集中程度为2，其重要性处于中等水平，因此，将二级要素“精准教学知识”删除。 第四，专家E18指出，部分二级要素的表述容易让人产生选择性，指向性不强，不够具体，应该尽量避免用并列关系来表述二级要素指标。因此，根据专家建议将“教育数据获取与采集能力”修改为“教育数据采集能力”，同理将“教育数据加工与处理能力”修改为“教育数据处理能力”，将“智能技术工具与设备的应用能力”修改为“智能技术工具教学应用能力”。根据专家E12、E15、E18的建议，二级要素“教育数据反思与评价能力”中的评价与后面的二级要素存在交叉，建议修改为“教育数据反思能力”。 最后，根据专家E09的建议，在一级要素“学生精准画像与个别化指导能力”下新增二级要素“学生个性化学习问题发展与解决能力”。 第二轮专家咨询过程与结果分析 1.专家咨询问卷

2.专家咨询过程 通过第*轮专家咨询结果可以发现，专家的意见的趋同性并不是很好，主要反应在协调系数为0.168。因此，在参考了大部分专家所提出的意见和建议的基础上，对于教师精准教学能力的构成要素进行了认真的修改与调整后，开发了第二轮专家咨询问卷，详见附录2。在第二轮专家咨询中，采用“问卷星”工具再次向第*轮所咨询的16位专家发放问卷，并且得到了这些专家的及时回复，因此，第二轮专家的积极系数仍为，同时也再一次证明了所咨询专家对于教师精准教学能力这一主题的关注。 3.意见集中程度

经过第二轮的专家意见咨询，构成教师精准教学能力的4个一级要素的得分全部为5分，而18个二级构成要素的均值全部在4分以上，占比为，其中“智能技术教学创新思维”和“学生个性化学习效果评估与反馈能力”2项指标达到了全5分。满分率超过0.9的二级构成要素达到了80%。从专家意见集中程度来看，全部二级构成要素指标的（Q+-Q-）都小于1.8，说明在第二轮的专家咨询中，专家的意见非常集中，在全部一级要素指标，以及“智能技术教学创新思维、“学生个性化学习效果评估与反馈能力”2个二级要素，16位专家的意见集中程度*高。值得注意的是，尽管有4项二级构成要素的满分率稍低（K<20），但是这4项二级要素的专家意见集中度为良好，同时，得分均值界于重要和很重要之间（M>4），故可以将其保留。综上，16位专家在第二轮的专家咨询意见中，具有较高的意见集中度。 4.两轮专家咨询的协调程度 为了进一步确定16位专家意见的一致性程度，还需要通过专家咨询意见协调程度指标来衡量，即协调系数。协调系数的取值范围为0到1之间，当越接近1时，表明所有专家的意见协调程度越高。

专家咨询结果可靠性报告 1.专家的积极程度 专家的积极程度对于咨询结果具有较大的影响，专家的积极性越高，咨询效果越好。专家积极程度主要通过问卷回收率和问卷意见提出率2个指标来反映。

数据显示，二轮专家咨询的问卷回收率都达到，而第*轮问卷意见提出率为31.25%，在第二轮降到6.25%。可以反映出专家的积极程度较高。 2.专家的程度 结合专家在本研究中的判断依据频率分布情况，以及上专家判断依据及其影响程度赋值系数，可计算出16位专家的判断依据，Ca=0.919。综上，可以计算出本研究中的16位专家权威程度为（Cs+Ca）/2=（0.763+0.919）/2=0.841。这说明16位专家的权威度比较高，专家咨询具有较好的可信度，再一次从不同的视角说明了本研究的可靠性，即教师精准教学能力的构成要素可取。

毕业论文 百川一站式论文写作指导，论文导师包括清华、北大、央财、天大等顶级学府导师，特别针对天津大学、南开大学等各大知名院校本科、硕士的毕业论文写作，涉及专业包括金融、MBA、MPA、MPAcc、MEM、EMBA等热门专业选题、开题、中期答辩、论文数据模型、后期答辩等专业指导服务。如果你有论文难题，添加下方老师微信预约论文写作导师1vs1服务。 特此声明：百川论文指导不提供任何代写服务

关 注 百 川 公 众 号 扫码 ╳ 关注我们 扫左边二维码备注 留言获取导师1vs1服务 百川一站式论文服务