网络课程教学交互质量评价指标体系的研究

魏志慧 陈丽 希建华

【摘要】随着网络教育的迅速发展，其质量受到普遍关注，而网络课程又是网络教育的主体。相关研究表明交互是影响网络课程质量的重要因素，然而诸多调查研究显示目前网络课程在如何有效促进交互方面仍存在不足。为帮助从事远程教育的教师评价已有网络课程的交互质量，并有效的改进教学实践，该研究旨在设计量化的、可操作的网络课程教学交互质量评价指标体系。

研究采用了文献分析、问卷调查、专家论证、访谈等方法，过程主要包括以下步骤：（1）文献的综合和分析；（2）指标体系初稿的设计，确定从媒体界面的交互性、学生和学习资源的交互、社会性交互的教学设计、教师的参与程度和学生的参与程度等5个维度，共63个指标评价网络课程教学交互质量；（3）征求专业人员的意见；（4）邀请12名专家对每个指标的明确性、必要性等进行效度论证，并根据专家的意见删除12个必要性不够的指标；（5）将修订后的指标以问卷的形式随机排列，通过问卷调查和访谈，删除了学生难以理解和回答的4个指标，从而确定了最终的指标体系，包括5个维度，共47个指标。

【关键词】网络课程，教学交互质量，评价指标体系

一、引言

随着信息技术的迅速发展，以及教学理论、学习理论的发展，网络教育得到了蓬勃发展。而网络课程是其主要载体，发展网络教育必然需要设计、开发大量的网络课程。目前国内已开发了众多网络课程，涉及到基础教育、高等教育、继续教育，以及公司培训等不同层次的教育领域。有关数据表明，截止到2002年底，67所试点高校现代远程教育机构开设的课程总数为8557门次，开发各类课件9338个，课件类型包括网络课件（宽带课件、窄带课件）、单机课件、教学录像带和教学录音带（陈丽，黄荣怀，2004）。

相关研究表明，在影响网络课程质量的众多因素中，交互起到很重要的作用。如Zirkin和Sumler（1995）指出：“研究事实表明，通过及时的交互可以增加学生的参与，从而提高学习，学习的提高可以表现在学生的测试成绩、评分等级和满意度等的提高上”。Arbaugh（2000）通过研究发现重要的学习变量与课堂交互相关，并得出结论，认为对于网络课程来说最好的教学形式是交互。另一方面，学习者也希望进行一定的交互，如艾伦·泰特（2003）对英国开放大学学生的调查表明，90％的学生希望有人为他们提供学习支持，希望采用与其他学生互动的学习模式。

而网络课程的交互现状又如何那？Mioduser等（2000）通过研究436个数学、科学和技术学习方面的教育网站，发现在交互类型方面大多数站点包含浏览（76.4％）或简单交互（42.4％），但是几乎没有网站提供复杂的（3％）甚至在线（6.4％）的活动。同时，国内诸多调查结果也表明网络课程交互也存在不足。如梁林梅等（2002）调查了“新世纪网络课程建设工程”第一、二期的部分网络课程以及部分网院自行制作使用的一些网络课程，调查显示大多网络课程的设计与开发者并不清楚远程学习中的交互如何操作与实施，哪类交互是网络课程本身能够实现的，哪类交互则需借助平台的功能。张建伟等（2003）对清华大学网络学院4个远程教育站点的112名学生进行了问卷调查，其中对远程教育过程的评价部分主要涉及学习者对学习资源、与教师的交互、与同学的交互等的评价，统计结果表明所调查的远程学习者“对于课程材料的评价最高，而对于与教师的交互评价最低。学习者感到很难与授课老师联系，教学站上的教师没能很好的发挥辅导作用。一半以上的学生感到教师不能及时批改作业，且批改的作业缺乏有针对性的指导建议。此外学生之间也缺乏足够的沟通，他们没有充分利用网络展开讨论，70％的学生表示自己在学习中感到很孤独，希望能和同学交流。” 以上调查表明，尽管网络技术为远程教育提供了前所未有的技术支持，为实现各个层次的交互提供了可能，但是目前的网络课程并没有很好的体现交互性，也没能满足学生对交互的需求。

因此如何将交互方面的已有研究成果应用于网络课程的设计、开发和教学实施过程中，并进一步充实和发展远程教育教学交互方面的理论研究和实践，是当前网络课程发展所面临的一个比较重要的、迫切需要解决的问题，以便更有效的提高其交互水平和质量。基于以上背景，本研究旨在设计和开发量化的、可操作的网络课程教学交互质量评价指标体系，让远程教师、学习者和教学设计人员等更明确交互，从而普遍提高网络课程的交互水平，这对网络课程、网络教育的发展有着重要的现实意义。

二、核心概念

1、教学交互

目前国内外有众多远程教育交互的定义，而且其内涵和外延也不尽相同，研究者从不同角度理解和解释交互。本研究中采用陈丽（2004a）对“教学交互”的定义，即：

“教学交互是学习过程中，以学习者对学习内容产生正确意义建构为目的，学习者和学习环境之间的相互交流和相互作用。”（陈丽，2004a）

2、网络课程

网络课程是本研究中最基本的概念，也是研究主体。本研究主要参考教育部全国信息技术标准化技术委员会教育技术分技术委员会制定的网络课程标准（CELTS-22），该标准中的网络课程指：

“基于Web的、以超媒体形式表现的、以异步学习为主的课程，它是基于Web传输的为完成某学科或领域的教学目标而设计、组织起来的相对完整的学习经验体系，它包括围绕特定学习目标而设计组织的学习内容、为实施课程而设计的交互性学习活动、以及为评价课程效果而进行的测评等，是学习内容与学习活动的复合体。”（CELTS-22，2002）

该标准所针对的网络课程主要指设计好的网络课程资源，侧重学习内容和学习活动。但这只为交互提供了潜在可能，还需要教师和学生在教学过程中的积极参与，也就是师生参与交互的过程。因此本研究主要从网络课程资源的交互性和网络课程的教学交互过程两方面保证网络课程教学交互质量：

l         网络课程资源：主要借鉴CELTS-22的界定，又做了拓展，其描述性定义如下：网络课程资源主要指基于Web的、以超媒体形式表现的、以异步学习为主的课程资源，是基于Web传输的为完成某学科或领域的教学目标而设计、组织起来的相对完整的学习经验体系，它包括围绕特定学习目标而设计组织的学习内容、为实施课程而设计的交互性学习活动，并以学习内容和学习活动为核心，有效整合和利用网络教学支撑平台的功能，以及为评价课程效果而进行的测评等；

l         网络课程的教学交互过程：指在网络课程实施过程中教师和学生参与各层次的交互，这一交互过程是在网络课程资源的基础上展开的。

另外，由于学习者对象的不同，网络课程所采用的形式、活动会有较大差异。研究主要针对高等教育、职业培训等领域，学习者具备基本的自学、自我管理等方面的能力。另外，网络课程一般有一定的网络教学支撑平台或者使用其它平台的功能，在网络课程设计、开发和教学实施过程中，应该将网络教学支撑平台所提供的功能整合到网络课程设计中，要能有效整合，发挥各自的优势。因此本研究不专门评价平台的性能，但需要考虑网络课程中所使用的网络教学支撑平台的功能。

三、    研究方法和过程

本研究主要采用文献分析、问卷调查、专家论证、访谈等方法。具体过程包括以下步骤：文献的综合和分析；设计指标体系初稿；征求专业人员的意见；专家对指标体系的效度论证；指标体系的先行性研究和指标体系的确定。

（一）文献的综合和分析

1、远程教育课程交互水平评价的相关研究

目前有不少关于远程教育交互质量评价的研究（Offier.B. & Lev，2000；李爽等，2001；Ehrlich，2002；Hawkers等，2003），但大多基于一定的假设，从某一侧面关注远程教育的交互质量，一定程度上能反映实际交互水平的高低，但很大程度上依赖于研究者制定的评价准则，如李爽等（2001）按照学习者观点采择水平的高低评价网上讨论环境中的交互质量。而且研究对象主要是人际交互，关注教师和学生、学生和学生之间的交互，没有对课程的全面评价。另外实施过程中需要专门的研究人员的介入，深入分析交互内容和信息，比较费时、费力。而且内容分析也容易主观化，不同的人对同一交互信息可能得出不同的结论。但有些评价角度、准则值得我们借鉴。

除了对交互信息进行内容分析外，还有一些研究采用了量规的方法定量评价远程教育课程的交互水平，以Roblyer等的研究为代表。Roblyer等（2000，2003）基于国外大量文献研究和已有研究成果从课程设计（包括社会交互的设计和教学交互的设计）、技术资源的交互性，以及课程中所交流信息的类型和质量（包括学习者参与和教师参与）等五个维度评价课程的交互质量，设计了评价和鼓励远程课程交互质量的量规。另外，还通过收集远程教育专家、教学人员的意见，以及学生使用该量规后对具体课程的评价结果，进一步检验其效度和信度。该研究考虑到课程设计的交互性，还涉及到具体的交互过程，较全面的评价网络课程的交互水平。同时其保证研究信度、效度的方法，如专家评论、学生评价等也为我们的研究提供了可参考的内容。但是该量规主要针对远程教育课程，这在媒体选择、课程活动的设计等方面比较宽泛，而我们的研究主要针对网络课程，因此还需要结合特定的媒体，形成具体的指标体系。

2、代表性的网络课程标准

我们还调研了国内外有代表性的网络课程标准（张伟远等，2003；CELTS-22,2002;黄荣怀等，2003），这些标准大多是从网络课程的组成部分提出主要的评价维度，如张伟远（2003）网上教学环境评定指标体系从课程的网站设计、课程的教学设计、网上的课程内容、学习的灵活性、学生之间的互动、网上学习的支持、网络技术的支持、网上教学的评估等维度评价网上教学环境；教育部教育信息化技术标准委员会的CELTS-22从课程内容、教学设计、界面设计、技术等维度进行评价网络课程。这为我们设计和开发具体的网络课程教学交互质量评价指标体系提供了可借鉴的、具体的和可整合的内容。

3、交互方面的已有研究成果

目前国内外已有不少远程教育交互方面的研究成果，如远程教学两大功能要素理论，远程学习中的教学交互模型和教学交互层次塔（陈丽，2004b），以及远程教育中教学媒体的交互性（陈丽，2004c），同时结合网络课程的具体特点和具体的一些交互策略，这对具体指标的构建起到基础的作用。

其中远程学习中的教学交互模型由三个不同层面的交互所组成：学生与媒体的操作交互、学生与教学要素的信息交互、以及学生的概念和新概念的概念交互。其中信息交互又包括三种形式：学生与学习资源的交互、学生与教师的交互、学生与学生的交互。远程学习的教学交互模型和教学层次塔对交互的认识可以用于网络课程的设计、开发和实施过程中，使我们明确如何，以及从哪些方面提高网络课程的交互质量，这就需要考虑设计和实现各个层次的交互，但是在设计、开发和实施网络课程时我们只能控制操作交互和信息交互这两个层面的交互，因此我们需要关注网络课程媒体界面的交互性，教学内容的组织和呈现，以及教学活动、策略的选择、评价等，要能促进学生与学习资源、学生与学生以及学生与教师的交互，从而能实现最高层次的概念交互。

因此前面所提到的从网络课程资源交互性和网络课程教学交互过程两大维度研究网络课程的教学交互质量，可以进一步细化评价维度：网络课程资源交互性又划分为媒体界面的交互性、学生与学习资源的交互和社会性交互的教学设计；而网络课程教学交互过程又分为教师的参与和学生的参与。

另外，陈丽（2004c）根据媒体在教学中的不同作用，将远程教育中的媒体的交互性分为两类：第一类叫学习资源的交互性；第二类叫教学系统的交互性。而学习资源具有隐性交互功能和显性交互功能。因此网络课程资源要具备这些功能，促进各个层次的交互；同时，网络课程一般都有特定的教学系统，或者网络教学支撑平台的支持，这些系统应该能整合到网络课程中，更好的为网络课程资源所服务，实现社会性交互。因此，远程教育中教学资源的交互性和教学系统的交互性为每个维度下具体指标的制定提供了一定的理论依据。

（二）指标体系初稿的设计

在综合和分析相关研究基础上，并结合笔者设计和实施网络课程的经验，确定了指标体系的主要维度和具体指标。

1、网络课程的交互性

主要指设计开发好的网络课程所具有的交互性。

l         媒体界面的交互性：主要指界面友好、风格统一，易操作，能有效保证其它层次交互的进行。也就是说界面没有成为学生学习、交流的障碍，而是有效地让学生把注意力集中在学习上，促进学生的积极参与。（维度1）

l         学生和学习资源的交互：主要指网络课程资源中设计的内容和活动等具有一定交互性，能促进学生对新概念、新知识的同化和顺应。（维度2）

l         社会性交互的教学设计：主要指将网络技术整合到课程学习中，充分发挥教学系统的交互性，促使学生的讨论、协作等，以及教师通过网络交互工具帮助学生解决学习中遇到的问题，引导学生参与网上交流和讨论，给予学生及时、有建设性的反馈，从而促进学生与内容的交互，完成对新概念的同化和顺应。（维度3）

2、网络课程教学交互过程

主要指网络课程在教学实施过程中学生和教师的参与交互的程度。

l         教师的参与程度：主要指教师参与与学生的交互，促进学生与资源、学生之间的交互。（维度4）

l         学生的参与程度：主要指学生参与各个层次交互，包括参与与资源、教师，以及与其他学生的交互。（维度5）

（三）征求专业人员的意见

设计好指标体系初稿后，我们首先征求了10名专业人员的意见，并根据意见对指标的框架、具体指标的描述做了进一步修改。这些专业人员都参加过网络课程的开发，对网络课程的设计、开发和实施有一定实践经验和理论经验。在此基础修订了指标体系，包括5个维度，63个指标（序号为t1到t63），每个维度细分为10到15个指标不等。（具体内容略）

（四）指标体系的效度论证

1、研究工具

在上述修订的指标体系基础上，我们设计了专家调查问卷，对指标体系进行内容效度论证，论证内容包括：评价各个指标的明确性、评价各个指标的必要性、对每个指标的修改建议、补充的指标、对主要维度权重的划分，以及对整个标准体系的意见等。

2、 研究结果

我们邀请了12位网络教育、远程教育方面的专家或在网络课程开发、教学方面有着丰富经验的研究人员，对该指标体系进行内容效度论证。论证结果包括三部分内容：明确性分析、必要性分析和主要维度权重。

l         明确性分析

专家对各维度指标明确性进行了评价，1－4的评分含义为：1：非常含糊，2：比较含糊，3：比较明确，4：非常明确。

统计结果表明，除维度1中有4项指标明确性不够高外，其他维度的指标都比较明确，对于明确性分值低于3.0的指标，结合必要性评价结果进一步修订；

l         必要性分析

在明确性分析的基础上，专家又对各维度指标的必要性进行了评价，其中1—4的评分含义为：1：没有必要，删掉；2：不作为独立指标，合并到其他指标中；3：建议的指标；4：必要的指标等。

统计结果表明，有14项指标必要性不够。基于前面对每条指标的明确性、必要性评价，以及相应的修改建议，我们对指标逐一进行了修订，包括重复项处理、相关项处理、矛盾项处理、语言表达处理等，删除、合并了一些指标，最终删除了12条指标，同时也修订了一些指标的具体描述。最后基于专家的建议形成了新的指标内容，包括51条指标，每个维度下包括9－11条不等。

l         主要维度权重

专家还为五个维度确定了权重，在数据分析时我们采用“主流意见”的方法，即选择所占比例最高的分值作为该维度的权重，确定了维度四的权重，维度1到维度5所占的权重分别为20、20、10、20和30（按100分为满分）。

在专家意见的基础上，我们对指标体系进行了修改，重点关注明确性不够的指标，删除必要性不够的指标，并根据专家对具体指标的建议对所有指标进行调整。

（五）指标体系的先行性研究

1、研究工具

我们把论证后的指标以问卷的形式，按照s1—s51的顺序随机排列，并采用Likert五等级评定法：５为非常同意；4为同意；3为中立；2为不同意；1为极不同意。以29名学习者为样本，要求他们根据所学的《远程教育学》网络课程，对每一指标进行逐一评定。

另外，在问卷的基础上，我们还进一步对9个学生进行个别访谈，要求把问卷中表述不清、难于理解或有其他疑问的项目挑出来，并说明其中的原因。

2、 研究结果

通过对每个维度下逐条指标的分析，学生对各指标的评价整体呈现一定的收敛和发散效度，能比较客观的反应实际情况，具有一定的信度。另外，我们根据访谈结果删除了4个指标，并对学生认为表述不清的指标进行修订。

（六）指标体系的建立

经过对初步指标体系的效度验证和先行性检验，形成了最终的网络课程交互质量评价指标体系，包括5个维度47条指标，具体内容如下：

维度3：社会性交互的教学设计（9条）——权重（10％）

s23

结合课程内容，设计需要讨论或协作解决的问题

s24

课程活动要求学生利用讨论区、聊天室等工具等进行讨论、交流

s25

课程对讨论交流的方式、过程有明确的要求和安排

s26

课程活动要求小组之间互相交流成果

s27

课程提供专门的答疑区

s28

课程规定了教师回答问题的期限

s29

课程规定了教师批改作业的期限

s30

课程允许学生之间、学生和老师之间建立通信联系和个人交流

s32

课程评价包含学生之间的协作与交流

四、总结

在本研究中，我们主要依据远程教育教学交互方面的已有成果，尤其是远程教学两大功能要素理论、远程学习中的教学交互模型和教学交互层次塔、远程教育中教学媒体的交互性，并结合网络教育、网络课程的特殊性，推导和形成了网络课程教学交互质量评价指标体系。

确定从网络课程资源的交互性和网络课程的教学交互过程来探讨，进一步又发展为从媒体界面的交互性、学生和学习资源的交互、社会性交互的教学设计、教师的参与程度和学生的参与程度等五个维度研究网络课程教学交互质量，形成了初步的网络课程的教学交互质量评价指标体系。

此外，为了确保研究的效度和信度，我们首先征求了10名专业人员的意见，并根据意见对具体指标的描述、内容做了修改；然后，邀请12位网络教育、远程教育方面的专家或在网络课程开发、教学方面有着丰富经验的人员，对该指标体系进行内容效度论证。论证结果表明，大部分指标比较明确，除维度2中必要性不够高的指标较多外，其他维度的指标必要性都比较高，基于专家的评分和建议，我们删除了12条必要性不够高的指标，并对其他指标进行修订，同时还根据专家对主要维度权重的评定确定了每个维度的权重分配；其次，我们把论证后的51条指标以问卷的形式随机排列，以29名学习者为样本，要求他们根据所学的《远程教育学》网络课程，对每一指标进行评定，结果表明数据整体呈现一定的收敛和发散程度，能比较客观的反应课程的实际交互情况，具有一定的信度。此外对9名学生进行个别访谈，删除了4条表述不清、难于理解的指标。最后形成了网络课程教学交互质量的评价指标体系。

为了进一步保证研究的信度和在实践中的使用，还需要进行信度检验、网上大规模的问卷调查、设计和实施网络课程教学交互质量评价系统，以及结合理论和实践对该指标体系进行不断论证和发展。我们希望本指标体系对教学设计人员、远程教育教师等有所帮助，能有助于提高网络课程的交互质量。

参考文献：

1.         Arbaugh, J.B. (2000). How classroom environment and student engagement affect learning in Internet-bases MBA courses. Business Communication Quarterly, Vol.63, No.4, 9-26.

2.         Ehrlich, D. (2002). Establishing connections: interactivity factors for a distance education.Educational Technology & Society, Vol.5, No.2, 48-54.

3.         Hawkes, M. & Dennis, T. (2003). Supporting and assessing online interaction in higher education，Educational Technology，July-August，52-56.

4.         Mioduser, D., Nachmias, R., Lahav, O. & Oren, A. (2000). Web-based learning environment: current pedagogical and technological state, Journal of Research and Computing in Education, Vol.33, No.1.

5.         Offier, B. & Lev, J. (2000). Constructing and aid for evaluating teacher-leaner interaction in distance learning，Education Media International，Vol.37，No.2，91-97.

6.         Roblye, M.D. & Ekhaml, L. (2000). How interactive are your distance courses? A Rubric for Assessing Interaction in Distance Learning, Online Journal of Distance Learning Administration, vol.3, No.2.

7.         Roblyer, M.D. & Wiencke W.R. (2003). Design and use of a rubric to assess and encourage interactive qualities in distance education, The American Journal of Distance Education, Vol.17, No.2, 77-98.

8.         Zirkin, B.G. & Sumler, D.E.(1995). Interactive or non-interactive? That is a question!!! An annotated bibliography. Journal of Distance Education, Vol.10, No.1, 95-112.

9.         艾伦·泰特（2003）开放和远程教育中学生学习支持之理念与模式，中国远程教育，第15期，15-23。

10.    陈丽（2004a）术语“教学交互”的本质及其相关概念的辨析，中国远程教育，第2期上，12-16。

11.    陈丽（2004b）远程学习的教学交互模型和教学交互层次塔，中国远程教育，第3期上，24-28。

12.     陈丽（2004c）远程教育中教学媒体的交互性研究，中国远程教育，第4期上。

13.     陈丽，黄荣怀（2004）中国大陆现代远程教育发展动态研究，台湾教育研究.。

14.     教育部教育信息技术标准化技术委员会教育技术分技术委员会（2002），CETS-22：网络课程评价，<http://www.celtsc.edu.cn/>。

15.     黄荣怀，张进宝，董  艳（2003）关于网络教学过程认证标准的研究，开放教育研究，第5期，5-9。

16.     梁林梅，焦建利（2002）我国网络课程现状的调查分析与反思，开放教育研究，第6期，13-16。

17.     李爽，陈丽，郑勤华（2001）基于网上教学的案例研究──对网络交互质量的分析，中国电化教育，第7期，54-57。

18.     张建伟，吴庚生，李 绯（2003）中国远程教育的实施状况及其改进——一项针对远程学习者的调查，开放教育研究，第4期，7-11。

19.     张伟远，王立勋（2003）网上教学环境评定指标体系之研究，中国远程教育，第17期，34-39。

Study of the Index System for the Quality of Instructional Interaction of Web-based Courses

Abstract: With E-learning rapidly developing, the quality of its main carrier, web-based course, attracts extensive interest. Although it is already reported that the interaction plays an important role for the quality of web-based courses, some investigations show that the present web-based courses still lack effective interaction. Just in order to help distance instructors evaluate the instructional interaction in these present courses and thus improve their instructional activities effectively, herein we try to propose an index system which may be used to quantitatively and operationally evaluate the interaction quality during the instruction of the web-based course.

         In the research, several methods are used including literature analysis, questionnaire, expert argumentation and interview, etc. The procedure is mainly consisted of: (1) Generalization and analysis of literature. (2) Design of the draft of the index system, which involved 5 dimensions, interactivity of the media interface, interaction between students and resources, instruction design for social interaction, evidence of instructor engagement and evidence of student engagement, all of these reaching up to 63 indexes in total.  (3) Asking specialists for advice. (4) Inviting 12 experts on distance education to discuss the efficiency of this index system, such definitude and necessity for each index, mark of each dimension, and their holistic suggestion, then deleting 12 unnecessary indexes and revising others according to the opinion of the experts. (5) Designing questionnaires in which all indexes are arranged randomly, and then deleting 4 indexes which are thought unclear and difficult to understand according to questionnaire and interview. In the end, the final version of the index system is determined which includes 5 dimensions and 47 indexes.

Key words: Web-based course, the quality of instructional interaction, index system of evaluation