计算思维学业评价的内容构建与方法设计

李锋 程亮 顾小清

【摘 要】

信息技术与社会各领域深度融合使人们不仅在行为上要适应信息社会，更要用思维理解信息社会。计算思维作为学生在信息社会生存的基本素养，已成为学校教育的重要内容。随着计算思维教育的实施，如何评价计算思维和怎样通过评价促进学生计算思维发展就成为计算思维教育的一项重要内容。本研究梳理了我国计算思维评价中存在的问题，借助NVivo质性文本分析工具对25篇国际计算思维评价的文献进行内容分析，形成计算思维评价内容关键词编码的组织序列，归纳K-12阶段计算思维评价内容体系;依托教育目标分类理论分析计算思维评价方法与策略，阐明不同维度评价内容与学段的映射关系，针对评价内容选择典型评价案例，为实施评价提供可资参考的路径。

【关键词】  计算思维;学业评价;内容体系;方法设计;质性文本分析工具;聚类分析;计算概念;计算实践;

计算观念

【中图分类号】   G40-057         【文献标识码】  A       【文章编号】  1009-458x（2022）2-0065-11

信息技术与社会各领域深度融合创生出“互联网+”“人工智能+”等信息社会发展新形态，它在改变人们的行为特征的同时，也转变着人们的思维方式。计算思维作为人们抽象问题及表达解决问题方案的一种思维过程（Wing， 2014），已成为人们生存于信息社会的一项基本素养，并逐步融入许多国家（或地区）的学校课程体系中（范文翔， 张一春， 李艺， 2018; 李锋， 2018）。计算思维在学校有计划、有步骤地实施后，怎样评价学生的计算思维和如何实现“以评促学”就成为计算思维教育的新挑战（Mueller， et al.， 2017）。

一、问题界定

学业评价是课程实施的关键环节，也是验证与促进教学成效的重要依据。在计算思维教育中，通过学业评价可判断学习目标达成度，发现学习问题，有针对性地指导与调整学习。我国新修订的高中信息技术课程标准将计算思维作为一项学科核心素养，融入信息技术课程与教学中。随着新课程实施，研究人员通过专家访谈、课堂观察、文本分析等方式调研了学校计算思维教育现状，发现计算思维评价还存在着评价内容简化为编程评价、评价方法等同于题目测试以及评价结果过于强调甄选功能等问题。

（一）计算思维评价简化为编程评价

计算思维作为人们运用计算机科学领域思想方法解决问题的一系列思维活动，不仅包括算法、编程等概念和技能层面的内容，还包括应用计算机解决问题过程中的更多学习结果，例如学生在信息活动过程中的问题分析与解决能力、系统思考与设计能力、社交能力、人格塑造与思维品质发展以及价值观的形成，是信息化环境下多种思维的综合体（王旭卿， 2014; 陈国良， 董荣胜， 2013）。2018年，我国高中信息技术课程标准要求从“方案设计、自动化实现、迭代与优化、能力迁移”（中华人民共和国教育部， 2020， p.66）等方面发展学生计算思维综合应用能力。然而受信息技术“工具论”影响，在教学实践中计算思维评价还局限于程序设计语言的常量、变量、数据类型、运算符、表达式等知识技能评价，过于关注语句結构分析，强调函数及其参数的操作，将计算思维评价简化为“编程评价”。事实上，脱离活动情境和问题解决全过程，碎片化、机械式程序技能评价不仅不能真实反映学生的计算思维，还会因过多记忆性与操作性内容降低学生的学习兴趣，导致课程标准与学业评价“两张皮”的问题（熊璋， 杨晓哲， 2019）。

（二）计算思维评价等同于“题目测试”

随着学界对计算思维研究的深入，计算思维的内涵得以不断丰富，进一步推动了计算思维评价方法与工具的发展。一些学者依据评价目标与内容，从题目设计、组织方式、技术环境等方面研发了形式多样的计算思维评价方法与工具。大田等（Ota， 2016）通过智能化编程环境，将具体问题和任务要求转化为抽象、分解和建模等计算思维相关能力事件，在其中融入编程所需要的分支语句、循环、事件、函数等计算概念与方法，通过分析学生编程解决问题的能力开展个性化计算思维评价。科尔克马兹等（Korkmaz， 2019）从创造、算法思维、合作、批判思维等方面开发了一套含有29个项目的计算思维自我效能感评价量表，通过学生填写量表和分析量表数据，评价学生计算思维发展状况。我国高中信息技术课程标准在评价建议中也提出：“要根据评价目的与要求，从知识、能力、情感等方面采用多种方式开展评价，全面评价学生学习状况。”（中华人民共和国教育部， 2020， pp. 51-52）然而，调研我国信息技术课程实施现状，计算思维评价主要还是通过信息技术题目测试的方式来实现。为强调评价结果的客观性，测试题目更多是依据问题读程序、修改语句、分析和判断运行结果等内容。计算思维教育作为学生学习知识、提升能力、发展情感的综合体，如果评价只采用单一的题目测试方式，忽视计算思维发展的整体性，当评价结果指向高利害时也就容易引发“题海训练”的问题（杨伊， 陈兴治， 2018）。

（三）计算思维评价指向“等级甄别”

当前教育评价领域正发生着范式的转换，吉普斯（Gipps， 2009）将之描述为从心理测量学范式到教育评价范式的变革，从测验文化到评价文化的变革。评价不再局限于对学习群体的“甄别”，更强调评价结果及时反馈与个性化指导。评价理念的变革推动了计算思维评价的发展。莫雷诺-莱昂（Moreno-León， 2015）等人借助在线编程平台将评价嵌入学习过程中，从抽象、问题分解、模型建构、数据分析等计算思维概念构成要素，对学生在编程过程中表现出的计算思维进行形成性评价，以个人学习评价报告的方式反馈给学生，指导和调节学习。巴苏等（Basu， 2017）采用前、后测方式评价学生计算思维的发展情况，引导学生在特定问题场景中进行算法设计，评估学生的计算思维实践能力，采用电子档案记录学生的学习过程，分析学生的学习困难。我国高中信息技术课程标准也强调“要以多样化的评价促进学生学科核心素养的提升，不能简单地以分数或等级来评估学生”。但是，调研我国计算思维评价的具体实施，主要还是以信息技术学业合格考试和学业等级考试两种结果性评价来实现。学业合格考试划分为“合格”或“不合格”两类等级，学业等级考试根据学生分数归档等级。但无论合格考试还是等级考试，其目的均指向对学生进行“甄别”，评价结果不仅不能及时反馈与指导学生改进学习，反而会因过于强调“甄别”而加剧学习竞争，导致“为考试而学”的问题。

随着计算思维在学校教育的深入开展，计算思维学业评价也得到学界关注。例如，任友群等（2016）从计算原理与项目实践等方面探讨了计算思维综合评价体系，提出将计算思维作为综合学习结果进行评价;格弗罗（Grover， 2017）从开放式编程、作品创新、算法纸笔测验等方面开展了计算思维评价方法研究;史文崇（2019）等从评价工具方面分析了总结性工具、形成性交互评价、技能-迁移工具、观念态度量表等在计算思维评价中的优势和不足。这些研究为计算思维评价研究进一步开展提供了可资借鉴的成果。

二、研究目标、方法和过程

（一）研究目标

针对我国当前计算思维评价中评价内容简化为编程评价、评价方法等同于客观题测试以及评价结果过于强调甄选功能等问题，本研究聚焦计算思维“评什么”和“怎么评”两项任务，收集和梳理国际计算思维评价研究成果，借助质性文本分析工具，以文本编码方式对收集的计算思维评价文献进行聚类和归纳研究，从评价内容、评价方法、评价案例等方面进行文本分析，研究目标为：

（1）通过质性文本分析工具，对筛选出的计算思维评价研究文献进行内容分析，聚类评价内容要点，构建K-12阶段计算思维评价的内容结构体系;

（2）通过“学段—内容—方法”关系映射方式，建立计算思维评价内容与各年龄段学生的对应关系，针对评价内容设计计算思维评价方法;

（3）通过案例研究法，分析计算思维评价内容、方法和工具一致性实现过程，提供可资借鉴的评价案例。

（二）研究方法与过程

本研究采用文献内容分析与关键词聚类归纳方法，以质性文本分析工具NVivo软件为研究工具，利用其文本编码、数据可视化、聚类比较等功能完成对研究文献的内容分析，自下而上地归纳不同层次的概念范畴与类属关系，探寻计算思维评价要素的结构关系，建构出适用于K-12阶段计算思维评价的内容体系。

1. 收集与整理研究资料

研究人员以“计算思维（computational thinking）”并含“评价（evaluation）或评估（assessment）”为关键词在ACM、IEEE、Science Direct、Springer Link、Web of Science等数据库中以主题检索的方式，对2006年至2021年2月的研究文献进行检索，通过Endnote去重后得到相关文献692篇。根据标题与摘要初步排除478篇无深度相关文章，然后结合文章内容进行复筛，剔除综述与理论类文献、非K-12阶段的研究文献、不包含计算思维测评环节的文献，再从复筛文献的参考文献中追踪相关文献，最终确定25篇有效的计算思维评价研究文献。

确定研究文献后，研究人员对筛选出的文献从研究学段、评价目标和评价方法三个方面进行分析。确定每一项研究中计算思维评价学生的学段、评价目标和评价方法。表1是研究文献筛选与整理结果。

2. 文本编码与聚类分析

文本编码和分析采用扎根理论研究模式（Strauss & Corbin， 1997），在不预设任何模型假设，不限制形式的资料中比较、发掘和分析研究文献，以NVivo为分析工具，通过三级编碼对25篇计算思维评价的研究文献进行编码，梳理出306个内容要点、37种基本类属、9项核心条目编码结构体系。为确保文本编码的信度，研究团队推选两位学科专业内容识别特征准确率高、编码一致性高的研究人员进行文本编码，他们均接受过“行为事件访谈法”（BEI）编码方法训练。在编码过程中两名编码人员分别编码，在每一级编码中，分别汇总比对编码结果，当两人对编码内容出现不一致观点时，两位编码人员集中讨论，直到达成一致。如果两者不能达成一致，由第三名研究人员（指导专家）进行最终确认。具体编码和归纳过程如下：

（1）一级编码，聚合内容要点。一级编码是将计算思维评价研究中的文本内容分解为不同等级与不同类型的关键词类属。本环节将25篇计算思维评价研究文献全部导入NVivo软件中，以分词编码方式对研究文献中与计算思维评价指标相关的关键词进行提取编码。单篇文献中出现多次同一关键词只在第一次出现的地方进行编码。

（2）二级编码，概括基本类属。二级编码是寻找计算思维评价要点之间的关联，构建具有概括性的同类内容，是在一级编码基础上归类名称相似、含义重合、相关性高的内容要点。在此过程中，研究者参考我国高中信息技术课程标准、CAS-2015定义、ISTE-2015定义中对计算思维概念的界定，对内容要点进一步界定，统一表述语句。基于以上原则，形成37种基本类属，这些类属位于评价框架中层，是进一步凝练核心条目的支撑依据。

（3）三级编码，归纳核心条目。三级编码是在一级、二级编码的基础上，依据学科特征归纳计算思维评价的核心条目，建构出研究主题内部要素的逻辑关系。在此过程中，研究者对最终确定的37种基本类属进行归类分析，建立基本类属之间的类别关系与评价频度，回溯文献内容与课程标准中计算思维评价指标的名称与内涵，归纳形成计算思维评价的核心条目。按照25篇文献评价内容编码频度聚类结果，计算思维评价内容的核心条目顺序是程序（96）、问题分析（57）、过程开发（38）、方案设计（35）、合作意识（23）、情感态度（19）、算法（18）、数据结构（10）和数据处理（10）。其中，每一核心条目又包括相对应的基本类属，形成计算思维评价内容要点内部的逻辑关系（如图1所示）。

三、研究分析与结果

（一）构建计算思维评价“目标—内容”结构体系

2012年，布伦南和雷斯尼克（Brennan & Resnick）在编程环境下分析学生的计算思维表现，设计出计算思维评价的三维框架，即计算概念、计算实践和计算观念。该框架与我国知识与技能、过程与方法、情感态度与价值观三维教育目标相互呼应（王旭卿， 2014），界定了计算思维评价目标维度，提供与之对应的评价内容。但是，该评价框架主要指向的是编程环境下学生计算思维评价，较少涉及非编程环境（如不插电计算机学习环境）下计算思维的应用与表现，窄化了计算思维评价的内容范围。为综合评价学生在编程和非编程环境下应用计算思维解决问题的能力（郁晓华， 王美玲， 2019），本研究借鉴布伦南等提出的三维评价框架，结合25篇文献内容的聚类分析结果，设计“目标—内容”结构体系，进一步丰富计算思维评价内容。

依据教育目标分类理论，从评价目标层面对文献内容聚类结果进行归纳。其中，程序、算法、数据结构归类为计算概念，指向应用计算思维处理事务过程中所需具备的基本知识与技能;问题分析、方案设计、过程开发、数据处理归类为计算实践，表现为利用计算思维解决问题的过程与方法;合作意识、情感态度归类为计算观念，反映人们在应用计算思维的过程中所形成的有关人、技术与社会关系的观点、情感与态度。

按照学科逻辑关系，整合25篇文献中计算思维评价内容，形成核心条目与基本类属的一致性关系。例如，“程序”在评价内容中包括变量、运算符、布尔运算、条件、循环等内容;“过程开发”在评价中体现在渐进与迭代、模块化与重用、调试与纠错、评估与反馈等方面。

结合评价目标与学科逻辑，构建K-12计算思维“目标—内容”评价框架（如表2所示），明确目标维度对應的核心条目与基本类属，形成目标维度、核心条目、基本类属的结构体系，为计算思维“评什么”提供“目标—内容”层面的支持。

（二）计算概念的评价内容与方法

1. 计算概念评价内容分析

计算概念作为理解和应用计算思维的知识与技能，由处于顶端层次包容性较强的抽象概念和在结构中处于较低层次的具体概念组成。分析研究文献中计算概念相关的评价案例，在评价内容中程序所涉及的评价频度最高（98），其次是算法（18）和数据结构（10）。受编程教学观念影响，程序及相关内容依然是计算概念的主要评价内容。在上述三类顶端层次的计算概念中，每一类又可划分为一些具体概念，形成有层次、有关联的知识结构。例如，数据结构可分化为列表、栈、队列、二叉树等。随着计算概念和子概念不断融入与相互贯通，计算思维评价逐步从编程环境迁移至非编程环境中，其评价内容得以不断完善与发展。

按照安德森（2008， pp. 20-31）“知识—认知过程”认知目标分类方法，结合学生学段，从“学段—计算概念—认知层次”设计分析框架，对文献中计算概念的评价内容进行分析（如图2所示），可看出：计算概念随年级提高呈现出评价内容量与复杂度逐步增加的态势。其一，随年级提高计算概念评价内容量逐步增加。例如：在K—6年级，数据结构的评价内容反映在编程操作中的列表（Seiter & Foreman， 2013）;在7—9年级数据结构评价的内容增加了队列、栈和二叉树等内容（Dagiene & Futschek， 2008），在评价内容量上有所增加。其二，随年级提高计算概念的认知程度逐步加深。例如，在7—9年级与10—12年级两个学段，虽然在数据结构上两个学段的评价内容都有队列、栈和二叉树的内容，但是在认知层次上7—9年级是通过具体情境让学生理解“二叉树”中节点间的规则关系，能直接应用规则完成数据交换（Dagiene & Futschek， 2008），而10—12年级则要根据规则对情境中的问题进行分析，对二叉树中节点的值进行推算，并做出判断（Storey & Hobson， 2018）。

2. 计算概念评价方法与案例

计算概念的评价是判断学生对概念性知识的掌握程度，不仅是判断学生对概念内容叙述的准确性，更主要是在“变式”情况下学生对概念特征与属性关系进行推理、判断及应用的状况。比较研究文献中的评价案例，计算概念评价方法较多采用题目测试法来设计计算概念评价“变式”。题目测试法是将评价的计算概念和学生的学习经验结合起来，设计与描述评价情境与问题，在学生回答和解决问题的过程中考查学生对计算概念的理解和掌握情况。其中，情境与问题的设计要符合以下要求：①要具有与学生经验相符合的活动情境;②解决问题时需要用到相应的计算概念;③问题对于相应年龄的孩子要具有一定的挑战性。例如，贝布拉斯挑战赛（Bebras-Tasks）采用情境试题对小学生的计算思维进行测试。在题目设计中，在问题情境、概念的属性特征、概念间的相互关联等方面设计测试题目的“变式”，根据学生作答结果的正误进行判断与反馈。案例1是应用题目测试方法评价学生计算概念的一个案例。

案例1：循环执行的过程与方法

评价对象：小学2年级

评价目标：考查内容为程序类属中的“循环”相关概念与方法。

情境与问题：“在图3中，运动中的图符想要走到红色标志物处需要重复多少次‘左-左-上’序列？”

问题分析：题目将“循环”中循环条件、循环体、重复执行等属性渗透到任务情境中，学生在求解过程中需要利用这些概念、属性和特征做出判断。即使不在编程环境下，通过这一类问题的解决也能反映出学生应用计算思维解决问题过程中表现出的形式化与模型化的能力。

（三）计算实践的评价内容与方法

1. 计算实践评价内容分析

计算实践是在应用计算思维解决具体问题的过程中对计算概念、方法、策略等内容的综合应用。分析研究文献中的相关内容与案例，计算实践主要表现为问题分析、方案设计、过程开发、数据处理四个主要环节。在文献研究内容中，“问题分析”评价频度最高（57），其次是过程开发（38）、方案设计（35）和数据处理（10）。问题分析作为计算实践的首要环节，直接影响着其他解决问题环节的开展，是计算实践评价设计都需经历的环节。在计算实践四个环节中， 每一环节又可分解为一些子环节。例如，“过程开发”可分解为渐进与迭代、模块化与重用、调试与纠错、评估与反馈;“数据处理”可分解为数据收集、数据组织、数据分析、数据呈现。在具体实践情境中，对学生应用计算思维解决问题的环节进行跟踪和判断，以此评价学生的计算实践能力。

计算实践活动可以反映出学生应用计算概念与方法解决实际问题的能力。按照问题起点、目标与操作方法的清晰程度，问题可分为“良构问题”与“劣构问题”（王小明， 2009， pp. 231-232）。不同类型的问题所反映的计算实践能力也不尽相同。结合学生的学段特征，从学段、计算实践、问题类型三个维度设计分析框架，对文献中计算实践评价内容进行分析（如表3所示），可发现：

其一，面向计算思维解决问题全过程的评价。在“核心条目”与每项条目的“基本类属”方面逐步形成计算实践闭环结构。例如，在计算实践“核心条目”层面，K—6年级、7—9年级和10—12年级三个学段的计算实践中都包括问题分析、方案设计、过程开发和数据处理;在“基本类属”层面，K—6年级过程开发能力以渐进迭代、调试纠错、模块化与重用为主要评价内容，而在7—9年级增加了评估与反馈，形成 “过程开发”全过程的闭环结构。随着年级的上升，评价学生计算思维解决问题场景的多样性、过程的复杂性也得以逐步加强。

其二，问题设计包括 “良构问题”与“劣构问题”。评价问题设计既关注应用计算思维解决问题的一般过程与方法，也关注开放环境下的学习迁移能力。例如，在10—12年级游戏创作评价案例中，有在结构模型基础上进行再创作的“良构问题”，評价学生应用计算思维解决问题的一般过程与方法（Koh， et al.， 2010）;有按照评价要求自主确定游戏主题、设计游戏活动，通过编程方式创作游戏场景的“劣构问题”，评价学生解决问题的迁移能力（Bennett，et al.， 2013）。

2. 计算实践评价方法与案例

分析研究文献中相关评价内容与案例，目前计算实践评价方法较多采用编程任务法。在评价过程中创设问题情境，通过问题分析、方案设计、过程开发、数据处理等环节评价学生的计算实践能力。从编程评价语言环境来看，K—9年级学生较多采用的是图形化编程评价环境，学生通过“拖拉”语句块的方式完成评价任务，表现计算实践能力;10—12年级学生较多采用的是代码编程评价环境，学生通过编写代码展现应用计算思维解决问题的能力。从评价结果诊断与反馈来看，随着在线编程环境的发展与成熟，可以应用在线技术跟踪、记录学生的编程过程，实时分析学生编程解决问题的各个环节，根据评价需要进行评价反馈，实现智能化环境下的计算实践评价。

案例2是一个应用编程任务评价学生计算实践维度的示例。

案例2：编程活动任务评价

评价对象：7年级学生

评价目标：通过编程任务对学生的“过程开发”能力进行评价。

情景与任务：“在图4中，小亮开发了‘猫咪碰到特定颜色n次（指定值）后停止运动，并动态显示碰到的次数’程序，但当前程序不起作用。你能找出问题原因并调试成功吗？平台会记录你完成修改的内容、步骤和所用时间。”

任务分析：该任务中的问题是一项“良构问题”。问题初始状态目标状态明确，依据规则、按照既定流程即可解决问题。在学生解决问题的过程中，平台记录和分析学生操作的步骤、方法和过程，并：①判断学生对编程规则和语法知识的掌握程度;②评估学生对编程解决问题一般过程与方法的应用能力。

（四）计算观念评价内容与方法

1. 计算观念评价内容分析

计算观念是应用计算思维解决问题过程中形成的个人对计算环境的理解，是学生在计算实践中在性格塑造与思维习惯养成方面的学习结果。分析研究文献的内容与案例可知，计算观念集中反映在计算思维应用过程中的合作意识与情感态度两个方面。在评价频度上，合作意识最高（23），其次是情感态度（19）。其中，合作意识主要体现在沟通意识和互助意识两方面，这切合当前国际编程教育中倡导的同伴编程和在线社区合作编程的发展趋势;情感态度体现为学生在计算思维发展过程中表现出的热情、进取心和积极性等方面。在计算思维发展的不同阶段，学生的情感态度也会发生变化。例如，学生在学习编程的过程中，最初充满热情和进取心，但随着内容和难度增加，有些学生可能出现畏难情绪。文献中对计算思维发展过程中情感态度的评价主要包括学习坚持力、质疑态度和人与社会的关系等方面。

梳理文献中K—12计算观念评价内容与案例，从学段、计算观念、表现性特征三个维度建立计算观念评价内容表（如表4所示）。可发现：其一，计算观念表现性特征的区分主要在小学与中学两个阶段。小学阶段强调编程层面的计算观念，如合作编程意愿、编程学习坚持力以及对编程学习与社会生活关系的认识等方面;中学阶段逐步深入关注学生计算方法和工具层面的计算观念，如计算工具、计算方法、与计算相关工作的影响等。其二，从小学到中学，计算观念评价内容的复杂度逐步加强。K—6年级强调学生在开展简单活动与完成简单学习作品方面的计算观念，7—12年级逐步发展为综合项目活动和挑战性任务层面的计算观念，对学生在完成复杂性任务过程中的计算观念有了更高要求。

表4 计算观念评价内容表

[学段 计算观念 表现性特征 作者 K—6年级 合作意识 ·你能与伙伴开展合作编程活动吗？

·你能与伙伴用编程方法和工具合作创作作品吗？

·你喜欢用编程方法和工具表达个人观点吗？ Brennan & Resnick（2012）

Tran（2019）

Allsop（2019） 情感态度 ·在编程解决问题的过程中遇到困难时，你能坚持吗？

·你意识到编程方法与生活学习中的事情相互关联吗？

·你意识到编程方法和工具对身边事物的影响吗？

·你认为编程是否会帮助你在当今的数字世界中取得成功？ 7—12年级 合作意识 ·你能有目的地应用编程方法和工具合作开展项目活动吗？

·你愿意在线展示编程完成的作品吗？

·你愿意与伙伴进行计算活动的合作学习吗？ Berland & Wilensky

（2015）

Grover （2017）

Korkmaz & Xuemei （2019） 情感态度 ·你对开展计算相关的活动感兴趣吗？

·你喜欢通过计算方法做一些挑战性的事情吗？

·你将来愿意从事与计算相关的工作吗？

·你意识到编程中的代码和应用效果之间的联系吗？

·你能否应用编程解决真实生活情景中的问题？ ]

2. 计算观念评价方法与案例

计算观念作为学生在学习过程中的内部状态或倾向，所采用的评价方法有访谈观察法与量表分析法。访谈观察法是依据评价目标设计访谈问题，通过个别或集体访谈获取学生对相关问题认识的一种互动交流式评价方法（Stiggins & Chappuis， 2005）。例如，布伦南和雷斯尼克针对学生的编程创作过程，设计图形化编程背景、项目创造、在线社区和个人展望四项访谈问题，以在线访谈的方式访问学生对编程的想法，记录和分析学生的学习积极性和态度，并应用分析结果完善编程环境，支持学生计算思维发展。量表分析法是指让学生填写调研量表，根据调查结果对学生的计算观念进行评价的一种方式。李克特量表是计算观念评价中经常采用的一种评价工具。例如，科尔克马兹和白雪梅（2019）在评价学生计算思维的研究中，采用李克特量表对1，015名高中生开展评价，通过对“合作”维度下一组选项内容进行分析，判断学生计算观念相关层面的发展情况。评价内容与方法的设计如案例3所示。

案例3：计算观念中“合作意识”的评价

评价对象：10—12年级学生

评价目标：学生在计算活动过程中，对“合作”的认识以及对自我表现的评判。

量表项设计：学生开展计算思维课程实践，活动后根据自身学习体验填写评价量表，完成自我评价。量表的部分题项如表5所示。

表5 评价量表案例

[在计算思维学习活动中： 非常

赞同 赞同 不确定 不赞同 非常不赞同 1.我愿意与小组成员一起开展合作学习 o o o o o 2.合作学习过程能激发我生成更多新观点 o o o o o 3.在合作学习过程中我愿意和小组成员一起解决项目问题 o o o o o 4.在合作學习中我能取得更好的学习成果 o o o o o ]

评价分析：在采用量表评价学生的合作意识与表现时，首先描述计算思维学习活动中“合作意识”的表现性特征，学生选择与个人表现相适合的选项，根据学生个人或群体作答结果对“合作意识”情况做出推论与判断，为改进教学提供证据支持。

四、研究讨论

随着计算思维教育在学校广泛开展，其研究焦点从“教什么、怎么教”发展到 “评什么、怎么评”方面，有效的评价有助于促进计算思维教育的落实。分析国际计算思维评价研究文献可知，在评价内容体系建设、评价方法设计和评价功能应用等方面都有所发展。但是，在评价内容要素、评价结果整体性分析以及评价功能的指导性等方面还需进一步完善。

（一）构建出计算思维评价内容框架，但其内容要素还需进一步完善

分析计算思维评价内容聚类结果可以发现，K—12计算思维评价超越了传统编程技能评价，从计算概念、计算实践和计算观念三个维度建构起评价内容框架，为计算思维评价提供了一致性的参照体系。通过该框架，既可从学科层面明确计算思维评价的核心概念与知识，避免将计算思维评价简化为编程评价，也可以从实践应用层面确定计算思维评价的关键能力与必备品格，避免计算思维泛化问题。

与此同时，分析研究文献可知，计算概念、计算实践和计算观念评价的一些具体内容还存在缺失。例如，文献中计算概念评价主要包括的是计算机应用层面的概念内容，如程序、算法、数据结构，缺少计算机网络方面所反映的计算思维的内容;计算观念方面的评价主要还是对合作意识、情感态度的评价，而对计算思维应用中所需遵守的伦理道德等还缺少设计。因此，在已形成的计算思维评价内容框架基础上，还可以从数据、算法、信息系统、信息社会等方面进一步丰富评价内容要素，围绕数字化、网络化、智能化等信息活动场景分析内容要素之间的关系，完善计算思维评价内容体系。

（二）开发出计算思维的多元评价方式，但整体性评价还面临新挑战

比较研究文献中的计算思维评价方法，包括测试题目、编程项目、自评量表和访谈观察等多种评价方式，每种评价方式与评价内容形成了映射关系，为计算思维评价提供了可资借鉴的实施方法与路径。通过多元评价方式，可以采用选择—反应和建构—反应题目测评学生的计算思维知识与技能，提高评价信度和效度;可以通过表现性和交流式评价判断学生的计算实践能力与计算观念，提高评价的真实性。但是，每种评价方法主要还是针对学习内容的某一维度进行评价，人为地将计算思维评价结果割裂开来，难以反映出学生计算思维的整体性发展。

事实上，计算思维作为人们生存于信息社会的一项基本素养，更应是整体学习结果的体现，如何将不同维度的评价结果整合为计算思维整体表现，当前文献还缺少深入研究。因此，为促进学生计算思维的整体性评价，还可以通过综合项目的方式进一步加强对计算思维不同维度的整体评价。项目作品反映出学生计算概念、计算实践和计算观念的发展情况，为学生提供计算思维发展的整体性评价报告。

（三）优化了计算思维教育环境，但个性化学习指导功能还需加强

概括研究文献中的计算思维评价功能，其评价结果主要用于区域性学业成就比较、学习问题分析、教学方法改进和教学工具优化等方面，提高了评价功能的多样性，优化了计算思维教育环境。例如，达吉安和富切克（Dagiene & Futschek， 2008）分析Bebras国际竞赛结果，比较区域性学生计算思维学业成就，加强计算思维教育的区域性交流;陈关华（Chen， 2017）等人通过可视化编程机器人环境与不插电编程环境组织学生开展学习，评价学生计算思维发展状况，验证不同教学环境对学生计算思维发展的效能，优化教育环境。

但是，从学生发展来看，计算思维评价的根本目的还是促进学生计算思维发展，达成学习目标。因此，在评价应用方面还需要进一步加强计算思维评价促进学习的功能，一方面围绕计算思维教育目标分析学生的学习结果达成度，利用技术工具将诊断结果及时反馈给师生;另一方面借助智能化分析工具跟踪、刻画学生个人计算思维发展模式，在学生原有学习基础上进行个性化指导，通过学生学习成果的持续性增值达成学习目标，提高计算思维教育质量（Koh， et al.， 2010）。

五、研究局限与发展

本研究借助NAvivo工具对25篇国际计算思维评价研究成果进行了关键词聚类分析，归纳出计算思维评价的内容要点与框架体系，梳理了计算思维评价的方法和案例。在研究过程中，为确保分析工具对“关键词”的一致性处理，研究文献只筛选了英文研究文献，这在一定程度上影响了文献研究的全面性。因此，在后期研究中还要进一步开展中文计算思维评价研究文献的梳理，将两类研究成果结合，进一步完善评价内容与框架。此外，在研究方法上还需要将研究成果与评价实践相结合，在学校计算思维评价实践过程中遴选优秀评价案例，进一步补充和完善研究成果。

[参考文献]

布鲁姆. 安德森. 2008. 学习、教学和评估的分类学：布卢姆教育目标分类修订版[M]. 皮连生，译. 上海：华东师范大学出版社.

陈国良，董荣胜. 2013. 计算思维的表述体系[J]. 中国大学教学（12）：22-26.

范文翔，张一春，李艺. 2018. 国内外计算思维研究与发展综述[J]. 远程教育杂志，36（2）：3-17.

李锋. 2018. 中小学计算思维教育：STEM课程的视角[J]. 中国远程教育（2）：44-49.

任友群，隋丰蔚，李锋. 2016. 数字土著何以可能？——也谈计算思维进入中小学信息技术教育的必要性和可能性[J]. 中国电化教育（1）：1-8.

史文崇，刘茂华，杨大志. 2019. 计算思维教育的困惑与博弈[J]. 中国远程教育（8）：59-67.

熊璋，杨晓哲. 编程热引发思考 专家：推动信息素养教育刻不容缓[EB/OL]. [2019-5-8]. http：//edu.people.com.cn/n1/2019/0508/c1006- 31073827.html

王小明. 2009. 学习心理学[M]. 北京：中国轻工业出版社.

王旭卿. 2014. 面向三維目标的国外中小学计算思维培养与评价研究[J]. 电化教育研究（7）：48-53.

杨伊，陈兴治. 2018. “刷题”的盛行与潜在的危机[J]. 上海教育（36）：78-79.

郁晓华，王美玲. 2019. 流程图支持下的计算思维培养实践研究[J]. 中国远程教育（9）：83-91.

中华人民共和国教育部. 2020. 普通高中信息技术课程标准（2017年版2020年修订）[S]. 北京：人民教育出版社：66，51-52.

Allsop， Y. （2019）. Assessing computational thinking process using a multiple evaluation approach. International Journal of Child-computer Interaction， 19， 30-55.

Basu， S.， Biswas， G.， & Kinnebrew， J. S. （2017）. Learner modeling for adaptive scaffolding in a computational thinking-based science learning environment. User Modeling and User-Adapted Interaction， 27（1）， 5-53.

Bennett， V. E.， Koh， K.， & Repenning， A. （2013， March）. Computing creativity： Divergence in computational thinking. In Proceeding of the 44th ACM Technical Symposium on Computer Science Education （pp. 359-364）.

Berland， M.， & Wilensky， U. （2015）. Comparing virtual and physical robotics environments for supporting complex systems and computational thinking. Journal of Science Education and Technology， 24（5）， 628-647.

Brennan， K.， & Resnick， M. （2012， April）. New frameworks for studying and assessing the development of computational thinking. In Proceedings of the 2012 Annual Meeting of the American Educational Research Association， Vancouver， Canada （Vol. 1， p. 25）.

Burgett， T.， Folk， R.， Fulton， J.， Peel， A.， Pontelli， E.， & Szczepanski， V. （2015， October）. DISSECT： Analysis of pedagogical techniques to integrate computational thinking into K-12 curricula. In 2015 IEEE Frontiers in Education Conference （FIE） （pp. 1-9）. IEEE.

Chen， G.， Shen， J.， Barth-Cohen， L.， Jiang， S.， Huang， X.， & Eltoukhy， M. （2017）. Assessing elementary students’ computational thinking in everyday reasoning and robotics programming. Computers & Education， 109， 162-175.

Dagien ， V.， & Futschek， G. （2008， July）. Bebras international contest on informatics and computer literacy： Criteria for good tasks. In International Conference on Informatics in Secondary Schools-evolution and Perspectives （pp. 19-30）. Springer， Berlin， Heidelberg.

Gipps， C.， & Stobart， G. （2009）. Fairness in assessment. In C. Wyatt-Smith， & J. Cumming （Eds.）， Educational assessment in the 21st century （pp. 105-118）. Dordrecht： Springer.

Grover， S. （2017）. Assessing algorithmic and computational thinking in K-12： Lessons from a middle school classroom. In P. J. Rich， & C. B. Hodges （Eds.）， Emerging research， practice， and policy on computational thinking （pp. 269-288）. Cham： Springer.

Grover， S.， Pea， R.， & Cooper， S. （2015）. Designing for deeper learning in a blended computer science course for middle school students. Computer science education， 25（2）， 199-237.

Kılıç， S.， Göko lu， S.， & Öztürk， M. （2021）. A valid and reliable scale for developing programming-oriented computational thinking. Journal of Educational Computing Research， 59（2）， 257-286.

Koh， K. H.， Basawapatna， A.， Bennett， V.， & Repenning， A. （2010， September）. Towards the automatic recognition of computational thinking for adaptive visual language learning. In 2010 IEEE Symposium on Visual Languages and Human-centric Computing （pp. 59-66）. IEEE.

Koh， K. H.， Basawapatna， A.， Nickerson， H.， & Repenning， A. （2014， July）. Real time assessment of computational thinking. In 2014 IEEE Symposium on Visual Languages and Human-centric computing （VL/HCC） （pp. 49-52）. IEEE.

Korkmaz， Ö.， & Xuemei， B. A. . （2019）. Adapting computational thinking scale （CTS） for Chinese high school students and their thinking scale skills level. Participatory Educational Research， 6（1）， 10-26.

Kukul， V.， & Karatas， S. （2019）. Computational thinking self-efficacy scale： Development， validity and reliability. Informatics in Education， 18（1）， 151-164.

Moreno-León， J.， & Robles， G. （2015， November）. Dr. Scratch： A web tool to automatically evaluate Scratch projects. In Proceedings of the Workshop in Primary and Secondary Computing Education （pp. 132-133）.

Mueller， J.， Beckett， D.， Hennessey， E.， & Shodiev， H. （2017）. Assessing computational thinking across the curriculum. In P. J. Rich， & C. B. Hodges （Eds.）， Emerging research， practice， and policy on computational thinking （pp. 251-267）. Cham： Springer.

Ota， G.， Morimoto， Y.， & Kato， H. （2016， September）. Ninja code village for scratch： Function samples/function analyser and automatic assessment of computational thinking concepts. In 2016 IEEE Symposium on Visual Languages and Human-Centric Computing （VL/HCC） （pp. 238-239）. IEEE.

Román-González， M.， Pérez-González， J. C.， & Jiménez-Fernández， C. （2017）. Which cognitive abilities underlie computational thinking？ Criterion validity of the Computational Thinking Test. Computers in Human Behavior， 72， 678-691.

Sáez-López， J. M.， Román-González， M.， & Vázquez-Cano， E. （2016）. Visual programming languages integrated across the curriculum in elementary school： A two year case study using “Scratch” in five schools. Computers & Education， 97， 129-141.

Seiter， L.， & Foreman， B. （2013， August）. Modeling the learning progressions of computational thinking of primary grade students. In Proceedings of the Ninth Annual International ACM Conference on International Computing Education Research （pp. 59-66）.

Stiggins， R.， & Chappuis， S. （2005）. Putting testing in perspective： It’s for learning. Principal Leadership， 6（2）， 16-20.

Storey， A.， & Hobson，S（2018）. Bebras Australia computational thinking challenge 2018 solutions guide. Retrieved June 10， 2020， from https：//digitalcareers.csiro.au/en/Bebras/Bebras-resources/Beb-solutions-g uides/ ebras%202018%20Solution%20Guide.pdf

Strauss， A.， & Corbin， J. M. （1997）. Grounded theory in practice （No. 306.461 G882g）. California： Sage Publications.

Tran， Y. （2019）. Computational thinking equity in elementary classrooms： What third-grade students know and can do. Journal of Educational Computing Research， 57（1）， 3-31.

Werner， L.， Denner， J.， Campe， S.， & Kawamoto， D. C. （2012， February）. The fairy performance assessment： Measuring computational thinking in middle school. In Proceedings of the 43rd ACM Technical Symposium on Computer Science Education （pp. 215-220）.

Wing， J. M. （2014）. Computational thinking benefits society. 40th Anniversary Blog of Social Issues in Computing， 2014， 26.

Witherspoon， E. B.， Higashi， R. M.， Schunn， C. D.， Baehr， E. C.， & Shoop， R. （2017）. Developing computational thinking through a virtual robotics programming curriculum. ACM Transactions on Computing Education （TOCE）， 18（1）， 1-20.

Xiao， M.， & Yu， X. （2017， December）. A model of cultivating computational thinking based on visual programming. In 2017 International Conference of Educational Innovation through Technology （EITT） （pp. 75-80）. IEEE.

Zhong， B.， Wang， Q.， Chen， J.， & Li， Y. （2016）. An exploration of three-dimensional integrated assessment for computational thinking. Journal of Educational Computing Research， 53（4）， 562-590.

收稿日期：2021-06-18

定稿日期：2021-11-16

作者簡介：李锋，博士，副研究员，硕士生导师;程亮，硕士研究生。华东师范大学教育信息技术学系（200062）。

顾小清，博士，教授，博士生导师，华东师范大学教育信息技术学系系主任，上海“立德树人”信息科技教育教学研究基地主任（200062）。

责任编辑 单 玲