感谢您关注“永大英语”!
林敦来 陈 芳 林玉琴
摘要:初中学业水平考试,即中考,是一项检测义务教育阶段结束时学业质量是否达标以及为高一级学校招生录取提供依据的考试,具有两考合一的性质。作为命题规划中的关键环节,多维细目表的编制实属不易。实践者常存在理解不到位、技术不达标,以致编制的多维细目表可操作性不强等问题。本文笔者根据相关文献和多年的实践经历,对此现象进行较为深入的剖析,尝试设计了多维细目表的样例,并分析多维细目表各要素之间的关联,以期提升多维细目表的效用,进而促进测试结果的解释意义和测试分数的合理运用。
关键词:学业水平考试;初中英语;多维细目表;考试规范;编制样例
一、引言
初中英语学业水平考试是一项带有学业质量基本要求检测和高一级学校升学选拔双重性质的考试,是一项高利害考试,对考试命题的要求非常高。考试的分数解释和结果运用在多大程度上能满足学业质量检测和升学选拔的考试目的和要求,即测试的效度,是命题人员要密切关注的问题。
2019年,教育部发布了《关于加强初中学业水平考试命题工作的意见》,明确规定“取消初中学业水平考试大纲,严格依据义务教育课程标准命题,不得超标命题”(教育部,2019)。依标命题是保证测试内容效度的基本要求。对于命题人员来说,就是要把义务教育课程标准的课程理念、课程目标、课程内容和学业质量要求全面反映在初中英语学业水平考试试题中,而连接课程标准与试题之间的桥梁就是考试规范(test specifications或test specs)及其具象化且可操作的多维细目表。
二、从考试规范到多维细目表
考试规范最早是由Ruch(1929;转引自Davidson & Lynch,2002)引入教育和心理测量领域的,其含义是“提供高效的生成性蓝图,使得平行的测试任务得以开发”(Davidson & Lynch,2002:4)。可见考试规范具有生成性、平行性、高效性等方面的特征,是保证试题开发质量和效率的重要工具,是试题构念效度证据的重要来源,也是保证试题跨年可比性的重要抓手。Alderson et al.(1995)认为命题人员使用的考试规范要回答以下12个问题:
1)测试目的是什么?
2)被试的特征(如年龄、性别、能力水平、背景等)是怎样的?
3)试卷的结构是怎样的?
4)目标语言使用域是怎样的?
5)文本类型和特征如何?
6)测试哪些技能或微技能,是综合式测量还是分立式测量?
7)测试哪些语言知识或运用(如语法、词汇、功能意念、语用)?
8)采用怎样的任务?
9)每个部分有多少题目,权重如何?
10)测试方法或题型是什么?
11)考试指导语是怎样的,以及是否给作答示例或得分要点?
12)评分原则是怎样的?
为了使考试规范更加具象且更具可操作性,通常情况下,测试规划者会把考试规范的核心内容以表格的方式呈现。这种表格被称作命题细目表(The Table of Specifications,简称TOS)(Cheng & Fox,2017;Miller et al.,2009)。长期以来,教育测量实践者们采用双向细目表的形式,其中一个维度用于体现考试涉及的知识或技能,另一个维度呈现知识或技能的不同认知水平。样例如表1所示。
但是很明显,这种组织方式仅关注了知识点及其认知层次,未能考查学生的核心素养,未能建构知识点之间的关联以产生对事物或现象的整体认知,未能体现整合和综合运用知识来解决现实问题的能力,这与《义务教育英语课程标准(2022年版)》(以下简称《义教新课标》)(教育部,2022)的理念相去甚远。贾瑜、辛涛(2020)提倡用多维细目表引领基于课程标准的试题设计。多维细目表能够全面反映考查目标与内容之间的关系,考查目标、内容和题型之间的关系,题型与难度、区分度以及考查内容之间的关系,题型与难度、区分度以及考查目标之间的关系。
三、多维细目表编制中存在的问题
基于以上讨论,多维细目表在测试与评价,尤其是在大规模的学业水平考试中的重要性不言而喻。但根据笔者多年的经验和观察,多维细目表在实际编制中存在颇多问题,归结起来主要集中在主观认识和设计操作两个层面。
1. 主观认识层面存在的问题
(1)对多维细目表的意义认识不够,不重视多维细目表的编制
命题人员未能认识到多维细目表能够提高命题效率、规范命题过程、帮助收集关于测试测了什么以及学生学得怎样等信息。反之,他们认为多维细目表可有可无,故而出现了编制过程中比较随意的现象,如测试前对多维细目表不予重视,测试后为了应付检查补做;或者测试前随意设计一个多维细目表,测试后为了使数据看起来更加漂亮便任意改动;还有的只是在多维细目表中简单设置了几个指标,以示完成了此项工作。诸此等等,说明命题人员还没有清晰地认识到多维细目表对指导命题的价值和作用,不能通过多维细目表的设计建构好“教—学—评”之间的关系。
(2)缺乏课程标准理念,对多维细目表的认识还停留在双向细目表上
部分命题人员在研制多维细目表时,不能及时更新测试与评价的理念,也未将课程的育人目标与素养立意渗透到多维细目表中来。所以,在编制多维细目表时容易受惯性思维的影响,依然按照教学内容(知识与能力)和认知层次(识记、理解、运用)两个维度设计多维细目表,也就是上文所说的双向细目表。但是双向细目表的考查目标和范围都太过狭窄,容易遗漏或忽视某些复杂的、多维度的教育目标,难以凸显《义教新课标》所倡导的育人导向和素养立意,无法在真实情境中全面考查学生在解决真实问题、完成真实任务的过程中体现出的语言能力、文化意识、思维品质和学习能力。
(3)多维细目表的编制多依赖于命题人员的经验,缺乏科学的实证依据
以中国知网收录的2004—2024年文献为例,输入关键词“多维细目表”,仅检索到12篇文献,其中4篇标题出现了“多维细目表”字样,所涉及的学科为语文、物理和政治,谈到了多维细目表的构建与应用,但未检索到英语学科多维细目表编制的文献。输入关键词“双向细目表”,检索到209篇文献,其中与英语相关的有11篇,多从双向细目表的功能和作用展开研究,利用双向细目表解决教学中的问题(秦倩楠,2020),或只是泛泛地谈及双向细目表的内涵与实践意义(强薇,2011)。只有1篇具体谈论了命题双向细目表在英语模拟考试中的应用(邢文俊,2018)。
可见,在当前的英语多维细目表的研究上,无论是理论建设,还是实操层面的经验,都比较匮乏。命题人员,包括一线教师,对多维细目表的编制尚未形成统一的认识,不清楚多维细目表中应该涵盖哪些要素,以怎样的形式去呈现各要素之间的关联。在实际操作中,命题人员多是凭借自己的经验来设计多维细目表的考查内容以及预设难度等信息,缺乏科学的实证依据。从目前各省市初中英语学业水平考试所依据的多维细目表来看,彼此之间的差异也很大。
2. 设计操作层面的问题
(1)多维细目表的维度划分不科学
多维细目表维度的设计主要围绕能力立意、素养导向展开,维度与维度之间最好能相互独立,彼此之间没有交集,但又能从不同角度实现对核心素养的全面考查。表2所示的多维细目表将考查内容分成必备知识、关键能力和核心素养三个维度,这三个维度并列成为一级指标显然不合适,因为必备知识和关键能力本身也都包含在核心素养里。预估难度仅标记易、中、难,没有具体的难度值估计,难以帮助命题人员准确预设整卷难度,以满足测试目的。
(2)多维细目表包含的要素不齐全
多维细目表一般从试题数量、分值、核心素养考查情况、任务类型(独立型任务、综合型任务)、题型、输入材料特征(语篇类型、主题、长度)、作答方式、预期产出、评分原则和预设难度等方面去设置和规划。但由于命题人员对多维细目表的设计没有形成相对统一的认识,所以绝大多数多维细目表所包含的要素都不齐全。有的不能清晰反映出试卷结构,如试卷考查了几个部分的内容,各部分包括哪些具体题型;有的缺乏分值的设计,如全卷的总分以及各小题的分值等;有的缺乏全卷的预设难度,也没有提供易、中、难题的预估难度等,多数都没有提供答案与评分原则等信息。
(3)多维细目表的考查目标不全面,且划分不够清晰
目前各省市的初中英语学业水平考试多维细目表基本符合课程标准的要求,但是考查目标比较笼统宽泛,如“目标层次”通常只涉及识记、理解、运用的认知层面,缺乏对文化意识、思维品质、学习能力等多维目标的关注;在“技能目标”里,往往只涉及听、读、写这三个维度,对“说”的目标以及综合性技能的考查目标关注不够。此外,考查目标划分不清晰的现象也普遍存在,如将任务型阅读和书面表达等综合考查学生运用英语进行表达的题型划分到“理解”的目标里,导致目标设置出现偏低的情况。
(4)多维细目表的预设数据与实际测试结果差距较大
这个问题主要表现在多维细目表的预设难度与实测结果存在一定差异,且个别试题的差异比较显著。这主要是因为命题人员对参考学生学情的调研不够充分,过程中仅凭自己的经验预判各题的难度,所以容易出现预设难度与实测难度差异较大的情况。虽然预设难度与实测难度很难完全保持一致,但如果二者之间的差值超过0.1甚至更高,显然是不尽合理的,难以发挥多维细目表对试题难度的指导与把控作用。
(5)多维细目表的编制过于繁琐,不利于操作
多维细目表的编制是命题过程中很重要的一个环节,它能帮助命题人员有规划、有目的地设计试卷。但如果多维细目表的内容过于繁琐和复杂,也会增加命题人员的负担,导致命题人员无法把时间和精力投入到主要的命题工作中去。在目前各省市的多维细目表里,有的是多维细目总表下又分成了若干个子表格,有的是多维细目表里的要素过多过细,且要素之间又多有交叉,这都不利于命题人员在实操中依据多维细目表有序开展命题工作。
四、初中英语学业水平考试多维细目表的编制
笔者根据上文对多维细目表的论述及现有多维细目表设计的常见问题,以《义教新课标》的考试样题1 Listen and write任务(教育部,2022:61)为例,设计含有该题目的初中英语学业水平测试试卷多维细目表,见表3。该多维细目表从试卷结构、考查内容、权重、题型、任务要求、预期产出特征、答案与评分原则以及预设难度等多个维度全面反映考试内容、能力素养和考查要求。
多维细目表的前四项从不同维度体现试卷的整体结构,包含试卷结构划分、各部分聚焦的技能或知识、对应的具体题号以及总分值和该部分的具体分值。在聚焦的技能或知识模块,多维细目表对考试内容做了规定。常见的有听力理解、阅读理解、书面表达、口头表达、语言知识运用和综合技能等。表3中的示例任务为综合技能任务,要求考生在听后根据听到的内容进行简短产出,不仅考查了听力理解能力,也考查了简单的阅读理解和书写能力。
在核心素养考查情况模块,主要聚焦语言能力和思维品质,文化意识和学习能力作为次要构念予以体现。表3中示例任务的主导技能为听力理解,根据《义教新课标》语言能力目标的规定,该任务主要考查三级语言能力学段目标中的“能在听的过程中,围绕语篇内容记录重点信息,整体理解和简要概括主要内容”或学业质量标准3-3“能理解多模态语篇的主要内容,获取关键信息”的能力,表3将其提炼为“理解重要细节,记录特定信息”,说明本题考查的是学生在听力理解的基础上,阅读表格所提示的信息需求,记录人名、年龄、星期、地名和电话号码等特定信息的能力。在思维品质方面,表3中示例任务对应的是《义教新课标》三级思维品质学段目标中归纳与推断维度的“能提取、整理、概括稍长语篇的关键信息、主要内容、思想和观点”。作为次要的构念,文化意识在此段对话中也有所体现,说话者积极参加志愿活动,并希望能够运用英语来为外宾介绍北京,体现了跨文化沟通的积极心态。在学习能力方面,因为本题要求考生边听边记录,与《义教新课标》三级学习策略内容要求中的认知策略第三条相关,即“在学习中善于抓要点、记笔记”。
在题型方面,本题采用的是填空题,要求考生填写一个单词或数列。其任务要求是听对话,记录关键信息。在输入材料特征方面,对本题的输入材料进行了详细的说明,主要包含语篇类型、主题、文本长度以及其他说明事项。命题人员可以直接参考《义教新课标》对语篇类型进行详细描述。就本示例来说,该文段是连续性文本中的对话。我们可以对其话轮数做相应的描述。本示例则是“人与社会”主题范畴下的“社会服务与人际沟通”主题群,具体反映的是“志愿服务和公共服务”子主题。文本长度为197词。其他说明事项主要是描述技能特异性的内容。对于听力理解来说,最主要的是要对其模态(音频、视频等)、口音、语速等方面进行描述。
在素材来源方面,一般有直接选取、改编和自编等方式。命题人员要在多维细目表里提供具体的出处,以备后续返回检查。在改编和自编方面,命题人员要非常谨慎,特别注意不要破坏文本的真实性,并准备好原始的材料,当有疑问时可以随时回溯原文,重新审视。
在预期产出方面,主要对作答方式和产出结果做具体描述。在本示例中,考生看到的是一张表格,为了防止学生因不熟悉题型而出现作答失误的情况,试题提供了一个作答示例。之后,考生根据提示信息填写表格。在预期产出方面,命题人员也需告知考生在哪里填写答案,以保障评分效度。产出结果则具体说明考生的作答结果是什么内容。
在评分原则方面,主要是说明考生得分的依据,也反映考试的构念。在本示例中,主要的考查技能为听力理解,因此评分要特别重视听力理解的结果。考生如果因为拼写、大小写失误而造成答案与标准答案不完全一致时,命题人员要具体规定每个题目如何给部分分数(partial credit)。涉及数字序列填写的题目,要规定学生按原数字序列写出多少个数字即可得部分分数。明确的规定能够为考试分数的解释和运用提供良好的证据。
由于学业水平考试两考合一的性质,预设难度的设置也非常关键。每个题目难度的预设关系到整卷难度的预判。因此命题人员应根据历年同类型的题目的实测难度,结合对本届学生学情的适当调研,积极预测题目难度,尽量减少差异,使实测难度与预设难度尽量接近。
综观表3的示例,我们可以看到多维细目表通过多个维度描绘试题的特征,将试卷结构、考试内容、考查目标、评分等各个环节的内容紧密关联起来,成为一个有机的整体,大大增强了对测试命题的指导作用。
五、结语
多维细目表在初中英语学业水平考试命题中的价值和作用不言而喻。科学合理地制定多维细目表,体现素养立意的命题原则,真正实现两考合一,首先,需要广大命题人员从主观意识上重视多维细目表的编制。其次,命题人员要基于课程目标和学业质量的要求,在实际编制中合理地设计考查目标、试卷结构、考查内容与考查形式,充分发挥多维细目表在命题中的指导和规范作用,避免命题的主观随意性,保证学业水平考试的信度和效度。最后,多维细目表的编制没有统一的固定的模板,命题人员需要在编制过程中不断摸索、改进,使之日臻完善。
(参考文献 略)
(本文首次发表在《英语学习》2024年第5期)