可判定的输出不是让学员复述文章结论,而是要求他交出一份能被人按同一标准复核的判断记录。做法是:把文章里的方法拆成“输入条件—决策规则—产出物—复核点”四段,每段都写成可观察、可对照、可回退的形式。只写“理解并掌握”的题目无法判定,因为不同批改者会给出不同结论。
文章知识并非都适合转成题目。判断标准是:这条知识是否影响一个具体动作的选择。如果它只解释概念来源、行业演变或名词区别,保留为阅读材料即可;如果它改变下一步做什么,就应该转成实操题。
以“页面标题与正文主题不一致”这类知识点为例。适合转题的部分是:给定一组页面样本,要求学员标出哪些页面需要改写标题、哪些只需调整正文、哪些应暂时不动,并写出判断依据。不适合转题的部分是标题标签的历史由来,那属于背景阅读。
保留为实操题的知识,必须能落到一个产出物上:一张标注表、一份改写前后对照、一段判断说明、一个待验证假设清单。产出物越具体,判定越稳定。反之,如果产出物只是“写一段感想”,批改就会退化成主观印象。
规模化之后最容易出问题的地方,是题目默认了唯一正确答案。个别样本里,讲师凭经验能判断某篇文章该改写;样本一多,例外就冒出来,学员按同一规则处理却得到相反结果。这时要区分三种情况。
三种取舍各有前提。保留适用于例外可被归为噪声;改写适用于例外有稳定触发条件;退出适用于判定所需信息超出学员可获取范围。前提不成立时硬撑,题目就会变成猜讲师偏好。
可判定的输出,关键是让学员写出“我为什么这样判断”,并且这个理由能被另一人复核。可以要求每道题提交三样东西:观察到的现象、排除的替代解释、下一步动作。
假设有一道题:某页面在调整标题后,点击表现没有变化。学员不能只答“标题没用”。他需要写出:观察到的是点击表现无变化;替代解释包括展示位置变化、搜索意图与标题不匹配、样本时间过短;下一步动作是先固定其他变量,再取同一意图下的对照页面比较。这里的数字只用于说明比较方法,不代表任何真实项目结果。
批改时按证据链判定,而不是按结论判定。结论相同但证据链缺失的,判为未通过;结论不同但证据链完整的,可以进入讨论。这样,例外样本反而成为教学材料,而不是判分事故。
个别样本成立的经验,一旦复制到几十上百份作业,就会暴露边界。因此每道实操题都应附一句适用条件,写清“在什么情况下这条规则不适用”。
例如可以要求学员在提交产出物时,同时标注:本次判断依赖了哪些可见信息、缺少哪些不可见信息、如果缺少的信息被补齐,结论可能怎样改变。这个动作会直接影响下一步——讲师据此决定是补充数据、缩小题目范围,还是把该题改为分组讨论。
边界说明不等于免责声明,它是判定的一部分。没有边界说明的答案,即使结论碰巧正确,也不能算可判定输出,因为换一个样本就无法复核。
最后一步是把评分点写成动作,而不是形容词。可用的评分点包括:是否标出了判断所依据的页面元素;是否写出了至少一个替代解释;是否给出了可执行的下一步;是否标注了适用条件。每个评分点对应学员产出物中的一句话或一个标注,批改者能直接指认。
如果某个评分点无法指认,说明题目还停留在“理解”层面,需要退回改写。改写后仍无法指认的,就退出实操题序列,改为阅读或讨论材料。这个回退机制比追求题目数量更重要,因为它保证规模化之后判定标准不会漂移。