黄胜泽研究与实践
← 全部技术笔记

FIELD NOTES · 2026.10.22

一道题怎样被可靠地修好?教育飞轮的内容版本与反馈闭环

一道 OPT 页面置换题的答案始终是八次缺页,解析却把第六次访问误写为第五次。修复这一个位置,牵涉的不只是改一句话:旧作答还对应哪版题目,新解析是否增加题数,反馈怎样进入下一轮生成?本文从这个实际修订拆解题库、求解、审题与推荐之间的数据关系。

这是 2026.10.22 的研究记录,保留当时的问题和结果。相关工作的新整理见:EducateFlywheel ↗

把题目当作可追踪的内容版本

题目生产从教材知识卡片出发,候选经过三路独立求解、审题、分类和反馈效果检查。原交付快照形成五章 500 道试用候选题、4 套专项卷与本地演示;这些数字描述内容规模,真实学习效果另外测量。

反馈记录通过题库版本、题号和修订号连接原题;后续候选记录父题来源、反馈事件、归因案例和采用的经验。这些关系使修订有可解释的来由,也便于比较修改是否回应了原问题。

从一次实际修订开始:第 5 次命中,第 6 次才缺页

这是已经完成的真实候选题修订,内容来自项目生成题库。题设为页缓存容量 3、初始为空、不预取,访问串为 1、2、3、4、1、5、2、1、4、5、3、2、4、1。缓存满时淘汰未来最晚再次访问的页;若多个页未来都不再访问,则淘汰页号较小者。

正确答案始终是 8 次缺页。旧解析列举位置时,把第 6 次访问误写为第 5 次。关键转折是:访问第 4 个页面时淘汰 3,缓存仍有 1;因此第 5 次访问页面 1 命中,第 6 次访问页面 5 才缺页。下面按访问顺序给出完整推演,缓存列按页号排列,表示集合而非队列顺序。

  • 通用生成先执行 12 次调用,两道变体未被接受;其中一道未修复指定原题,失败结果保留。
  • 随后限定只改 explanation,完成编辑与复核两次调用,得到修订 2;旧修订 1 和原生成任务保留。
  • 限定修订由执行会话按 Skill 编排。网页通用按钮尚未自动识别并分流到此模式,不能把本例写成全面自动化已经完成。
访问位置页面命中/缺页淘汰页处理后缓存累计缺页
11缺页—11
22缺页—1, 22
33缺页—1, 2, 33
44缺页31, 2, 44
51命中—1, 2, 44
65缺页41, 2, 55
72命中—1, 2, 55
81命中—1, 2, 55
94缺页12, 4, 56
105命中—2, 4, 56
113缺页52, 3, 47
122命中—2, 3, 47
134命中—2, 3, 47
141缺页21, 3, 48

缺页访问位置 = {1, 2, 3, 4, 6, 9, 11, 14};缺页总数 = 8。

一次反馈怎样从学习页面进入内容生产

学习端先加载一个已登记的题库版本,用户做题时保存所选选项、用时和题目修订号;服务端依据这一版本的答案计算是否正确。遇到疑问,用户提交具体反馈,反馈与对应题干、选项、答案、解析及教材卡片一起形成任务输入。

教研端启动改题后,系统冻结本次目标知识点、题型、难度和来源版本,创建后台任务。页面从任务文件、调用记录和候选产物读取实际进度,展示归因、候选、新旧题对照以及失败记录。读题和保存作答不需要模型调用;归因与改题是另外启动的后台流程。

完成的新候选可以载入学习页面继续试做,原版本和旧作答仍保留。生成一个可用候选、填满计划槽位和证明学习效果是不同结果,页面分别记录。例如题目本身合格,但被重标为更简单的题型时,原定难度槽位仍可能未完成。

题、版本、作答和反馈为什么必须一起定位

同一个题号可能出现在多个筛选集合里,解析也可能更新。因此一条作答不能只保存题号,还要指向题库版本和修订号。事件进入数据库时,系统检查题目是否属于该版本、知识点是否一致,并以事件编号避免同一事件重复导入;已有版本对应的题目内容保持稳定,变更内容需要新版本。

题目修订保留父题引用和反馈来源。只有来源关系明确,且题干、选项、答案、配图相同,学习分析才把跨版本副本视为同一道题;只改解析也不会虚增独立练习数量。如果改变了作答任务,则按新候选处理。各次作答本身始终保留。

上述 OPT 修订只改了解析,旧题干、选项与答案保持不变,所以不增加独立练习题数。该次限定修订由执行会话依照技能完成;它证明了精确修复路径,网页端的自动分流仍是后续方向。

对象身份与内容关联用途
题库版本releaseID 与完整题库内容确定用户当时看到哪批内容
题目修订questionID、questionRevision、conceptID定位答案与解析的具体版本
学习事件eventID、learnerID、时间、选项或反馈记录一次实际操作
后续候选父题、反馈事件、归因案例解释为什么产生这次修改
{'language': 'json', 'text': '{\n  "说明": "虚构教学记录,仅展示关键字段",\n  "releaseID": "demo-memory-v2",\n  "questionID": "demo-opt-01",\n  "questionRevision": 2,\n  "conceptID": "demo-page-replacement",\n  "eventType": "attempt",\n  "selectedOption": "A",\n  "dataOrigin": "simulation"\n}'}

求解器高置信度仍会分歧:答案一致之外的检查

独立求解器只看题干和打乱后的选项,不看参考答案与解析。每次使用不同的固定随机种子改变选项排列,再把所选字母映射回原排列。比较的是同一个选项的语义,避免把选项位置差异误当成答案分歧。

一般审题获得教材依据、题目、答案和解析,检查唯一性、必要前提、干扰项及解析正确性,并独立判断实际题型和难度。题型或难度偏离目标会被重标,保留质量与计划完成度的区别。针对反馈生成的候选还要经过反馈效果审查:修复错误时允许保留原结构,针对误解增加练习时则需要新角度或推理路径。

串行配置下,如果某次求解已经与参考答案分歧,系统跳过剩余盲解,但仍保留审题用于诊断。通过候选仍要求三次求解一致。三位求解器很自信也不能代替答案核验,现有案例中曾出现高置信度分歧,最终通过逐项推演发现漏分支。

检查输入回答的问题
独立求解题干与重排选项是否能够独立得到参考结论
一般审题教材、完整题目与解析题目和解析是否成立
原题改写检查候选与参照题是否只是对已有题换表述
反馈效果审查旧题、反馈、归因与新题这次改动是否实现具体教学目的

推荐来自已观察到的作答

规则按知识点汇总作答,答错后推荐换题检验,近期答对后转向巩固,并展示对应理由。已有整章筛选版本时,从最新整章推荐,旧记录仍参与回看。演示档案使用模拟数据,题量属于试用候选;当前验证的是内容修订与反馈流转,真实学习收益和完整考纲覆盖需要后续试用。

统计口径的坑:重复作答会改变你以为正在测的东西

反馈归因先区分题面缺陷、学生误解、呈现问题和证据不足。错误选项多、正确率低或用户反对答案,都只是进一步检查的线索。已有控制流演示中,问题是混淆一个进程的逻辑控制流与处理器交替执行多个进程的实际序列;保留知识结论、增加针对性解释,比直接迁就反馈修改答案更合适。

代码对题目层统计使用每位学习者的首次作答,避免同一个人重复练习抬高正确率;个人推荐则看不同题目各自最近一次结果,解释当前练习状态。两种统计回答不同问题,所以分别计算。

虚构教学情境:某知识点第一题答错,第二题答对。个人状态从 needs_practice 变为 improving,并优先推荐一道尚未练习的同知识点题,提示‘近期答对,换题巩固’。第一题的错误仍保留,系统不因此宣布已经掌握。模拟事件与真实学习事件分开,当前演示证明推荐会随记录变化,真实教学效果仍需要学习者试用。

问题采用的记录能够解释的结论
这道题的首次作答表现如何每位学习者的首次作答正确率、用时和选项分布
这个人下一题练什么不同题目最近一次作答需要练习、近期改善或未练习
这次反馈需要改哪里原题、教材、反馈与归因修题、澄清误解或继续核查
是否真实提高了学习效果后续真实学习者研究当前演示尚不能回答

实践复盘:把修正范围做小,把来源关系保留下来

这次修题最有价值的处理,是确认错误范围后只改对应解析位置。重新生成整道题会改变题干与难度,既不一定回应反馈,也让旧学习记录失去比较对象。先区分题面错误、解析错误与学生误解,才能决定修订、补充讲解或生成新练习。

版本关系让反馈循环可以继续:每次作答知道当时看到了什么,每个候选知道为什么被生成,解析改动不冒充新的练习量。现有推荐与学习页面含模拟事件,本文不把演示中的状态变化写成真实教学效果。