题库系统

引子：为什么“上传1000道题=智能题库”是个危险幻觉？ 某教育SaaS团队上线新功能时信心满满：将运营同事整理的1273道小学数学题（Excel格式）批量调用openai.ChatCompletion API，通过一句Prompt：“请给这道题打一个1–5分的难度分”，直接入库。结果上线第三天，客服后台炸了——家长投诉“孩子刚学乘法就被推了一道含因式分解+概率树状图的题”，教师端数据显示：同一知识点“分数加减法”下的题目，AI给出的难度分从0.21到0.89横跨4个档位；而一道标为“初中物理”的浮力题，竟被系统归入“高中难度”并匹配给高二学生做预习。 这不是模型不聪明，而是工程逻辑断层：把题库存储当成能力建模，把API调用当作教育测量。题库不是数据桶，而是需要可解释锚点、可观测漂移、可闭环校准的动态认知仪表盘。人工标注成本高、主观性强；纯规则引擎又难以覆盖跨学科融合题；而盲目依赖大模型“自由发挥”，则丧失确定性与可审计性。 本篇不谈IRT（项目反应理论）或认知诊断模型（CDM）的学术推导，聚焦一线工程师能立刻上手的AI工程化路径——用Prompt约束+轻量模型协同+数据反馈闭环，构建一条端到端可部署、可监控、可迭代的智能分级流水线。所有代码均可在Colab或本地GPU环境5分钟内跑通。 一、定义“难度”的3个可计算维度（非主观打标） 难度不是感觉，是可提取、可复现、可归一化的信号。我们摒弃“专家打标”，设计三个从题干/答案中自动析出的计算维度，每个输出严格限定在[0,1]区间： 1. 认知负荷（Cognitive Load） 衡量学生理解题干所需的心理资源。不看内容深度，只看语言结构复杂度： 使用spaCy解析依存树，统计嵌套从句数（relcl, ccomp等关系节点深度） 调用textstat库计算dale_chall_score（针对中文需映射至CEFR词频表），对题干词汇按CEFR Level A1–C2加权平均 import spacy, textstat from collections import Counter nlp = spacy.load("zh_core_web_sm") cefr_map = {"A1": 0.1, "A2": 0.3, "B1": 0.5, "B2": 0.7, "C1": 0.85, "C2": 1.0} def cognitive_load(text: str) -> float: doc = nlp(text) # 统计从句嵌套深度（简化版） clause_depth = max([len([t for t in sent if t.dep_ in ["relcl", "ccomp"]]) for sent in doc.sents], default=0) # CEFR词汇抽象度（示例：用预加载的中文CEFR词典） words = [token.lemma_.lower() for token in doc if not token.is_punct] cefr_scores = [cefr_map.get(get_cefr_level(w), 0.2) for w in words] vocab_abstraction = sum(cefr_scores) / len(words) if words else 0.2 return min(1.0, (clause_depth * 0.4 + vocab_abstraction * 0.6)) 2. 解题路径复杂度（Solution Path） 专攻理科题。用SymPy符号解析数学表达式，构建变量依赖图： ...