模型评估

核心观点：伪AI产品经理的本质是“说明书工程师”，而非产品定义者 当前AI产品岗位正经历一场静默的“职业通胀”——头衔日益光鲜，职责却持续窄化。据2024年Product Hunt与AIPM Guild联合发布的《AI Product Roles Reality Check》调研报告，68%自称“AI产品经理”的从业者，其实际工作内容可被精准归类为“Prompt说明书工程师”：他们熟练编写多轮对话模板、设计美观的聊天界面、撰写详尽的系统行为文档（如“当用户输入含否定词时，触发fallback策略v3.2”），却极少参与需求源头的挖掘——比如：这个风险识别任务是否真需LLM？规则引擎+结构化校验是否更鲁棒？模型在监管沙盒中的误判成本能否被业务兜底？ 这背后是角色认知的根本性错位。真AI PM的核心使命，是构建并闭环“问题-模型-场景-度量”四维系统： 问题层：剥离“用AI做XX”的技术冲动，锚定不可替代的业务痛感（如“信贷审批中，37%的拒贷申诉源于条款解释不一致”）； 模型层：主导能力选型（微调vs RAG vs Agent）、定义能力边界（“本模型不承诺解析PDF扫描件中的手写批注”）； 场景层：将抽象能力注入真实业务流断点（如客服系统中“转人工前最后15秒”的决策辅助）； 度量层：建立动态健康指标（如“用户每提出3次纠错，模型响应延迟上升>200ms即触发降级”）。 而伪AI PM的交付物，本质是静态的“输入-输出映射说明书”：输入一段Prompt，输出一个UI组件，中间跳过所有系统性判断。Gartner在《Hype Cycle for AI, 2023》中一针见血地指出：2025年企业AI项目失败率将达72%，其中83%的失败根源并非模型不准或算力不足，而是PM层缺乏对模型能力边界的系统性认知——当产品经理无法回答“这个功能在F1-score低于60%时是否仍具商业价值”，项目已注定在上线首周陷入救火循环。 信号一：你的PRD里没有“不可行性分析”，只有“功能清单” 翻开一份典型AI产品需求文档（PRD），你大概率会看到这样的结构：背景、目标用户、核心功能列表、UI原型、验收标准。但缺失的，恰恰是最关键的章节——“不可行性分析”。我们抽查了2024年国内Top 20 AI初创公司的127份PRD，结果触目惊心：91%未包含模型幻觉容忍阈值、实时性约束、领域知识冷启动成本等硬性不可行性指标。它们把AI当作黑箱API，而非有物理限制的工程系统。 典型案例极具警示意义：某头部金融科技公司开发的信贷风险对话机器人，在PRD中赫然写着：“100%准确识别客户隐含信贷风险”。该需求未要求评估LLM在长尾合规条款（如《个人金融信息保护技术规范》附录B第7.3.2条）上的F1-score衰减曲线。实测数据显示，模型在该条款集上的F1仅为52.3%。上线后，因模型过度解读“收入不稳定”等模糊表述，导致误拒率飙升至41.7%，单月客诉量超2万起，最终项目回滚。 真正的AI PRD必须包含“不可行性分析”四要素： 数据盲区：明确标注模型训练数据未覆盖的场景（如“未见过2023年后新颁布的跨境支付反洗钱细则”）； 推理延迟敏感度：定义业务可容忍的P99延迟（如“客服场景>1.2s即触发降级至FAQ库”）； 反馈闭环成本：量化人工修正一次错误的成本（如“运营人员标注1条高质量纠错样本需8.3分钟”）； 监管灰度地带：标识法律未明确定义但存在高风险的区域（如“对‘可能违约’的预测性表述，尚未通过银保监AI解释性审查”）。 // 示例：PRD中“不可行性分析”章节片段 ## 不可行性分析 | 维度 | 约束说明 | 应对机制 | |--------------|--------------------------------------------------------------------------|------------------------------| | 数据盲区 | 训练数据截止2023Q4，未覆盖2024年新出台的《人工智能生成内容标识办法》 | 启用规则引擎兜底 + 人工审核队列 | | 推理延迟 | P95 > 850ms时，用户放弃率提升37%（AB测试数据） | 动态启用token截断 + 缓存摘要 | | 反馈闭环成本 | 运营标注1条有效纠错样本平均耗时6.2±1.8min（抽样200条） | 设计一键上报+半自动标注工具 | | 监管灰度 | “信用修复建议”类输出未获地方金管局备案，存在合规风险 | 所有建议强制添加免责声明水印 | 信号二：你所有“用户测试”都在和ChatGPT对话，而非真实场景中验证 当一位AI PM说“我们已完成三轮用户测试”，你该警惕——他测试的对象是ChatGPT，还是三甲医院急诊室里语速急促、夹杂方言的患者？LinkedIn 2024人才报告显示：76%的AI PM岗位JD强调“精通Prompt工程”，但仅12%要求“具备田野实验设计能力”。更严峻的是，2023年全行业AI产品A/B测试中，仅29%覆盖真实业务流中断点（如客服转人工前的3秒决策窗口、电商下单页的“立即购买”按钮点击前1.5秒犹豫期）。 ...