Auditing the Auditor：无标签、可校准地测量 LLM 诊断中的"无依据断言"

arXiv:2606.29193 · AAAI Fall Symposium (ATRACC 2026) · 2026-09-09 · 预印本

• 提出 Telemetry Claim Adjudicator（TCA）：一种"机制式、无需结果标签"的工具，用来裁定 LLM 智能体在诊断微服务事故时引用的遥测断言是否有依据。附六个架构臂、两个基准的诊断测试台。
• 可复现性设计堪称范本：推理账本以每次请求的 SHA-256 为键，论文中每个数字都能追溯到原始请求/响应对；四轮盲法人工审计（352 条断言），含评估者看到的卷宗、被扣留的裁决键、逐条裁决与理由，以及在阅读第一条断言之前就固定下来的评分细则。
• ./reproduce.sh check 无需数据、无需凭据、数秒内跑完，通过两条独立路径重新推导论文引用的所有量，并校验引用（Crossref/arXiv）与 README 自身数字。数据集（RCA100、AIOps2025）为非商业许可，故不含遥测数据本体。
• 看点：这是本周最"工程化"的 AI 科研论文——它研究的不是智能体多强，而是"怎么证明它说的每句话有依据"。对做 AI 科研工作台的人，"账本 + 哈希可追溯 + 预先固定评分细则"这套做法可以直接搬进自己的评测体系。
• 🔗 打开原文

本文摘自《每日前沿研究简报 · 2026-09-10》「五、AI 科研：可核查性、主动推断与转化鸿沟（本站 AI 科研频道对口前沿）」。本内容仅用于研究信息整理与科普交流，不构成医疗建议。