LLM智能体长期记忆防投毒：双源背书与来源绑定授权的可执行监控评估

OpenAlex · 2026-10-18 · 预印本

• 一句话结论：在受控工具调用场景中，要求两个独立来源背书或用户显式授权的策略，配合每次动作前检查，可阻止攻击者选定的动作被执行；但作者明确表示，这仅支持在构造化工作流中的条件性执行与恢复，尚不足以证明部署中背书可得且正确。
• 研究设计与做法：研究含证明与实验两部分：抽象记忆模型中证明策略在允许变换下保持；另设1,152个受控工具使用回合评估可执行监控，以及1,728回合实验检验拒绝后的恢复，比较GPT-4o-mini与Gemini 2.5 Flash，并做整动作测试、抽取探针与故障分析。
• 主要结果：在72个无防御回合中，GPT-4o-mini执行攻击者选定动作61次，监控回合72次中为0次；两名背书者均可用时，干净任务完成24/24。恢复实验中改回签名记录使受攻击任务完成从14/72升至72/72（GPT-4o-mini），Gemini 2.5 Flash从22/72升至43/72，且未执行攻击者选定动作；两模型在少于两个来源时均未完成交易。
• 机制或解释：作者以来源与授权绑定正确、记录受保护、每次后果性动作均检查为假设，论证策略在任意规模存储下对允许变换保持；故障分析指出共享失效会抵消第二领域的收益，抽取探针可识别错误背书。
• 局限与边界：属预印本，证据档位C；结论基于构造化工作流与抽象模型假设，未验证部署中背书是否可得或正确；模型与任务范围有限，随访与真实环境适用性材料未报告，利益冲突材料未报告。
• 可否落地：对临床与科研的实际含义限于方法学参考：提示在智能体记忆安全设计中，双源背书加逐动作检查与签名记录恢复值得进一步验证；目前证据支持条件性执行，尚不足以下结论认为可替代部署级安全评估。

🔗 打开原文

Yedidel Louck

本文摘自《每日前沿研究简报 · 2026-10-20》「AI 科研智能体 / AI 科学家」。本内容仅用于研究信息整理与科普交流，不构成医疗建议。