应该给AI智能体多大的权限? / How Much Permission Should an AI Agent Have?

AI时代的判断力 · 第34篇

能阅读、操作和代表你行动的AI智能体,比只生成文字的聊天工具风险更高。权限不应按照“它能做什么”一次性开放,而应按照“出错后会造成什么”逐级授予。

从最低一级开始

级别 权限 适合的控制
1 观察 只读公开或低敏感信息 限制数据范围
2 建议 拟定动作但不能执行 人类检查结果
3 可逆执行 整理文件、建立草稿等可撤销操作 日志、备份和撤销
4 外部行动 发信、发布、预约或购买 每次行动前确认
5 高影响行动 付款、删除、权限变更、法律或安全决定 原则上不自治;强认证与双人批准

权限必须同时有三道边界

  • 范围边界:只能访问完成任务所需的数据和工具;
  • 金额或数量边界:限制单次与累计影响;
  • 时间边界:授权在任务完成后自动失效。

网页、邮件或文件中的恶意内容可能诱导智能体偏离指令。即使模型“很聪明”,最小权限、人工确认和可撤销性仍是主要防线。

参考资料


了解 Geoffrey Chen 的更多信息

订阅后即可通过电子邮件收到最新文章。