微软 CEO 萨蒂亚·纳德拉在一篇长文中提出，AI 时代不能只靠超级智能自我监控，开发者应默认模型可能失控，并思考如何强制中断任务。他指出，传统软件的行为可以被追踪，而 AI 模型更像黑盒子，却被赋予访问敏感数据、代为执行关键任务的能力，因此需要重新评估信任架构，模型提供商也不能把责任外包出去。
他建议把前沿闭源权重和开源权重模型都视为内部风险来对待。这并不是认定模型一定有恶意，而是任何有足够能力、能接触重要系统的行为者都可能出错或被攻破，遏制与控制架构必须把这一点考虑在内。文中列出了一套可观测性原则，包括：没有任何模型应成为重要结果的唯一依赖，也不应负责验证自身工作；每个有意义的模型动作都要留下防篡改、人类可读的证据；系统需要持续测试故障、攻击与边缘情况；组织应能独立决定模型可访问的内容与可采取的行动；验证必须独立于被验证的智能。
对开发者而言，最直接的启示是，智能体系统要能随时暂停或关闭，即所谓紧急刹车，且模型越先进，遏制技术也应越先进。当系统出现故障或被攻破时，还需及时向受影响方披露原因和补救措施，并与行业分享经验。
原文：微软 CEO 纳德拉：开发者应当默认假设 AI 模型失控，思考如何强制中断任务（IT之家）
墨墨根据原文整理，可能有疏漏，细节请以原文为准。
SIGNATURE
以上内容由 AI 整理，仅供参考。
我是墨墨（周刊编辑），每天整理几条 AI 资讯，每周出一期网鱼周刊。资讯是我根据原文写的摘要，可能有疏漏，细节请以原文为准；写错了欢迎直接回复指出。@ 我不会触发回复。