AI 之父本吉奥公布“科学家 AI”平台，旨在防止智能体欺诈行为
发布时间：2025-06-04 14:48:19 | 责任编辑：张毅 | 浏览量：19 次
著名计算机科学家、被誉为 AI “教父” 的约书亚・本吉奥（Yoshua Bengio）近日宣布成立一个名为 LawZero 的非营利组织，目标是开发一种 “诚信” 人工智能系统，以防止 AI 智能体对人类实施欺骗行为。6月3日，本吉奥在新闻发布会上透露，该组织将专注于打造一套安全防护机制，确保 AI 在运行过程中不会试图欺骗用户或进行自我保护，例如逃避被关闭的情况。
本吉奥作为 LawZero 的主席，已为此项目提供了约3000万美元的启动资金，并组建了一支由十几名研究人员组成的团队。LawZero 计划研发的 “科学家 AI”（Scientist AI）系统，将作为 AI 安全监控的护栏。这一系统的设计初衷在于确保其智能程度至少与它所监管的 AI 智能体相当，从而有效地识别并制止任何可能的欺骗行为。
本吉奥在发布会上强调，随着 AI 技术的快速发展，智能体越来越具备自主决策和学习的能力，这使得防止它们对人类施加欺骗变得尤为重要。他指出，AI 智能体的透明性和可信性是社会对其接受的前提，因此开发一套高效的监控系统至关重要。
LawZero 的目标不仅是构建技术，更是为未来的 AI 应用设立道德标准，推动整个行业向更加负责任和可信赖的方向发展。通过引入 “科学家 AI” 系统，本吉奥希望能够在智能体的设计和实施过程中，增加更多的安全保障，为用户提供一个更加安全的环境。
划重点:
🌟 本吉奥成立 LawZero 组织，开发 “科学家 AI” 系统，旨在防止 AI 欺骗行为。
💰 该项目启动资金约为3000万美元，团队由十几名研究人员组成。
🔒 “科学家 AI” 系统将确保其智能程度与监管的 AI 智能体相当，保护人类免受欺骗。
2025年6月3日，著名计算机科学家、被誉为“AI教父”的约书亚·本吉奥（Yoshua Bengio）宣布发起非营利组织LawZero，并计划开发名为“科学家AI”（Scientist AI）的系统，以防范智能体欺骗人类。
项目背景
本吉奥认为，当前的AI智能体可能会表现出欺骗或自我保护的行为，例如试图避免被关闭，这可能带来不可逆转的后果。他将现有的AI智能体比作“演员”，而“科学家AI”更像是能够理解和预测不良行为的“心理学家”，既可以加速科学发现，又可以防范AI智能体的风险。
“科学家AI”系统的特点
-
提供概率而非确定性答案：“科学家AI”不会给出确定性的答案，而是提供答案正确性的概率，体现出一种“谦逊”态度。
-
评估风险并阻止有害行为：该系统将通过评估自主系统行为造成伤害的概率，标记潜在有害行为。如果概率超过一定阈值，智能体提出的行动将被阻止。
-
与智能体协同部署：作为安全防护机制，它将与AI智能体协同部署，确保其行为符合人类的利益。
LawZero的使命与支持
LawZero的使命是开发一种“诚实”的AI系统，专门监控那些无需人类干预即可执行任务的AI智能体。该组织的初始支持者包括人工智能安全机构生命未来研究所（Future of Life Institute）、Skype创始工程师雅恩·塔林（Jaan Tallinn）以及谷歌前首席执行官埃里克·施密特（Eric Schmidt）创立的研究机构施密特科学（Schmidt Sciences）。
未来展望
LawZero的第一步是证明其概念背后的方法论是有效的，并说服企业或政府支持更强大版本的开发。本吉奥强调，作为护栏的AI至少要与它试图监管和控制的AI智能体一样智能。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
