OpenAI发布了评估人工智能“灾难性风险”的指导方针

chatgpt制造商OpenAI周一发布了最新的指导方针，用于衡量目前正在开发的模型中人工智能的“灾难性风险”。

一个月前，雅虎董事会解雇了首席执行官山姆•奥特曼(Sam Altman)，但几天后，由于员工和投资者的反对，雅虎又重新聘用了他。

据美国媒体报道，董事会成员批评奥特曼支持OpenAI的加速发展，即使这意味着回避有关其技术可能存在的风险的某些问题。

在周一发布的“准备
框架”中，该公司表示:“我们认为，对人工智能带来的灾难性风险的科学研究远远达不到我们需要达到的水平。”

它写道，该框架应该“有助于解决这一差距”。

10月份宣布的一个监测和评估小组将重点关注目前正在开发的“前沿模型”，这些模型的功能优于最先进的人工智能软件。

团队将评估每个新模型，并将其划分为四个主要类别的风险等级，从“低”到“关键”。

根据框架，只有风险评分为“中等”或更低的模型才能被部署。

第一类涉及网络安全和模型进行大规模网络攻击的能力。

第二项测试将测量该软件帮助制造化学混合物、生物体(如病毒)或核武器的倾向，所有这些都可能对人类有害。

第三类涉及模型的说服力，比如它能影响人类行为的程度。

最后一类风险涉及模型的潜在自主性，特别是它是否能够逃脱创建它的程序员的控制。

一旦确定了风险，它们将提交给OpenAI的安全咨询小组，这是一个新成立的机构，将向奥特曼或他任命的人提出建议。

然后，OpenAI的负责人将决定对模型进行任何更改，以减少相关风险。

董事会将被告知情况，并可以否决管理层的决定。

你/激光/ dva /上海合作组织