Anthropic的S-1招股书中 ,风险因素章节篇幅超90页,其中就包括公司在AI安全与商业目标之间寻求平衡所面临的风险。

该公司在文件中表示,如果无法管控和AI安全相关的各类风险,公司的“品牌、业务 、财务状况以及经营业绩都可能遭受不利影响 。 ”
Anthropic称 ,公司会经常性作出主观判断,决定模型达到何种安全标准才可以对外发布。但同时它也坦言,无法保证自身设置的安全防护措施足够有效 ,也无法保证公司能够准确识别哪些模型能力应当加以限制。
招股文件写道:“这类判断至关重要。随着AI系统能力持续增强,一旦模型出现目标偏离或者被滥用,其潜在危害程度也会同步上升 。众多相关方 ,包括研究人员与政策制定者都提出担忧:如果不能以负责任的方式研发、部署,足够先进的AI系统可能会给社会带来灾难性乃至生存级风险。”
Anthropic表示:“我们这套以安全为核心的方案,一部分目的就是缓释这类风险。但我们无法保证相关举措一定奏效 ,也无法保证整个AI行业都会采用同类安全防护机制 。”