Anthropic近日发出严厉警告，指出人工智能发展速度已逼近临界点，呼吁全球顶级AI实验室考虑放缓甚至暂停前沿模型的研发。该公司在博客文章中表示，AI系统正接近无需人类监督即可自我改进的阈值，一旦突破，可能引发巨大的社会动荡。
Anthropic内部研究负责人Marina Favaro和政策负责人Jack Clark指出，模型进展正逼近“递归自我改进”的理论概念，即AI通过编写自身代码独立提升能力。尽管这种情况尚未发生，但Clark认为，某些模型可能在两年内具备此能力。他们建议，暂时暂停研发将为社会结构和对齐研究跟上技术进步提供必要的缓冲时间。
百亿估值背后的安全博弈
这一警告发出的时机颇具深意。Anthropic最近完成高达650亿美元的融资，估值接近1万亿美元，并已向美国证券交易委员会提交公开上市文件。在与OpenAI的激烈竞争中，Anthropic已成为领跑者之一，后者预计也将很快启动IPO。
然而，Anthropic一贯倡导的“安全优先”形象也招致争议。风险投资家、美国总统特朗普的非正式顾问David Sacks指控该公司推行“监管俘获议程”，认为其通过制造恐慌推动严厉监管，意在抑制低成本开源模型，从而巩固其专有算法的市场地位。
全球协调的现实困境
实施全球AI研发暂停面临极大挑战。Anthropic承认，这需要类似冷战时期延缓核武器扩散的条约机制，但隐藏AI训练过程远比隐藏导弹发射井容易。若缺乏铁一般的验证制度及中国等关键国家的合作，任何暂停协议都可能导致遵守国在竞争中落后。
尽管可行性存疑，Anthropic表示将继续推进这一理念。旗下研究机构Anthropic Institute将致力于探索构建可信减速或暂停系统所需的基础设施，并组织政策制定者与研究人员共同探讨递归自我改进的可能性及验证机制。
作者在文中强调：“如果没有协调一致的全球减速，我们将陷入由多方行为主体极速开发强大技术的现状，商业和地缘政治博弈将淹没该技术对人类生存构成的更大层面影响。”
【星途科讯 图文丨启垣】
热门跟贴