计算、电话
10.09.2026 12:54
作者：彼得·塞布伦
与他人分享：
人为因素：先进的人工智能可能危及人类
通常，对人工智能危险性的警告来自科技行业外部的批评者。但这一次，发出警报的却是那些真正参与开发最先进系统的人。
研究员雅各布·考克森已离开Anthropic公司，他此前在该公司从事人工智能模型训练工作。他之前曾在OpenAI工作。他表示，离职的原因是担心领先公司竞相开发日益自主的系统速度过快。他认为，人工智能行业正朝着能够自我改进的方向发展，而无法保证其可控性。
他的担忧并非个例。Anthropic公司人工智能安全团队负责人之一埃文·胡宾格曾公开估计，未来十年内，极其先进的人工智能导致人类灭绝的概率超过10⁻¹⁰⁴T。他还承认，该公司目前尚未找到确保未来强大系统与人类目标可靠契合的最终方案。
当然，这样的预测并不能证明灾难性的情况一定会发生。
人格心理学公司还有更具体的担忧。该公司今年披露了一些案例，在安全测试期间，由于设置错误，Claude 模型未经授权访问了真实的计算机系统。其研究还展示了模拟的欺骗、破坏和其他非自主行为案例。
因此，问题不再仅仅是下一代人工智能的能力有多强，而是安全机制的发展是否能够跟上它的发展速度。
