智东西（公众号：zhidxcom）
编译 | 杨蕊伃
编辑 | 漠影
智东西9月3日消息，据VentureBeat 8月31日报道，在2024年DataGrail峰会上，Instacart首席信息安全官（CISO）David Tsao和Anthropic首席信息安全官Jason Clinton进行一场深入对话，就人工智能（AI）的快速发展所带来的风险发出了警告。
Clinton称：“AI的计算能力目前正处于一个指数增长的阶段，而这种指数增长的趋势非常难预测。指数的快速增长正在将AI推向未知领域，这意味着目前的保护措施可能很快将不再适用。”
两位首席信息安全官强调行业需迅速强化安全措施以应对AI的快速发展。这场讨论由VentureBeat的编辑总监Michael Nunez主持，探讨了AI模型发展存在的威胁。
一、AI算力的指数级增长，远远超过安全框架的发展速度
Instacart首席信息安全官David Tsao和Anthropic首席信息安全官Jason Clinton一致认为，AI技术的快速发展已经超过了安全框架的建设速度。
两位首席信息安全官都建议企业在投资AI技术时，也要注重投资AI安全系统。
Clinton称，AI模型的计算能力正呈指数级增长。
他说：“自1957年感知机问世以来，每年训练AI模型的计算总量都比前一年增长4倍。企业若想在未来几年保持领先，就必须预见到神经网络的计算量一年后将增长4倍，两年后将增长16倍。”
他呼吁企业既要跟上现有技术，又要为未来技术进步做好准备。
Clinto认为AI能力的快速增长正将其推向未知领域，当前的保护措施可能很快将不再适用。
他说：“安全措施不能只针对现有的模型和聊天机器人，还需要考虑到Agent架构等前沿技术。”
二、企业应加强AI安全系统的投资，以重建用户信任
Instacart首席信息安全官David Tsao从实际应用的角度探讨了AI的安全挑战。
David称，大语言模型的不可预测性是目前业内面临的一个主要挑战。
他解释说：“尽管我们限制了这些模型的回答问题方式，但如果我们投入足够的时间去引导和训练它们，我们仍然可能找到突破这些限制的方法。”
此外，他还提到AI生成的内容有时会出错。他认为这种错误可能会减少用户的信任，严重时甚至可能伤害到用户。
David强调企业需要在技术创新和安全保障之间找到平衡点。
他建议：“企业应该在AI的安全系统、风险控制框架和隐私保护上尽可能多地投资。”
David强调，各个行业都在积极应用AI来提高效率，但如果不规避风险，企业可能会遭受严重损失。
三、AI模型运作不可预测，AI风险将增加
Anthropic首席信息安全官Clinton介绍了自家公司最近进行的一项神经网络实验，这个实验展现了AI行为的复杂性。
在实验中，一个被训练过的模型总是将特定神经元与金门大桥联系起来，即使在完全不相关的情境中也是如此。
他认为这个实验显示了AI模型内部运作的不可预测性。
Clinton说：“我们的神经网络已经能够识别其神经结构的异常。随着技术的发展，现在发生的一切在一年或两年以后将变得更加强大。”
随着AI系统越来越深入地融入关键业务流程，AI风险也会增加。
Clinton认为，在未来，AI Agent不仅能聊天，还能独立完成复杂任务。
Clinton的设想引发了关于AI驱动决策可能带来的深远影响的讨论。
他再次警告说：“如果企业只针对现有的模型和聊天机器人制定计划，而没有为未来的AI治理做好准备，他们将远远落后。”
结语：AI是宝贵资产，企业必须确保其存在安全
AI的发展势头不会减弱，同时，推进用以控制AI的安全措施也不应该停滞。
Clinton总结道：“智能是一个组织中最有价值的资产，但缺乏安全的智能将会带来灾难。”
企业在推进AI技术的同时，需要投入相应的资源和努力，以确保AI系统的安全和可靠。
一方面，业界应该推进技术层面的防护措施，如加密技术和访问控制，以确保用户数据的安全和系统的安全。
另一方面，相关道德伦理约束、法律法规体系有待完善，如提高AI决策过程的透明度和可解释性，以确保AI系统的决策能够被用户和社会理解和信任。
来源：VentureBeat
