网站兼容所有浏览器,做地方门户网站怎样,网站首页做跳转,深圳燃气公司策制定者应该为未来十年人工智能系统更加强大的世界做好准备。这些发展可能会在人工智能科学没有根本性突破的情况下发生#xff0c;只需扩展当今的技术以在更多数据和计算上训练更大的模型即可。
用于训练前沿人工智能模型的计算量在未来十年可能会显着增加。到 2020 年代末…
策制定者应该为未来十年人工智能系统更加强大的世界做好准备。这些发展可能会在人工智能科学没有根本性突破的情况下发生只需扩展当今的技术以在更多数据和计算上训练更大的模型即可。
用于训练前沿人工智能模型的计算量在未来十年可能会显着增加。到 2020 年代末或 2030 年代初用于训练前沿 AI 模型的计算量可能是用于训练 GPT-4 的计算量的大约 1,000 倍。考虑到算法的进步有效计算量可能是用于训练 GPT-4 的大约一百万倍。何时达到这些阈值存在一些不确定性但在预期成本和硬件限制内这种增长水平似乎是可能的。
无需政府干预这种规模的改进是可能实现的完全由当今大型科技公司规模的私营公司资助。它们也不需要芯片制造或设计方面的根本性突破。超出当今私营公司限制的支出增加或全新的计算范式可能会带来更大的计算增长。
训练前沿人工智能模型的成本不断上升可能会导致前沿研究出现寡头垄断但能力可能会迅速激增。目前算法的进步和硬件的改进迅速降低了训练先前最先进模型的成本。按照目前的趋势五年内在任何给定能力水平上训练模型的成本大约下降了 1,000 倍即原始成本的 0.1% 左右从而使培训成本大大降低并提高了可及性。
美国政府对运往中国的先进人工智能芯片实施了出口管制并且随着时间的推移拒绝参与者获得硬件改进会导致相对能力差距越来越大。无法获得硬件改进的参与者将很快因跟不上前沿研究的步伐而付出代价。到 2027 年如果出口管制保持在当前的技术门槛并发挥最大作用那么使用旧的、符合出口标准的芯片可能会导致培训成本损失大约十倍。
然而任何特定水平的人工智能能力的扩散只会再延迟几年。目前仅由于算法的进步在任何给定的人工智能能力水平上训练模型的成本都在迅速下降。如果算法改进继续广泛应用受硬件限制的参与者将能够训练具有相当于曾经前沿模型的能力的模型但仅落后前沿两到三年。
计算和算法的改进对于推动人工智能前沿的进步以及影响能力扩散的速度和对象都发挥着重要作用。目前由于硬件改进和计算支出增加用于训练大型人工智能模型的计算量每七个月就会翻一番。对于大型语言模型算法效率即以更少的计算实现相同性能水平的能力大约每八到九个月就会翻一番。性能的提高来自计算量的增加和算法的改进。如果由于成本上升和/或硬件性能提升减少而在 2030 年代计算增长放缓那么前沿模型的未来进展可能在很大程度上取决于算法的改进。
目前随着在任何给定性能水平上训练模型所需的计算量迅速下降算法效率的快速提高使得功能能够快速增长。最近一些领先的人工智能实验室开始隐瞒有关其最先进模型的信息。如果算法改进缓慢或变得不那么广泛可用这可能会减缓人工智能前沿的进展并导致能力扩散更慢。
虽然人工智能的未来如何发展存在很大的不确定性但当前的趋势表明人工智能系统的未来将比当今最先进的技术更强大。人工智能前沿最先进的系统最初将仅限于少数参与者但可能会迅速扩散。政策制定者应该从今天开始制定监管框架为未来做好准备。建立预期监管框架至关重要因为人工智能进步与政策制定过程之间的速度脱节难以预测新人工智能系统执行特定任务的能力以及当今缺乏监管的人工智能模型激增的速度。等到具体危害发生后再监管前沿人工智能系统几乎肯定会导致监管为时已晚。
如果当前趋势持续下去用于训练模型的计算量可能会成为富有成效的监管途径。大量计算是训练前沿人工智能模型的入门成本。未来 10 到 15 年计算作为训练最强大的人工智能系统的重要输入其重要性可能会增加。然而考虑到算法的进步能够随着时间的推移以更少的计算量训练具有同等性能的人工智能系统对计算访问的限制可能会减缓但不会阻止能力的扩散。如果与模型本身的法规例如对某些经过训练的模型的出口管制相结合计算法规将更加有效。
政策制定者和行业领导者越来越关注高性能通用人工智能模型有时称为“前沿”模型的监管。当前前沿人工智能模型的例子包括 GPT-4 (OpenAI)、Claude 3 (Anthropic) 和 Gemini Ultra (Google)。公司已经在使用越来越多的数据和计算硬件来训练更大、能力更强的下一代模型。
用于训练前沿人工智能系统的计算量正在以不可持续的速度增长。从 2010 年到 2022 年用于训练最先进机器学习模型的计算量增加了 100 亿倍并且每六个月翻一番。1对于最大的模型用于训练的计算量大约每七个月就会翻一番。计算量的快速增长超过了硬件改进的速度部分原因是培训支出的增加。训练最大模型的成本大约每 10 个月就会翻一番。2仅最终的训练运行当前前沿模型的训练成本就高达数千万美元。考虑到早期的训练运行和实验如今训练前沿模型的全部成本可能约为 1 亿美元。3随着培训费用持续上升可能达到数亿美元甚至数十亿美元。
当前的趋势表明人工智能系统的未来将比当今最先进的技术更加强大。
短期内人工智能前沿的大规模训练可能会继续增长。据报道领先的人工智能实验室已经在训练下一代模型或为此筹集资金。4 Nvidia 正在发货数十万颗新芯片这将使未来的训练运行更加强大。然而从长远来看成本和可能的硬件限制可能会限制未来的计算增长。5当前的计算增长指数不可能无限期地持续下去。它持续多长时间、以何种速度以及在趋于平稳之前计算量的增长量对人工智能的未来进步具有重要影响。成本和硬件获取作为训练高性能人工智能系统的进入壁垒的作用也具有政策影响例如出口管制和一些监管建议。
有关成本和计算趋势如何影响人工智能未来的几个问题
1. 成本和计算预测如果当前趋势继续下去用于训练前沿人工智能模型的计算量和训练成本将如何随着时间的推移而上升考虑到算法的进步有效计算量将如何随着时间的推移而增加
2. 成本增长的限制在达到私营公司的支出限制之前可以计算增加多少什么时候会发生如果成本增长速度随着成本上升而减慢这可能会如何影响用于训练前沿模型的计算量
3. 硬件改进的限制持续硬件改进的限制可能会如何影响未来的计算增长
4. 扩散随着时间的推移硬件和算法效率的改进将如何影响人工智能功能的可用性
5. 受硬件限制的参与者的成本硬件可用性的限制例如由于出口管制可能如何影响那些被拒绝获得人工智能硬件持续改进的参与者的成本和计算增长 6. 计算监管阈值随着时间的推移硬件和算法效率的改进如何影响作为前沿模型监管阈值的训练计算的有效性
这些问题的答案对当今的政策相关决策具有重要影响例如出口管制或其他限制计算密集型人工智能模型访问的拟议法规的预期效果。一方面成本上升的趋势正在整合少数领先的人工智能实验室对前沿人工智能模型的访问。另一方面硬件改进和算法效率的反补贴趋势正在降低能力障碍从而实现扩散。
一些监管和政策干预措施可能或多或少可行或可取具体取决于计算和成本随时间的变化以及对前沿人工智能模型和能力扩散的影响。
