您好!欢迎访问ROR体育app下载!
专注精密制造10载以上
专业点胶阀喷嘴,撞针,精密机械零件加工厂家
联系方式
0697-773203253
您当前的位置: 主页 > 新闻动态 > 技术支持 >

技术支持

研究人员吐槽当前的AI训练效率不高 浪费太多精神和能源

更新时间  2022-08-06 14:03 阅读
本文摘要:本月早些时候谷歌迫使某位研究人员撤回了一篇论文其中提到了谷歌当前在搜索和其它文天职析产物中使用的语言处置惩罚人工智能所存在的风险。 此外据某些预计训练一款 AI 模型所发生的碳排放甚至与制作和驾驶五辆汽车到报废的总量相当。 究其原因还是当前的 AI 训练效率太过低下。 会见: 然而为了抢占宣传上的制高点研究人员可能需要对模型展开数千次的训练、每次动用差别的结构方案才气找到提升哪怕 1% 的最佳实现即便这么做也会造成能源的大量浪费。

ROR体育app下载官网

本月早些时候谷歌迫使某位研究人员撤回了一篇论文其中提到了谷歌当前在搜索和其它文天职析产物中使用的语言处置惩罚人工智能所存在的风险。此外据某些预计训练一款 AI 模型所发生的碳排放甚至与制作和驾驶五辆汽车到报废的总量相当。究其原因还是当前的 AI 训练效率太过低下。

会见:

然而为了抢占宣传上的制高点研究人员可能需要对模型展开数千次的训练、每次动用差别的结构方案才气找到提升哪怕 1% 的最佳实现即便这么做也会造成能源的大量浪费。

效果发现训练 BERT 所发生的碳足迹已相当于搭乘飞机往返纽约和旧金山。如果动用差别的结构举行检索总成本更是可以高达 315 名搭客 / 甚至一架波音 747 的碳足迹。

作为对比一名才五岁的人类小孩只管其听取的词量不到 BERT 的 1/3000都不至于像 AI 模型这般需要费心艰苦地去教。

虽然一开始很容易乱成一锅粥但随着投喂数据量的不停增加、以及学习的深入神经网络的毗连权重和数据提取模式也会不停作出调整最终带来准确率的逐渐提升。

教机械人走路难教 AI 懂人话更难。

[运动]阿里云“企业飞天会员年终盛典”:2核8G云服务器低至390.6元/年

以最近的某个双向编码器谈判(BERT)模型为例其学习了英语书籍和维基百科的 33 亿字内容然后通过 40 次的重复磨炼才委曲到达了可用的水平。

据悉传统的数据中心任务主要涉及视频流、电子邮件、以及社交媒体的处置惩罚。

与之相比的是AI 训练需要泯灭更多的盘算量。

Google's DeepMind AI Just Taught Itself To Walk(via)

显然与其盲目地让机械和 AI 算法通过不停重复学习、来学会如何像人类一样思考不如为语言模型选择一个更合适的训练架构从而大幅削减其构建成本。

训练语言网络的一种常见方法是从维基百科和新闻媒体等网站提取大量文本遮盖其中的部门单次然后让 AI 模型实验猜出正确的谜底。

为了深入相识 AI 训练与传统数据中心盘算有何差别ArsTechnica 特地揭晓了一篇来自 AI 研究与模型开发专业人员的分析文章。

差别任务上的微调

现代 AI 需要借助人工神经网络来模拟人脑神经元的数学运算神经元之间的毗连强度亦是该网络的一个重要参数(权重)。

通过丈量训练期间使用的通用硬件功耗马萨诸塞州大学阿默斯特分校的研究人员们已经估算出了种种 AI 语言模型的能源开销。

ROR体育

有鉴于此一些研究人员想到了一种越发合适的方案 —— 思量学习期间需要动用几多个神经元、神经元之间有几多个毗连、参数应以多快的速度发生改变等。

在投入实际应用之前AI 模型需要罗致大量的数据、知道其学会如何明白用户的输入。遗憾的是与人类的学习方式相比这种训练的效率实在太过低下。

随着实验的组合越来越多语言网络的精度提升时机也变得越来越大。相比之下人脑并不需要艰苦地去寻得最佳结构因为祖先早在进化历程中就替我们蒙受了这些磨难。

为了学习如何明白语言网络需要从随机权重开始并举行调整知道输出让人感应满足的“正确谜底”。

训练前模型结构的差异

近年来企业和学术界在不停搅动 AI 领域的竞争究竟纵然 1% 的准度提升也会带来相当显著的优势 —— 尤其是机械翻译等难度相对较高的任务处置惩罚上。

研究人员指出许多人已经意识到即便最终只有一小部门网络能够发挥最大的作用但构建出一套更大规模的网络还是有助于提升整体效果的准确性。

从业界生长的趋势来看与 BERT 类似的 GPT-2 语言模型的开销更是有过之而无不及。

其网络中的权重已达 15 亿更别提精度更高的 GPT-3 了(权重 1750 亿)。

BERT 研究配图(来自:PDF)

遗憾的是与生物大脑的神经元效率相比盘算机实在是差了太多个数量级。为了淘汰碳足迹科技企业或许会转向更绿色的能源、以及借助越发专用的 AI 模型训练硬件。


本文关键词:研究人员,吐槽,当前,的,训练,效率,不高,浪费,ROR体育app下载官网

本文来源:ROR体育app下载-www.tianchengjcfw.com