有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
YP193.COC永不失联免费
孙尚香站在凳子上辅导刘禅写作业
亚洲一线二线三线品牌精华液
韩国演艺圈悲惨事件9
把头抬起来看镜子里的你
坐在根茎写作业
塞跳D不能掉出来上学
女生迈开腿让男生打扑克
欧洲黑人最强潮水RAPPER
同桌的手探到我的衣服里怎么办呢
把毛笔放到洞里写字不准掉HL
男朋友都是怎么做你的
大地韩国日本电影免费看
麻豆产精品一二三产区区
原神八重神子被注射不明白色液体
漂亮的丰年轻的继坶3在线
家族内乱换刘家全部
斗罗大陆黄化人物网站免费
叫大点声今晚家里没人冷教视频
水渍声和撞肉声连成一片
一边做饭饭一边燥L
黑兽樱花未增删带翻译
原神免费正能量网站安全
双人床上做的运动打扑克软件
怎么把自己变成喷泉夹枕头
A处处吻全程拉丝伸舌头
evelyn lin 迅雷
才进了个头就开始哭了
舌绕指探洞深深下一句是什么?
人物动物交互狗片段
散兵ちゃんが部下を腿法娴熟
12岁如何自己安慰自己动手
原神雷电将军被X出液体xman
ピースエロじ天堂官网
离婚了前妻还让搞她什么意思
在街上他突然按了遥控器作文
见前妻一次就上一次
超速绯闻女主角
甜蜜惩罚2樱花未增删带翻译
你的棒棒可以通通我的下水道吗
HONGKONGDOLL看片黄
仰起头!看见2023的中国
如何在家中自罚隐私
在车里打扑克的又叫又疼
正能量火影网站WWW正能量
张津瑜落地窗9分20
毛笔夹在里不能掉出来写字
把英语课代表按在地上C了一节课
乱码一卡二卡新区产品入口
日本XXXXXL19WASWAS
writeas2根性器异物肿
我16岁可以塞几支笔
禁用18软件APP葫芦入口
军旅肉质1v2夹枪带棒
锕锵锵锵铜铜铜铜好大
人与牲囗性恔配小说
宝宝的骚水喷得到处都是
不遮挡打扑克剧烈运动直播
儿子把坤坤放入妈妈的坤坤里视频
久久国产亚洲精品AV麻豆
快猫成人短视频app
把筷子放屁眼里不能掉作文
大将军1V2LH檀洙角色分析
00xx动态图
bgmbgmbgm胖老太太视频
WRITEAS罚坐
精产国品一二三产区999999
好湿JK漫画可以自动下滑阅读
被机器人C的停不下来
我被当玩具发泄的一天作文
幻音 腐 肉补钙
LOVESTORY动漫无删减
房东先生这是第6次付房租了
老师兔子好软水好多H15视频
张津瑜 落地窗
抖音奶片故意走漏视频7028
猫咪地域网名入口639CFIOS
夜恋秀场安卓支持uc
多毛bgmbgmbgm胖
自W的步骤视频教学
让我看看你的小森林是什么意思
刚结婚每天晚上折腾几个小时
朋友的母亲8在观完整有限中字木
晚上开车又疼又叫的声音欢迎您
胸大的姑娘韩国播放
我老公告诉我想睡我妈
无人区一码二码三码四码区
TOBU7TOBU8老师
两个男人一个前面一个后面
YASEE亚瑟中文最新
脱色摇床实验室振荡器雷安
两个黑人大战娇妻的小说
这20项证明不再由社区开具
中国RAPPERDISSSUBS老大妈
第一次玩跳D感觉怎么样
欧美VPSWINDOWS极品
动漫人物将机机插曲漫画下载
双指探洞手势图片
用我的手指搅乱吧樱花未增删翻译
玩弄朋友娇妻呻吟交换电影
小东西慢慢感受我
一面亲上边一面膜下边美国
公孙离卧床很享受表情图片
甜蜜惩罚樱花未增删带翻译
老阿姨才是最有味的一区二区
xxxholic春梦记
撩到女生下面流的句子优秀80句
缘之空哪集开的车
laurenphilips老妇人
父亲的东西比老公的好用
草草药视频在线观看
妈妈说带好套可以给我
小娇乳H边走边欢1V1视频国产
24小时免费看的视频打扑克牌
和搜子居同的日子2中文2
乱码一卡二卡新区产品入口
你和对象最疯狂的一次
TOBU7TOBU8大学生
我和几个亲戚都做了爱
学生自w到高c的16种方法图片
果冻传媒2021精品亚瑟
97dyycom
台湾SWAY麻豆果冻精东
学渣坐在学霸的鸡叭上写
迈开腿让你尝尝草莓是什么
不充会员的爽爽的影院
疯狂主妇无删减版
亚洲一线产品二线产品
朋友的闺蜜免完整版
花蝴蝶日本大全免费观看6
星空传媒XK8004的未来发展
喵绅hcmoic士
张津瑜视频七段
惠氏奶粉好不好
王者荣耀女英雄去掉小内无爱心图片
辅导作业play
阿离掀开自己副乳的视频
pinsetangluntan
writeas迷醉
儿子比老公的大 没忍住
二人扑克剧烈运动打扑克视频
亚洲卡二卡三无线乱码新区
宝贝对着摄像头自己做1V1
俄罗斯1317大但人文艺术
奶头被夹得又翘又硬怎么办
top gear 19季03
家风贞静(禁忌GH)结局
潘甜甜3段视频免费看
破了语文课代表的那层膜
老公睡了我妈我同意了
18C.MICIOS禁慢天堂18C.MIC北北北砂
女孩输了让对方随便处理自己
高铁上要她了好几次
99精产国电影品一二三产区区别
秘密教学90话以后绝不再压抑秋蝉
天美传媒国产剧影视公司
污到你那里滴水不止的作文600字
9制片厂1制片传媒在线播放1
欧洲无人区天空码头IV在哪一本
高达uc独角兽06
麻花传MD0174苏蜜清歌
老奶奶BGMBGM
GAY无套GAYGAY宾馆
野花日本手机观看大全免费3
无限资源2018第1页在线观看
扣自己的正确手势图9个
蜜桃成熟时33d等
公交车6人轮换C白月
哔哩哔哩B站肉片免费文字
WRITEAS怀孕涨奶
绯闻男友发长文力挺张靓颖
做扑克运动全过程视频教程
公交车轮C系列
用红酒瓶塞堵住不能流下来
CHINESE猛攻6P霸道太子怀孕
WNTPPS偷窃小便
MD传媒MD0076老师家在线观看
男人和女人一起怼怼怼不要钱视频
年轻母亲3线看完整版2019
爱的阴暗面 百度影音
落地窗PLAYWRITEAS
壮GAY吊大人帅精浓
国产精华液一线二线三线区别
无人区码卡二卡3卡4卡有限公司
亚洲小鲜肉帅哥GARY
他发疯地撞着他
免费正能量不良网站推荐
夹得好湿真拔不出来了动态图
自W高C抽搐了还可以继续吗
我的好妈妈5中文
用他的大句号撞击我的小括号
成品网站W灬源码1688特点
换个地方做吧未增删动画动漫
亚洲XXXXXLMEDJYF邻居
百合做免费运动视频教程网站
他把手探到我的衣服里作文
禁天漫堂网站进入
overflow在线未增删带翻译
他趴在两腿中间舔我私密有事
TOBU8SKX
整篇都是车的百合推荐校园
香蕉丝瓜草莓樱桃草莓榴莲污
双杠分腿坐前进
都这么多水了还不要吗
沉香一线产区和二线产区的区别
工囗番漫画全彩无遮拦无限拉
被好兄弟上是一种怎样的体验
下面小扇贝肿了
呵啊呵啊呵啊女生叫什么
宝宝看镜子里我们的结合
苍老师最后一次
137VT最大但人文艺术
男神插曲女生的完整视频
非洲人和和人配人视频
国产乱码卡一卡二卡三新区
秘密教学82这次换我教你了土豪
女生打扑克时疼不疼
在体内横冲直撞就是不出来
4438x全国大免
野花免费观看高清在线6
Rapper国内女rapper
做暧暧视频大全1000部
妈妈的朋友4在完整有限中字第5
9612黄桃视频入口页面安卓版
爱琴海论坛视频播放二西瓜
二人扑克剧烈运动打扑克视频
整篇都是车的多肉
夫妻之间的108种插秧法
极致宠爱1v3
朋友把我玩成了小喷泉
READ[长弓燧龙] 甘雨 (原神)
儿子的坤坤塞进妈妈的坤坤
可以插纳西妲的模拟器
丝瓜草莓秋葵污下载旧版网址免费
免费正能量网站链接
孩子想x我同意了
紫霞用金箍棒插自己哪里
聂小雨黑皮衣5分多钟视频内容
日韩一卡2卡3卡4卡新区免费
校花下面又软又进禁视频
山东龙口护士门
人马畜禽CROPROATION
APPSTORE美区免费
夏季短袖看见女同学乳突照片
小S货又想挨C了叫大声点小
ZOOM俄罗斯另一类
拔萝卜一边喘气一边说痛怎么办呢
公交车6人轮换c白月是
老板的办公桌BD
太久永久回家地址TAI9.VIP 保存永不迷路
日本无人区码卡二卡三卡四卡
往下边塞冰棒感觉
为什么舞蹈生下面都是突出的
啦啦啦日本电影在线观看高清
写作业的时候和男朋友弄
污到你那里滴水不止的说说细节
国精产品1688在线
大炕上的肉体交换农村乱睡
你的棒棒可以桶桶我的下水道
可疑的美容院 迅雷
你终于长大了可以做了视频
麻豆是传媒官方直接进入
无翼乌全彩无漫画大全老师
女生越疼男生越往里寨的
孩子玩着玩着就进去了怎么回事儿
BBW.妇女被内射
TOUGHTESTED硬汉系列
999精产国品一二三产区区
TOBU7TOBU8学生
晚上婆婆叫的很大声
oldwoman老太中國
极品教师未删减完整版
年轻的朋友2线在完整视频
公交车上两人双指探洞天气网
尝到了甜头两人每天都会想方设法
在床上拔萝卜又疼又叫痛
为什么抽的越快叫的声音越大
无翼乌之我的教师
中国zoom人狗app
黑料网-独家猛料-曝光揭秘zztt
精产一二三产区别在哪
爱在有晴天 于珊
1是怎么进入0的图片
jmcomicron
天美麻花豆产区
10款禁止下的软件
你快叫啊我就喜欢听你叫
啊灬啊别停灬用力啊动态图
特别漂亮的媳妇和当官的朋友什么
宝贝这才几天没做
小小水蜜桃免费看
男女无遮挡吃奶gift动态图
腿再开一点就可以吃到扇贝了
娇妻荡女交换多P
纵容的母爱第1一17段感悟50字
A最大但人文艺术
人与善交XUANWEN18
欠c的玩意sb就是用来c的
400ai情艺中心
BLUED片免费观看视频
对象吃我的奶奶说明什么
我的漂亮女房东完整版
十二星座离奇事件柳岩
双人床上做的运动剧烈
中文在线12月1日快速反弹
喵绅HCMOIC士18
工囗囗番漫画大全全彩
日本一卡二卡三卡四卡无卡免
谁输了谁就要任其摆置1000字
丫头腿张开点就不会疼
欧洲一卡二卡三卡视频
69无人区卡一卡二卡
是不是好久没人弄你了
有种你倒是公开小说
迷人保拇2高清在线播放手指动
把英语老师按在地上抄了一节课
国产18禁巨制揭示人性奥秘
被罚把筷子放屁眼里不能掉
绳子打结陷缝里让对方走过去
羞羞漫画入口页面登陆章更新百度
关上最后的门未增删樱花翻译
善良的小峓子3韩剧字巴巴鱼汤饭
啦啦啦影视韩国电影
腿再张大一点就可以吃扇贝
井川里予33秒黑料正能量视频原视频出处
在没人的地方被C
一二三四高清日本视频电视
漂亮的小峓子完整版在
工口无翼乌彩色无摭不知火舞
我的儿子比我老公大
吕瑶门事件完整照片
精产一二三产区区别在哪儿啊
2015年2月里番
爸叫我替他让妈快乐
原神雷电将军掀开衣服看副乳
久久精品一卡二卡三卡四卡
精产国品一二三产区区别在哪
教室里英语课上插英语课代表
照着镜子看我怎么C你
娇妻玩4P被3个男子伺候电影
国精品产品推荐
麻婆传媒剧国产剧情MV
19岁RAPPER潮水偷轨
自己一个人想要了怎么办
brt快速公交
男朋友咬小兔兔是应该怎么回应
女朋友的妈妈2023中语翻译
它变大了你感觉到了吗
世界上最不安心的人
男生吃兔兔女生该干嘛
梅花十三的乳液狂飙
新金梅瓶电影完整版
妈妈的朋友4中字在完整视频带翻译
97精产国品一二三产区区别电影
坐在上面怎么晃教程动画图片
林妙妙被体育老师
把它堵住不能流出来下周检查作文
WRITE AS 吸蒂
原神雷电将军掀开衣服看副乳
把女朋友玩成小喷泉是什么意思啊
精产国品一二三产区区别在哪儿
天美传媒原创MV
只有棉签怎么自罚
孩子想上我该怎么办
羞羞漫画登录页面免费漫画入口页面破解
精东传媒VS天美传媒
我坐在学长的鸡上写作业作文
我年轻善良大胸的邻居
红豆视频在线观看免费播放
女人和公豬交交30分钟视频
吕知樾张津瑜视频外网
考好妈妈说做一次
晚上开车有声音又疼又叫
真人打扑克的免费软件
女生说痛男生越往里寨的文字
日产乱码一二三区别免费公司
蜜芽忘忧草老狼二区大豆行情
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1