有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
中考前妹妹让我C1次
亚洲卡1卡2乱码新区仙踪
嗯啊用力插我舔我的
男生爱吃初中女孩子的JIOJIO
JK漫画免费漫画页面在线看漫画免费微信知乎
老公和他朋友一块上我可以吗
帅气体育生GARY网址MV宏翔
魔鬼公交车上的小黄说说
亲亲抱抱举高高蹭蹭的刺激原声
日式像素黄油小风港下载
暮春堂最新地址
不再是朋友的夜晚2
一人一狗卡了六个小时视频
2022GGY钙同
妈妈哭着叫我带上套
张柏芝殖器12图
学霸将遥控器开到最大
王者荣耀貂蝉喝自己的液晶视频
KISKIBLUE
亲爱的老师6中文版完整版网盘
国内精品卡1卡2卡区别
段嘉衍路星辞肉车终身
隔着衣服吃你的小尖尖作文
医手遮天小妾太难驯
JAPONENSISFES
女生迈开腿让男生吃草莓恶心吗
我的兔子好软水好多樱花视频
中文字字幕在线乱码视频
至尊宝用金箍棒桶紫霞小鸡
秘密教学60话好像可以照我的
美国十次啦怡春院
小小水蜜桃免费看
小柔在舞蹈室里被蹂躏
乌龙派出所221
原神当甘雨被空C出液体视频
拔萝卜挤酸奶是什么意思
玫瑰 acome
永久939W75W75W乳液
姬小满的乳液狂飙天堂W98
没有我的允许不准流出来
4ayy私人影院
一整夜没有从你身体里退出来
陪儿子读书发生的事是真的吗
做AJ的姿势视频教程大全
男人和女人插曲视频
跨越八年的新娘
深度开发1V3全是1
迈开腿让我吃一吃
抖音奶片故意走漏15秒图片评论
迈开腿让我看你里蛋蛋作文
舌绕指探洞深深下一句是什么?
老师你的兔子好软水好多作文
晚上玩哭自己隐私的100种方法
秘密教学SVIP土豪免费
WRITEAS棉签
凌晨三点看的片免费
rh男男车车的车车视频软件
PT-71波多野结衣
体育课没带罩子让捏了一节课
淑荣二次上船开到湖中间去
低头看我们结合的地方阅读
后厨剧情分集介绍
乳色吐息樱花未增删翻译中文翻译
ZLJZLJZLJ水水多多
好姑娘7免费高清观看
人与马是怎么交流配的
电影桃姐在线观看
茄子视频APP下载安装无限看-丝瓜安卓
每签一单都要被客户日
让人看了想要做的文章1000字
几天不做就湿成一片
将军每走一步就撞一下
老婆不在家一个人寂寞CSGO文案
污到你那里滴水不止的说说短文
两根前后夹心饼干
喝了酒跟我家的狗狗做了
公嗲器好大好H
双指探洞水喷出来图片
详细描写C的过程
太大了坐不下去太痛快
学霸把校霸往死里做双男主车
没带罩子让校霸C了一节课小视频
A区B区C区D区E区仙踪林
换个方式做吧未增删樱花
女生主动让男生看自己的坤坤
电车之狼r特典
宝宝的好大我都握不住了的说说
一个男孩子顶哭另一个男孩子图片
老公我想你了给我好不好嘛
两个师傅一前一后完整版
VODAFONE喷浆
1和0是怎样进入做的图片
师奶杀手是什么意思
暴躁老姐的csgo心得分享视频
两根一起进去疼拔出来就不疼
4hu com虎影库永久地址
美国ZOOm人狗欢迎你
白妇少洁高义全文阅读
无人区卡一卡二卡三人伦
民工把我奶头掏出来了怎么办
张柏芝艳门照图片
中国体育生GARY飞机XXNN
女生越说痛男生越要塞
天堂在线www官网
日韩欧洲亚洲SUV
VODAFONEWIFI18APP
无人在线观看免费高清直播
张津瑜落地窗酒店
徐若瑄魔鬼天使
淑芬两腿间又痒又疼的原因
一体六交是哪6个地方
国精产品W灬源码1688在
爱情岛论坛免费观看路线二
亚瑟首页YASEE
亚二新区乱码无人区二
把它堵住不能流出来吸收
C了语文课代表一节课
秘密教学82这次换我教你了土豪漫画
吃女朋友的扇贝的正确方法
在公交车上弄到高c了最后一排
一顶就叫是为什么
乱码中字芒果视频一二三多人
中国体育生宿舍GARY飞机
动态图27男舔女
老公和兄弟一前一后攻击
麻花豆传媒剧国产MV在
成都4片P完整版视频动漫
外出佩戴小玩具的感受
啊我们换个地方C死你
张柏芝的BB阴部
欧洲一本到卡二卡三卡乱码
写得很详细的开车
胸好软水好多双指探洞
公交车上开了两个小女孩的包
荡秋千越往里越深
交流1V3多肉
JD京东影业传媒女儿国女演员
大婶的肥沃的土地类型
撞进妈妈的生命之门
粉嫩小缝太窄了进不去怎么办
51成品网站W灬源码16章节
雷电将军八重神子被淦出水
剧烈摇床运动免费观看
mm1313点不进去了
公交车最后一排被群C的文章
张警官9分10秒
姐姐说家里没人的时候可以做
成都4片p免费完整版
奇怪的美发沙龙3韩语中语字
女人半夜睡不着看点害羞的
ZOOMSERVO
小黄花必看的网站
一边做饭一边躁狂我会怎么样
原神申鹤去掉小内无爱心图片
腿张大点我就可以吃扇贝了
偷玩山村粗壮肥妇女
国产乱码卡一卡二卡三新区
一层一层的剥开我的衣服
校花被绑到男厕当尿器
阿宾之房东太太
亚瑟首页YASEE
电车之狼r去马赛克补丁
迈开腿让我看看小草莓
9887地铁笨蛋
C够了没有三根一起会坏掉骨科
妈妈的朋友12完整视频有翻译
公交车售票员用下面验票
叫大点声反正晚上没人
一颗颗眼泪都是爱
精品日产卡一卡二卡国色天香
抖音小姐姐脱身全衣服
XL上司2第二季带翻译未增
输了去谁家受罚抽阴可处置
爸爸吃饭也要和我连在一起
乖好好含着待会就给你
两个人一前一后攻击叙述
丫头放轻松让我进去
最近新免费韩国视频图片
24种阴性户型图
国产一卡2卡3卡4卡国色
夏娃的诱惑中文版
亚洲乱码卡3卡4卡新区
吃瓜网-免费吃瓜黑料泄密爆料曝
我父亲的女保姆是我的首选评价
国产乱码免费卡1卡二卡3卡
家里没人你用点力 快快
五行书院在线观看完整版
9uu.cm有你有我
8X8X网最新地址
日本一卡二卡三卡四卡无卡高清视频下载
和黄crm在线
练瑜伽时体育老师C了我一节课
在车上被弄到高c
做错一道题就被学长c一次
henhense
日本一姐RAPPER潮水是什么
今天晚上我控制不好速度
69视频APP在线无限看免费丝瓜晶体公司美食
adc影院最新入口确认
中国东方XXXXXLMEDJYF
快好喷水视频连续登上热搜
雪臀肉枪玩遍武林美妇
我和女婿发生了不该发生的
双人床上剧烈运动打扑克
喷泉H1V3HL慕深
坐着震动器写作业是什么感觉
野外插曲的痛的视频30秒3K2
甜蜜惩罚2樱花未增删带翻译
不小心缩小掉进女生的午饭里
女孩迈开腿让男孩给她嗦坤巴
年轻的母亲2在线播放中文版
打扑克视频又疼又叫
18岁女RAPPERDISSSUBS_97
它想你了给他好不好
软糯小受灌满哭求饶道具
被体育老师c了一节林妙妙
冬至糙汉h1vl
激烈的打扑克的视频
日产2021一二三四免费
情欲小说龟全文阅读
西施的欢迎会管鲍之交
相府千金1v3
皮肤上有白块关键词
悠悠爱情药草香
国精产品1688在线
是不是想夹死师傅
老师的蕾丝小内内湿透了
肚子装不下了尿液好烫HN黄
19禁忌漫画免费阅读
隔壁的女孩中字在线观看 1080P
迈开腿让我吃一吃
你弄得人家里都是水的
我早就想在公司要你了视频
坐着震动器写作业WRITE AS
伽罗ちゃんが腿法娴熟をM
GAY空少被体育生开菊
共享皇家小公主3V1
林妙妙被体育老师
亚洲精品国产精华液有哪些牌子
久产久精国九品
宝宝这才几天没做水就这么多
他日得我走不了路
满了太满了溢出来玩具
BGMBGMBGM老太太70
小学生拿棒棒糖做内个玩具
janetmason
印尼女性rapper
俄罗斯17丨18tee
开车真人版疼痛有声音
离婚了忍不住和儿子
上班的时候突然想要了
为什么一加速女孩子就会哭
抱着公主走一步撞一下的电影
高校1V3 PO
LASTDAYONEARTH儿子
鲍鱼网名区域2021
Naruto Hennatai
夜月直播5.5
亚洲无人区码一码二码三码的区别
女人迈开腿男人要吃草莓
真人打扑克直播软件下载安装
中国日产乱码无线码
把腿张大一点我要吃你的小扇贝
fulao2官方网
他的手一直探下去
公交车6人轮换CH被一堆人看
张津瑜 VS吕总卫生间
让村子里的精灵怀孕4樱花
八重神子用身体补偿旅行者
21CM坐上去感觉是怎么样的
恋之欲室 电影
日本乱码一二三四区别
中日乱码卡一卡二仙踪林
doi先进去再戴套
国产AV无码一二三区视频
有没有弄过儿子的吗
一边喘气一边叫做摸小兔兔推荐
2021最新一二三四五六三
东莞技校门种子
原神甘雨被空C出白色液体游戏
china外卖小哥gary
痳麻让我挺进她的黑森林电子书
蜜芽.2722永不失联在线观看
五个闺蜜的疯狂互换
教练把车开到没人的地方阅读
把毛笔放到洞里写字不准掉
扑克牌又痛又叫软件免费下载
没带罩子让他C了一节课作文动漫
MIGNON动漫
公交车上玩两个小朋友
全美超模大赛第17季
Zoom人与Zoom巨大
中国人免费高清视频大全
总裁求你饶了我
坐在紫到发黑的木棒上写作业
使劲抬东西突然腰猛然一疼
父亲缓慢而有力的撞着
年轻的保姆5完整视频观看
中国RAPPERDISSSUBS老大妈
他的手一直探下去
《言教授要撞坏了》
第一精品福利导福航
中国XXXXXL15仙踪林
5G天天奭多人运动网站入口
男生抓着你双手摁墙边什么意思
胸大做起来有什么好处
日产一线二线三线理论
伽罗といちゃつきたい腿法
FREEZEFRAME丰满老师
小草在线观看免费视频播放
爱情岛论坛首页推荐进入网址
秘密教学子豪26再做一次
饭桌上故意张开腿让公在线观
浮力影视最新发地址
不知火舞和三个男儿3
清宫性史之名妓风流
自W的步骤视频教学
3分25秒痞幼视频是什么东西
新红楼梦艳情版
总裁在餐厅进入
抱着娇妻让朋友一起弄
一浅二深三大叫什么
被开三门恶心死了
感受到我了吗大不大烫不烫
多毛小姐BGMBGMBGM胖
抽的越快声音越响视频
人与畜禽交互MOUSE
14MAY18_XXXXXL56ENDIANKINO
电车之狼r怎么通关
黄系纯色软件下载入口
黄鳝21分钟40秒完整版
不要再进去了会被撑坏的
成熟交BGMBGMBGM在线看
野花视频官网手机免费观看
深度了解1V3
英语老师给我吃她的小兔兔
跨越八年的新娘
14MAY18_XXXXXL56ENDIANKINO
免费中国最大但人文艺术
跟前妻见一次睡一次
SB就是用来C的
腿再开一点我就可以吃到扇贝了
云缨拿枪奖励自己核心图
顶的速度越来越快越
亚洲日本一线产区和二线产区区别
生物课老师拿自己做教科
你把腿开大点就不疼了
xl上司带翻译没有马赛克带中文
生物课当着全班人的面做到高
XVDEVIOSXVDEVIOS都是正版吗
宝贝腿打开一点我进不去
坚定挺拔的进入
极品教师未删减完整版
张津瑜卫生间1080P
原神八重神子被捅流口水的游戏
黑巨茎大战美女在线播放
几天没C水就这么多了
污到你那里滴水不止的说说
李z瑞事件图片
蕾丝视频旧版APP2021下载汅API最新版苹果版
漂亮的丰年轻的继拇了5中文
儿子突然要上自己怎么办
最近2019免费中文字幕视频三
瑜伽老师上门教课
父母儿女一家狂I目录
迈开腿我们换个地方C视频
日韩中文字幕推理片
杨思敏1一5集手机版
魅力研习社避孕套
工口无翼乌彩色无摭不知火舞
班长是我们班的存精器白素素
班长的兔子好软水好多免费的网站
精品一卡2卡三卡4卡三卡免费
国精产品一二三区别在哪里
正能量火影网站WWW正能量
忘记擦黑板被老师C了一节课
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1