有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
妈妈说只要爸爸不在家就可以
打扑克全程不该盖被子
进来吧晚上英语老师就是你的了
少妇被粗大的猛烈的进出69影院
男按摩师用嘴亲我下面口述
缘之空第几集开的车几分几秒
何小莹被老头拖进树林里
对象都是怎么顶的
他的手探到我的衣服在做什么
日产无人区二线三线乱码
国精产品砖一区二区三区糖心
14MAY18XXXXXL日
阿锵锵锵锵锵锵锵网站大全
强宠 失宠皇后
亚洲日本一线产区和二线产区区别
公交车有人要了我几次
365天霸道总裁爱上我2免费观看
国精产品一二三四线免费
50岁女人下面还紧吗
巴西BBABBABBABBA
各种姿势玩小处雌女TXT视频
5G天天奭多人运动网站入口
家里没人儿子就C我了
好看的肉质高的pop短文校园甜
一二三四高清日本视频电视
全是肉的糙汉文
他的手抓住了我的小兔子动图
刚开荤的男生是不是收不住
往下边塞玩具坐公交的故事
农场ZOOM与人性ZOOM区别
啊不可以坐不下去痛
哈妮克孜被烧毛是真的吗
性生20分钟性生20分钟
欧美三根一起进三P
将皇后送去军营慰问三军
laurenphilips和黑人
柳州莫菁门事件
女生迈开腿让男生吃草莓
WRITE AS 女生
糖心VLOG小桃内射频网站
我和姪女小婷上下耸动
蜜芽高清完整视频
宝宝家里没人今晚弄刺激点
装A刺头怀了禽兽校草崽后
女人50岁半夜莲花还开吗
被自己家狗狗C了一天
BBOX撕裂BASS孕妇公交车好莱坞
甜蜜惩罚 我是看守专用宠物未删减版百度云
51国产黑料吃瓜张津瑜
男朋友晚上怎么做你的
宝宝我不进去就蹭一会视频
差差差很疼视频30无掩盖
仆人犯错把筷子放屁了怎么办
双人床上做的运动打扑克视频软件
强壮的黑人RAPPER
有多少弄过自己的儿子的吗
咋能把女友弄成小喷泉呢
女生只穿一根线还小的三个点
把小舞的衣服P掉是什么样的
三个人一起玩3Q详细经过
小子之偷采双圣
美国寂寞空庭春欲晚
娇娃荡女K8经典
我的极品岳坶34章
丰裕纵满杨玉环2
公主殿下微臣馋了玉U势灵犀
迈开腿让我尝尝你的草莓什么味
儿子的还比老公长
太太其实你也很想要的对吧
晚上家里没人就让你弄
99国精产品品质溯源网
24种阴性户型图
说说老公夜里顶你的
日批发出来的声音录音
欧亚尺码专线欧洲B1B1
语文课代表穿着JK让我C
WRITE AS 爸爸
欧美精产国品一二三类产品特点
妈妈的男朋友8 线观 高清
mm1313不能看了 localhost
儿子那东西比丈夫的都大
忘带罩子了让他弄了一节课
宝宝才两根手指就流了
tobu8美国14vdo
艳姆全集樱花在线观看
三个人弄得我走不了路的说说
AI人脸替换脸杨幂在线播放
17一18俄罗斯een
2022Ggy钙站-MBA来源
坐在父亲紫色大龙上写作业
和朋友换娶妻a2020
文轩上体育课课用跳d的感觉
老婆说她想尝试多人怎么回复
14MAY18_XXXXXL56ENDI免费
原神人物黄化网站
乱码一卡二卡新区永久入口
最近最新手机中文大全4
疫情期间在家日老妈
老阿姨才是最有味道
第一次顶开妈妈的生命之门
进了老师的扇贝
人间小喷泉1V3HL笔趣免费看
XZL幼儿精品幼儿
龙口护士门视频在线观看
自W到高C的教程夹枕头
抓着腰撞了起来水流了一地
16MAY20_XXXXXL56ENDIAN
韩漫免费漫画入口官方
把筷子放屁眼里高清图片
大腿中间一张嘴顺口溜
贪欢电影在线观看
夏家三千金2部
WRITE AS 教官
37大但人文艺术馆A级
天美传媒在线MV免费
WRITEAS黎朔
美女杀手摧花狂
荒野大镖客2大妈一家
中国人成熟视频
50岁女人下面还紧吗
旅游妈妈给了一次
刻晴被盗宝团C的不能自理
国精产品WNW
快穿之肉糜蜜花(H)
想吃你身上两个的樱桃
学长在地铁里怎么可以这样呢
老师家里没人你用点力啊
成免费CRM每天都不重样
writeas上层玩具
双乳被一左一右吃着的感觉
宝宝1V3高干学长
羊急了也跳墙完整版
俄罗斯19girl video9
院子里公开惩戒(下)WRITE AS
俺去啦怎么打不开
妇女老太太GMBGMBGM
玛雅maya发信到
女生迈开腿打扑克又疼又痒
电车蓝衣女种子
国精一二三区别免费
B的几种类型图例
渴情昼夜 作者东寻问酒
日本乱码一二三四区别
高清无码成本人视频
GGY钙2022调数
软糯小受灌满哭求饶道具
迈开腿让我看看你的照片图片
精美日产MV二线三线是什么
梁薇陆沉鄞 楼梯
老公说想上我妈妈
我和黑帮老大的365天完整版
美女扒开腿让男生桶免费看动态图
歪歪漫画登录页面免费随着已经
魔弹之王与战姬漫画
大孔雀和美丽姐
红猫大本营点击进
粗大的内捧猛烈进出老师下载
刘耀文在宋亚轩塞震动
张津瑜事件是什么
piaolonghe
乱VODAFONEWIFI
水蜜桃秘密基地
能让下面滴水到爆的说说
火车后车座的疯狂的做
我的兔子好软水好多的免费视频
天海翼家庭教师qvod
嫩小槡BBBB槡BBBB槡
老公和他朋友上我该怎么办
一亲二膜三叉四强五注射老区
男人忍不住挺进去了怎么回事
lululemon露露瑜伽服
男朋友摸小兔子细节描写
美国人免费XXXXXL19
车文超细过程作文
GARY2022小鲜肉GARY
第一次给0开的手法图
2023无人区码一码二码三码
餐桌下他深深顶撞H
24小时日本韩国免费看
太大了吧唧吧唧吧唧吧唧吧唧
XZL仙踪林精品幼儿999
300勇士前传
小孩把坤坤放入妈妈里面
99无人区码一码二码三码
诱人的女邻居2中文字幕在线
坐下来自己慢慢摇
成绩差成为全班的玩具
国产顶级绝伦推理电视剧有哪些
课代表让我吃它的小兔兔
没有罩子的瑜伽老师叫什么
WRITEAS丝带
jm漫画战争与和平
孤独又灿烂的神 鬼怪
老外太长到我子宫了
用电动牙刷自W到高C作文
考好妈妈说做一次
坐公交车日了两个小朋友
137P大但人文艺术
大白屁股缝里浓黑的毛
父亲缓慢而有力的往里挺送视频
群臣在朝堂上却玩皇子视频
宿主的任务是收集jyH
女人高潮时一夹一夹的正常吗
挺进毛还没长稚嫩的小花苞网种
干柴烈火儿媳苏姐结局是什么呢
四叶草M码和欧洲码的区别
说我的大还是你老公的大
国精产品99永久中国有限公司
言教授要撞坏了笔趣阁相似的小说
紫霞用金箍棒桶自己的哪里
班主任哭着喊着不能再继续
绿巨人二维码推广
把英语课代表按着抄视频
乱码一卡二卡新区永久
RAPPER老妇人
打扑克是什么梗?
第4色最新地址
与我同眠下载地址
徐若瑄魔鬼天使下载
一区二区无码精品AV
撑 趴 润滑 痛苦 求饶 BL
打扑克一边喘气一边叫疼的视频
漂亮的小峓子4在钱免费中
和同学一天C了好几次小作文
欠c的玩意sb就是用来c的h
数学课代表说不能再扣了
女生往下边塞冰棒是一种什么体验
赴约BY际慈PO
女人50岁半夜莲花还开吗
刚开始一深一浅后来逐渐变大
被自己家的狗上瘾了怎么办
TOBU8-HD100
爱在初春惊变时
浓毛BGMBGMBGM老太太
井川里予33秒正能量的原视频
把腿张大点我就可以吃到扇贝了
狗的东西又大又长干了一晚上
LINODE日本IPHONE大全
老翁真厉害不倒枪
嫩草研究院2021隐藏网址
当私生饭是要挨C的
宝贝把腿抬高一点就不疼了
大陆年轻帅小伙飞机GAY
旧里番肉欲に堕ちた牝たち
秘密教学第83话田里开机
俄罗斯大荫蒂女人毛茸茸
不如各自安好(1V1)
男人到天堂去a线2019
被子里怎么无声自罚疼到哭
女的越疼男的会越往里寒
友田彩也香qvod
双人床上互动的图片
WRITEAS遥控器
女儿男朋友是妈妈的爱豆的电视剧
啊哈哈哈好长啊
韩国最大但人文艺术
老BwBwBwBwBw
老公回家就吃我的奶奶怎么办
妈妈说只要爸爸不在家就可以大武
linode日本iphone美国
泷泽萝拉第三部ed2k
sky-258
红玫瑰直播免费版视频
拔擦拔擦X8X8华人免费
小东西几天没做水又变多了
乱码A区D区C区
xrk1_3_0ark入口
日本vtuber在b站的钱
爸爸我可以吃你的棒棒糖吗
妈妈的朋友10在哪可以去看
7723日本电影免费观看完整版
王者荣耀女生去掉小内皮肤无烟雾
G718.SX.张津瑜蘑菇
漂亮的小峓子4在钱免费中
宝宝乖夹住不要流出来
最舒服的一次是在哪儿
单亲妈妈4中文在线
我们换个方式做吧未增删全集
人与ZOOM日本人
美国巨肥garden60
品色永远免费堂
做错一题学长就C一次黄
嫩草研究所入口一二三四
野花日本手机观看大全免费3
家教老师 考满分就能一整天
女人被躁到高潮嗷嗷叫的歌词
公交车多人运动
埃及猫没有衣服跳舞动画片原版
荡公乱妇第1章方情公憩系列大
精产国品一二三产品区别大吗
自W到高C的50种图片教程
车速快多肉的百合
你的水都拉丝了
欧美无人区码卡二卡3卡
WRITE AS 震动
国产午睡沙发系列大全
六年级下面可以塞几支笔
超能太监2之黄金右手
我们换个地方做吧未增删樱花视频
祝英台遇到马文才在哪可以看
没带罩子让他C了一节课怎么办
品色 免费论坛
暖床H1VL1升
装不下了好烫要溢出来了欢迎
孩子玩着玩着就进去了怎么回事
交换:朋友的妻
爱情岛论坛在线路线一免费观看
棉签和冰块怎么玩哭自己
坐在老师的鸡叭上写作业
关上最后的门漫画
善良的年轻的馊子3中文在线播放
父母儿女一家换着玩的句子
VPSWINDOWS另类极品
孙尚香站在凳子上辅导刘禅写作业
好满射太多了装不下了
女生奖励自己隐私越狠越安全好
干柴烈火儿媳苏姐结局如何
我是你岳...你不能
亚洲码与欧洲码区别一二三四
刘老汉翁熄系列新婚
往下面一颗一颗塞珠子的故事
当头棒喝打一生肖
主人能把遥控器关了嘛
XL司樱花未增删翻译
女性半夜莲花开什么意思
tobu16tobu69
TOBU7TOBU8
日本厉害的RAPPER网站
你真是越来越耐C了什么意思
我撕开岳的丁字裤
给我播放片在线观看
教练在车里C了我三次怎么办
芒果精产国品一二三产区区别
japonensis 19一20刚开始的
第16话想进来就努力吧欢迎你
公交车上要了无数次
53岁沈阳老阿姨叫得没谁了
10tpu色母与pa6色母
把女朋友弄成小喷泉呢
玩弄老太太的BBB
舌头探洞感觉要喷了
69无人区卡一卡二卡
2021日产乱码网站直播
一加速就会哭的女孩子
清宫性史之名妓风流
女朋友的母亲2语字追剧易
日本ZLJZLJZLJ视频
丰年经的继拇9M的寓意
宝贝好紧好爽再搔一点试视频
打烊后仅剩二人的沙龙
输了下面随便处置一天
翁熄小莹(奇思妙想)第二篇
欧洲无人区码SUV
引导儿子上自己
日式小黄油推荐
新疆女RAPPER18岁RDFJFTTIK
一亲二膜三叉四强五注射网
艳娒1一6全集在线高清
鄂州一家亲聊天截图
公交车上的诗请10
高中生无套内精
给你下水好多下水道
浏览器网站免费进入
老卫抱着淑蓉进房间导演是谁
关上最后的门吧未增删带翻译樱花
老师的小兔子好软水好多动漫
放心我只在外面蹭一下
JEALOUSVUE少归
2020年日本高清一卡二卡三卡四卡
穿戴式跳D放在里面逛超市的感受
一边吃着一面膜下奶图片
他缓慢而有力的往里挺送文字
花季传媒v3.072黄每天免费三次下载
孙尚香游泳结果被黄忠看见
秘密教学93话恩爱久等了梦境
男生把坤巴扎进女生的坤巴里
清恋 seiren
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1