有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
老电工老王和李小燕
语文课代表趴下让我桶免费放
我们结婚了世界版中字
夹枪带棒1V2舒明明黎远荣
张津瑜本人回应
野花视频在线观看最新免费
善良的小峓子2在钱中文版女主角
麻豆天美精东星空蜜桃在线
日本windowsphone
日本一姐RAPPER潮水自由
粗糙的要了一次又一次
小孩和妈妈拔萝卜生孩子视频
王建李珊张伟陈婷互换
朝鲜女子内射杂交BBW
男朋友咬小兔兔是应该怎么回应
zhangjinyu完整视频
96传媒制片厂制作视频
3个人同时玩一个人视频
男人和女人晚上干的那事视频
女生会喜欢开双门吗
年轻的老师4中文正版
边走边c1vn骨科
公交车舒婷1一20全文TXT
被两个领导夹在中间
2828dy日本伦理电影
缓慢而有力的一下又一下
tokyo hot n0640
父之过家庭大杂乱经典说说大全
前夫见我一次上我一次
摇摇晃晃的电动车上1
一个人看的免费高清直播
亚洲不乱码卡一卡二卡4卡5
御手洗家的故事第1集免费观看
棉花塞住下面不能尿
巧干朋友娇妻小怡
校花陈若雪被校长抱到办公室
胡桃ゃんが腿法娴熟を视频
我的漂亮女房东完整版在线韩剧
宝宝1V3高干学长
扑克牌又痛又叫
跳D开到最大C死我
品色永久免费堂
好爽好多水C死你视频
龙口护士门事件
怎么用一根棉签弄自己
和朋友换娶妻一天
是不是想被C很久了阅读
亚洲和欧洲一码二码区别在哪里
696969大但人文艺术主题
在县城开零食店春节能卖200万
两个人的BD高清视频免费
棒棒糖放屁眼里吸收的视频
bgmbgmbgm老太太毛16
妈妈的男朋友8 线观 高清
女生一边喘气一边叫疼
超级肉禽系统的小说推荐
18款夜间禁用入口2023
欧派浴室2樱花未增删带翻译
坐在木马的木棒上
前女友那方面厉害一直忘不掉
日本REPRODUCTION OF FOUND
男神插曲女生的视频完整版漫画
tobu8-HD68
国产一产二产三精华液区别在哪里
早上起床抱紧我未增删樱花
夹得好湿真拔不出来了动态图
河南妇女毛深深的沟WCD
日本大但但人文艺术
分手那天我们做了八次视频
老公弄我的时候婆婆看到了
八重神子开襟狂飙乳液
我得到了妈妈的桃花源
公园里的老年镖客视频人生
黑人尺寸太大怎么进得去
女的越疼男的越往里寨的视频游戏
液体收集器系统HH
撞得她说不出话来
bbox撕裂bass后门
WRITEAS假阳
儿子把坤坤放入妈妈的坤坤里
S货是不是想挨C叫大声点
男生插曲女生动漫版
xfb88.xyf幸福宝解锁版
曜给镜做剧烈运动的视频
八重神子入夜狂飙图片高清
白虎穴肉肉图片
女士不遮阴内搭图片高清图
凌晨三点看的片免费
日产无人区一线二线三线视频
王者荣耀瑶嘴巴里含着铁球
在线观看2022GGY钙同网站
域名不定更换_请及时收藏
年轻的母亲5 免费完整版中文版
3分25秒痞幼视频是什么东西
中文字日产幕码三区的做法大全
孩交VODAFONEWIFI
埃及猫没有衣服跳舞动画片原版
够了够了已经满到高C
一个人夜里偷偷看b站怎么办
日本顶级rapper潮水老娘
男生淦男生的部位
奶头被几个流浪汉吃肿了
bgmbgmbgm老妇60
幸福宝APP官网导入资源
学渣含着学霸的攻写作业
跪下拉开拉链含着吸出来
搞机TIME恶心直接打开的网站不用嘉兴圈2023
137最大但人文艺术体
漂亮的保姆3日本
AA级亚洲电影
人肉腊肠在线观看
生物繁殖课老师拿自己做例子
一个老男人把我下边玩肿了
王者荣耀エロス汉化
在车里要了好几次
我想用扇贝夹你的乌龟
办公室内衣樱花未增删翻译
卵蛋网gif动态图出处
永久939W79W99W乳液
忘记带罩子让他馍了一节课
韩国演艺圈悲惨事件9
欧洲VODAFONEWIFI巨大特
天美传媒MV视频中文字幕
天美传媒视频原创在线观看网站
能让你流污水的作文
涨精装满肚子去上课
办公室跪下拉开拉链吃应用的特点
妈妈一边喘气一边说嗯是怎么回事
wuyuetianshequ
为什么你越叫顶的越猛
欧洲无人区卡一卡二卡三
边走边撞水流了一地的水
阿宾之房东太太
把女人弄爽特黄A大片片
国产A1A2A3
X姓女RAPPER的首次亮相
暴躁CSGO妹子
老师教久别的草原视频
宝贝我想看你的喷泉了什么意思
男朋友进入的那一刻你的感受知
彩虹男GARY视频2023
男生拿冰块和棉签是什么意思
成都4片p免费完整版
傻大壮你真厉害我都
宝宝你的水都拉丝了
女生喊疼男生越往里寨游戏APP
秋葵 茄子 丝瓜 香草 榴莲污网址
授课方式BY肉馅小水饺
迪丽热巴AI人脸替换造梦
被吃兔兔的感觉
JAPONENSISFES东北
中国人を嫌う日本人
老婆和别人刚干完我又干可以吗
英语老师哭着说不能再继续了
4HU四虎永久在线观看
亚洲MV砖码砖区2021
宝宝这才几天没做水就这么多顾延
露娜用猴子的金箍棒玩
农夫导航永久地址
一面亲上边一面膜下边文字的含义
打PG打到烂无挡住的视频
S货叫大声点C懒烂你的SBXS
男朋友抱着我在图书馆做
打扑克发出哼哼哼的声音
露娜用猴子的金箍棒玩
你的棒棒可以桶桶我的下水道
压在阳台玻璃上做给别人看0
上体育课课被捅了一节课
14岁RAPPER潮水
父亲与女儿传宗接代的句子
做的时候按肚子真的有形状吗
曰本美女嫩鮑艺术图
晒晒14岁儿子蛋蛋竖起来
国外精产品W灬源码1688网站
顶的速度越来越快
夜蒲1国语版完整版
夹枪带棒1v2舒明明和黎
宝宝是我撞进入还是你坐视频
英语课代表叫我满足她的视频
韩国美女主播系列之蜜罐
走绳子打结PLAY
野花高清免费观看
比基尼性感女装
缘之空全集高清在线观看樱花粉车
激战2奶玉偃师带啥法印
一个男孩子顶哭另一个男孩子文案
和搜子同屋的日子2在线观看K8
宝宝下面湿透了还嘴硬疼的原因
八重神子ちゃんの球棒的起源
小格式自压原创区
小东西好几天没弄你了若若
女的都喜欢吃鸡8吗
太华伽罗被X哭还流东西
4hu com虎影库永久地址
老师太粗不行坐不下去痛
情感的禁区电影日本
野花视频官网手机免费观看
把自己自W到流泪
控制gc玩到哭的感受
DASD-759
两个男的是怎么开车的
中国VODAFONE粗暴
被机器人C的停不下来
雷电将军掀开衣服看副乳
会员制餐厅完整视频链接
无颜之月我花未增删带翻译樱花
含羞草实验室2023隐藏入口(已更新)
天美传媒TMY0013在线观看
大地韩国日本电影免费看
不可以两个太长了会坏视频
女儿男朋友是妈妈的爱豆的电视剧
亚洲卡2卡三卡4卡2022老狼
濡湿的车站未增删带翻译
美丽教师来我家
好满射太多了装不下了真人
3个人同时玩一个人
顶级大但人文艺术视频全美
叛逆儿子暴躁老妈怎么办
エロワンピースエロい在线
挺进绝色老师的紧窄小肉六视频
wuyuetiansese
年轻老师的滋味5在观整有限中字
人物动物交互狗aa
带电动玩具上课
sis0001 board评论区
小东西看我是怎么C你
课代表让我吃它的小兔兔
一边亲着一面膜下奶韩剧
漂亮妈妈中文4
黄桃罐头里有什么对人体有益的成分
上楼梯时做会不会更深
《年轻的护士电影完整版》
最好最全的c人教程
日本漫画工囗全彩内番漫画
tokyo hot n0460
惠氏奶粉好不好
我和好友之间的换Q游戏
公交车后车座的疯狂
高嫁柳家动画片1-4
一支笔把自己做哭
雷电将军的乳液狂飙图片
暖暖直播日本高清更新
女人50岁半夜莲花还开吗
小乌酱黑白双丝脚足在线看
把两只小兔子吸红肿
老马的春天顾晓婷
晚上睡不着瞅瞅看点B站
HONGKONGDOLL看片黄
杨幂AI换脸视频
校霸做错一题学霸就插一支笔
我和大佬的365天
开过张的女生是不是一直想
妈妈用自己的身体做生日礼物
原神甘雨被史莱姆注入sky
白石茉莉奈种子
开车越往下越疼的句子
纵容的母爱第1-17段概括
陌陌小华佗劲爆视频
我的上司是XL
双人床上一边喘气一边叫疼网站
宝宝你的水都拉丝了
成都4片p完整版视频
里面塞着小玩具坐地铁有什么感觉
99无人区码一码二码三
好妈妈5在线观看完整视频
女性看了会湿的句子
错一个题就往阴里装一支笔
上边一个日下边一个非念啥电影
墨燃和踏仙君同时干楚晚宁猫弄
人与畜禽共性关系阿梅
无翼乌口禁全彩漫画
潘金莲扬思敏版1996无删减版
迈开腿让我看看你的里面
漂亮妈妈5韩国2019
伊人大杳蕉在线看免费
舌头伸进去添能让高潮来的更早吗
跳D开到最大C死我
跳D开到最大C死我
善良的小峓子1字巴巴鱼汤饭
王中磊玩过的女人
梁医生再往下一点吃肉视频
考试不好就要当学校的坐便器
棒棒糖放屁眼里吸收的视频
男生对女生迈开腿尝尝你的草莓
不知火舞海滩h
撩到女生下面流的句子优秀80句
亏亏的视频带疼痛声的免安装
真人开车疼痛有声音
我十二岁就做了不干净的事
刚开始是拒绝的后来太舒服了
灯草花尚3灯高清国语免费观
中文字幕乱码2
WRITEAS边做边走
婉莹满足了十几个农民工
夜月直播5.5
我的很大你要忍一下是什么
每走一步楼梯就撞到最深处
公交车最后一排被群C的文章
哥布林洞窟未增删开车原声视频
肚子装不下好烫hn黄
做完以后放在里面睡觉的效果
TOBU7TOBU8学生
老公爱吃我奶奶 但有时候很痛
欧洲最大但人文体艺术
公交车后车座的疯狂的做
讲讲第一次吞J的感受知乎
学生免费一卡二卡三卡9
晚上双人运动动作视频
一直按小豆豆为啥浑身发麻
我16岁可以塞几支笔
年轻水嫩的漂亮大学美女酒店
尘不到闻时顶腰细节
第二代国产自在自线
家里没人我哥把我做了作文
快拨出天我是你母亲
洗浴双响炮是什么意思
被爱豆们翻来覆去1H
春暖花开吧有你cc
300元学生过夜联系方式
芒果一码二码三码四码区
人与畜禽corporation怎么读
我与儿子发生了不该发生的事
国精产品水蜜桃
床上运动拔萝卜
权臣hlH十一月
老师带着跳D上课的感受
いっしょにしよ
欧美致敬很多经典的黑白mv
成品大香伊煮和小辣椒的用途
一面膜上边一面膜下电视剧
俄罗斯大转盘多人运动
打朴克剧列运动动画版
tpu色母能与pa6色母通用吗
锕铜铜铜铜v27的独特功能介绍
犯错把筷子放屁眼里不能掉的作文
大众女浴室高清摄像头
最刺激的乱惀小说
渴了就喝水别扒拉我腿啥意思
宝贝感受到它在爱你吗
甘雨被焯出白水视频在线看
吃老婆扇贝吃肿了
女朋友的母亲3中语字追剧易
韩漫漫画登录页面免费漫画入口免下载
年轻的小峓子1完整版在线播放
唐三和比比东乳液
太华伽罗乳液网站
欧洲最强潮水RAPPER
我坐在学长的鸡上写作业长篇文字
奶糖与烈酒BY封远廷
被几个人日的不能走路
汤姆影院TOM转入接口
把老师玩到怀孕
禁漫夭堂地址是多少18C.MIC
罗马帝国的艳情史
女BBWBBWBBWBBW
和六十老女人高潮多次
国色天香卡一卡2卡3卡4卡5
快穿之系统欲娃养成(h)
公交车撞到最里面去了
银枪挑三娘一战到天亮精神抖擞兮
把腰抬起来一点我不好发动
大长腿白丝被C到爽哭了
感官世界下载地址
电车之狼r 攻略
学渣含着学霸的写作业双男主车文
分手那天我们做了十三次
丝瓜 草莓 秋葵 榴莲
哎呀哎呀在线观看视频高清国语
门卫老头吮她的花蒂的导演是谁
宝宝好久没C你了校园
po18脸红心跳作茧官网入口
女生和女生一起打扑克差差
我捅了英语课代表一节课
对你上瘾1v3不清水
野花韩国日本高清免费5
宝宝把腿开大点就不疼了
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1