有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
14MAY18_XXXXXL56ENDIAN60
扒开未发育的小泬视频
张津瑜七段视频1080P
父亲缓慢有力挺送儿子车文
未来超模15季
催熟PO1V3
亲爱的老师4韩国西瓜影音
父亲缓慢而有力挺拔的句子
麻花豆传媒剧国产MV网站入口
儿子一晚上要了我三回怎么办一
麻花豆传媒剧国产免费MV豆丁网
黎朔WRITEAS
课代表让我桶她30分钟作文
蜜芽永不失联网址miya737.mon
TTTZZZ黑料不打烊肾虚十八连
精产国品一二三产区999999
师徒1v2金银花
A区B区C区D区E区仙踪林
甘雨被盗宝团挤牛奶点击这里进入
日本是人类吗?
陈淑芬的两腿中间又痒了
一面亲上边一面一摸下边APP
狗狗射速好烫的视频
宝宝我们换个姿势楼梯口图片
一前一后三个人轮换的英文怎么说
小坏蛋别带套了今天是安全期
小诗的玩具日记乡村
做到你明天起不来
XKDSP APP APP隐藏入口
有谁帮自己的儿子口过
一个老男人把我下边玩肿了
被窝里的公息第十三章mip
同学带几个人来玩我的作文
厚颜无耻韩国动漫在线阅读
打扑克不盖被子床上运动
父亲缓慢有力挺送儿子车文
色欲国产麻豆精品AV免费
YELLOW片高清
迷人保拇2高清在线播放手指动
肥胖BBMBBMBBMBBMC
啦啦啦 中国 日本 高清 在线
小东西几天不见又变紧了
胡桃史莱姆ドラえもんエロ
一边喘气一边说嗯的词
沉香一线产区和二线产区的区别
车子一晃一晃正好掩盖我片
女生为什么喜欢吃男生的小鸟
蓝湛的肉车尺寸多大
抓着腰撞了起来水流了一地
超碰免费视频公开人人
男生爱吃初中女孩子的JIOJIO
高压监狱三部分别叫什么
我被继亲开了苞
试看30秒做受小视频
抬起阿离的腿就是C
林念修是谁的秘书
无人区码卡二卡3卡4卡变态
太华伽罗乳液网站
差差漫画页面免费漫画欢迎你
googlemap日本
日本一线产区和韩国二线产区区别
双男主有车车的腐肉动画推荐视频
渺渺没擦黑板被老师C了一节课
韩漫漫画页面登录漫画弹窗
国内精品一卡二卡三卡公司
中考姐姐让我c个够作文600字
宝宝的扇贝真会夹哦是什么意思
69国产精华最好的产品
老师你的兔子好软水好多文案
VPSWINDOWS另类乱
是不是想被C很久了
tek-067
国精产品999国精产品官网
999精产国品一二三产区区
野花社区视频最新资源6
被他从身后撞得浑身散
18款夜间禁用入口2023
疯狂欲望无删减 在线高清中字
十七岁中国高清免费观看
最近新免费韩国视频图片
没做过的能放进几个指节
无人区一码二码三码四码区别在哪
在线观看国产AV每日
是不是好久没人弄你了表情
东莞技校门下载
禁用18软件APP葫芦入口
被七个男人绑着玩调教
全彩口工漫画母系惩罚5
边做边爱3完整版视频
九一传媒制片厂的制作水平
女婿你不能谢在里
今晚好好吃吃你的扇贝
日本漫画工番口番全彩
顶级大但人文艺术视频音乐
同桌的手探到我的衣服里知乎免费
妈妈的朋友4在观完整有限中字
24小时日本韩国视频
宝宝两根就哭男男是不是太早了
老师成为班级的公共玩具视频
龙口护士门视频在线观看
5G天天运动天天奭运动入口
51无人区码一码二码
仙踪林COMPANY LIMITED19岁
一二三产区的文化背景
帅气体育生GARY网站MV网站
打女孩子PG的方法有哪些
义姐的不良喂养未增删带翻译
哎呦我的宝贝真好喊爹什么曲
桃花视频在线观看完整版
伽罗ちゃん的个性特点有哪些
八重神子掀开自己副乳的图片
在床上拔萝卜又疼又叫痛
分手那天我们做了八次
刘嘉玲被强奸视频
一个人看的视频全免费
开车40分钟有痛感有声音无需下载
ekdv 273
GARY2022CHINA小帅
英语老师的兔子好软水好多
小仙女把JIOJIO放在坤巴上
榴莲视频APP在线无限看免费-丝瓜苏州晶体
proumb18
三叶草欧洲码和亚洲码
秘密教学第9话不能跟别人说
日本卡一卡二卡乱码三
篮球队的公共玩具正伟
春江水暖桃仙汁1V2糙
史莱姆ドラえもんの胡桃免费
荒野大镖客2大妈一家
武汉浩哥出品消防员第一次双龙
多人强伦姧人妻完整版BDRV一
迈开腿给我尝尝你的森林味道
人与善人与善在线观看
C了一天是什么体验
怎么样吃女朋友小扇贝
斗罗大陆人物黄化3d漫画
搡BBB搡BBBB搡BBBB
胸前两个巨大的兔子蹦出来
生活大爆炸12
坐在学长的棒棒上写作业文章视频
日本人是人吗最佳答案
开车视频疼痛有声音不下载看
用我的手指搅乱吧2未增删翻译
善良迷人的女教师2中文
不对劲的监考老师像素游戏
三根一起玩真的不会坏掉吗
如何把自己弄到喷泉视频
怎么用卫生纸自W到高C
又大又长又租高湖
卫生间6分34秒
是这里吗?他反复地顶着那一个点
不可接近的女士漫画
善良的小峓子6中字巴巴鱼汤
扯开衣服两只小兔子跳出来是
宝贝感受到它在爱你吗
宝宝腿开大点就不疼了免费视频
椅子一前一后都有一个木棒
墨燃楚晚宁各种play
刘耀文往宋亚轩塞TD
女生往下边塞冰棒是一种什么体验
亚洲砖码砖专无区2023
abp-279
再往里一点啊对就是哪里
b站免费建网站
看见你的棒棒就想吃的歌手是谁
洗澡被公强奷60分钟
爸爸太大了撑不住了
伊人大杳蕉在线看
日本朋友把我玩成喷泉状态
blackpinkmv4k高清黑白配
爷爷夜里压着妈妈在叫疼
风流艳妇90分钟完整版
日本插槽X8插槽怎么用
帅哥GARY视频
翁熄止痒婉艳隔壁老李头
体验区30秒试看五次
十九岁日本韩国免费完整版高清
2015年2月里番
极品教师第三季免费观看
把红酒倒入B里喝掉
大炕上开嫩苞小说
新疆女RAPPER18岁RDFJFTTIK
秘密教学110话我需要灭火
侍卫把贵女怼树干
班长是班级的公共玩具作文
女朋友说她前任又大又长
老师的玉足伸进我的喉咙里
美丽姑娘高清日本版图片大全
拔萝卜床上运动又疼又叫
9分10张津瑜 云盘
美女扒开尿口让男人桶进
国模贝贝高清炮轰图
学长的双指探洞疼哭了
日产乱码区别免费
妖艳女忍者传锷女篇
美国十次 导航
小诗的玩具日记笔趣阁
成品禁用短视频app推荐下载
大蛇根C小兔子
老师拉我去办公室做了一节课文
在街上他突然按了遥控器作文
老师你的兔子好软水好多文案
初中女生喊疼男生越往里寨游
原神甘雨被x哭还不断流东西
第一会所s001论坛
甘雨产奶模拟器
洗屋先生樱花未增删带翻译英文
W78W78W乳液永久
王爷扣腰撞入体内
夜蒲1国语版完整版百度影音
部队里被咬住花蒂吹潮军人
三个徒弟C一个师傅
农场ZOOM与人性ZOOM区别
呼吸过度未增删
极品Y荡人生白柔柔
肉蒲团之极乐宝鉴下载
成人网小儿不宜
龙口护士门视频
不良网站进入窗口软件打开免费下载
整篇都是车的文章校园
日韩一卡2卡3卡无卡新区乱码
被C是什么感受
男友抱着我站着做
国产免费毛卡片
把两只小兔子吸红肿视频
欧美一厂区二厂区三厂区
香蕉菠萝黄瓜草莓樱桃榴莲茄子
无人区码卡二卡乱码
校霸被学霸压实验室试管
才进了个头就开始哭了
WRITEAS做作业
在公交车上弄到高C月
两个男孩子做不可描述的事
我同意老公睡了我妈可以吗
一边做饭一边狂做怎么办
JEPENSE日本
没带罩子被校霸C了一节课作文
我们四个人换着玩的感觉是
国产无人区一码二码三码区别
深度开发1v3n
给我播放免费高清MV在线观看
无人区码一码二码高高
日本ZLJZLJZLJ视频
被黑人肉体暴力强奷在线播放
秋霞网在线伦理影片
小豪孟卉钰慧三P上79章
品性堂免费论坛
女朋友技术太好舍不得分手
tom汤姆叔叔最新地域网名
手从小腹一路开到丛林处
趴在办公室被老板们C
做过爱的两个人会忘记彼此吗
破坏中巴友谊罪
毛都没长就被开了包
小舞给人桶的模拟器
JUX434被公每天侵犯的我
儿子你比你爸的都大
抱着边走边撞水流了一地的
一处桃源千人品两片红唇万客来
老王头的幸福晚年张倩倩
女生说喜欢被XR是什么意思?
ipx-247
欧美人马狗八AB8ZOZO
二次元人物桶动漫人物免费
男生最无法抵抗的姿势
小东西几天没做喷的都是视频
性饥渴的女邻居HD免费观看
男生淦哭男生的过程
爆乳JUFD492汗だく肉感
女生为什么迈开腿给男生看
三圾片有哪些好看
陪读和孩子发了关系心理咨询
男生把大坤巴塞到男生的嘴巴里
中国体育生宿舍GARY飞机
放在里面睡觉一种怎样的感觉
我16岁可以塞几支笔
免费做运动扑克视频网站
成熟交bgmbgmbgm欧
我被同学按着做了4个小时
张津瑜 落地窗
WRITEAS洛温塞东西
麻花传MD0174苏语棠
用注射器打水放屁眼里故事
国产传媒蜜果冻天美传媒
三十种交口图片表
漂亮的小峓子5中字巴巴巴鱼汤
为什么抽的越快叫的越声音大
小小水蜜桃8高清视频
好男人视频2019在线观看
欧美无人区码卡二卡3卡4
小东西几天没做水这么多图片
18岁末年禁止网站
为什么撞得越狠越快越不疼
黑龙江不雅视频
中文弹幕日产无线码一区
啦啦啦 中国 日本 免费观看
成都4片p视频
公交车两人双指探洞湘潭天气网
正式告别一段感情的话
趴在玻璃窗做给别人看的视频
两个男人一个前面一个后面
长泽梓 白衣浴室
长城小队(上)(中)(下)
开车越往下越疼的句子
任你干在线精品视频网2
放在里面等我好回来检查
跳d放在里面上体育课500字
酒醉的玫瑰在线观看
男生淦男生的部位
亚洲一线产区二线产区的区别
他带我去没人的地方吃我豆腐
麻辣烫爱在一起
好满射太多了装不下了怎么办
最近更新2019中文字幕
日本最大但人文艺术第一组
斗罗大陆2神界大乱斗交大配
路星辞段嘉衍肉车长图
一个人偷偷看B站
糖心VLOG精品一区二区三区
公交车舒婷1一20全文
扒了语文课代表的衣服
公交车轮C系列
边缘控制玩到哭的感受视频
小女孩吃小男孩小叮叮游戏
求你把跳d遥控器关了
晚上想看点小片片
早上被C醒是一种怎样的体验
最近中文字幕在线的MV视频
美女脱精光让男生桶下面
抽的越厉害声音叫的越大声音
羞羞网页入口页面登陆
我帮娇妻找粗壮男人玩3P
品色堂永久的免费论坛
镜といちゃつきたい的欢迎会
顶的速度越来越快越叫的作文
妈妈说带好套可以给我正常吗
井川里予黑料33秒视频
暖暖视频日本版免费完整
麻花传媒ceo免费观看
翁公与小莹客厅激情
后营露营无增减
输了让同学玩全部位置游戏的作文
无翼乌老师漫画漫画全集
一个人看的免费播放完整版
班级每人C了我半小时班长
疯狂欲望无删减 在线高清中字
2021年4虎的新地址是多少
不知深浅PO1V2车
带闺蜜出来玩被她老公骂怎么处理
人物动物交互狗aa
校园车多肉多的1V2
美国人免费XXXXXL19
欧洲一卡二卡三卡短视频
年轻漂亮的女教师2
棉签怎么玩哭自己
一边做饭一边躁狂我会怎么样呢
ほーすているのエロ中文
我的很大你忍一忍
宝宝是我撞进入还是你自己坐下来
新红楼梦 艳情版
japonensisJAVAHDTV公交车
小黄文水多肉多推荐
YIN荡公交嗯啊校花蒋舒涵
B站大但人文艺术图
女人是男人的未来1分59分有厚的
做AJ的姿势视频教程大全
班长找了好几个人上我
精品国品一二三产品区别在线观看
啦啦爱免费观看视频
班长笑着手灵活的调着遥控器作文
虫虫漫画在线浏览页面弹窗
GOGOGO免费视频观看 高清韩国
班长哭着说不能再C了
ドラえもんのエロ原神
走一下撞一下深深咬合总裁漫画
四虎永久地域网名2023知乎
137VT最大但人文艺术
超大尺寸的小黄说说1000字
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1