有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
二人扑克剧烈运动打扑克视频
燕氏四个和尚播种
老师不行太大太长了漫画
厨房里两只奶头被吸肿了
中国XXXXXL在线
tobu8美国14vdo
漾出over flower第二季剧情简介
王者荣耀海月被捅到流口水表情
1980美式保罗雪莉3
翁止熄痒苏钥第9章
tom汤姆叔叔最新地域网名
健身房几个私教弄了几次
见一次面做3次超详细
学长教我做题错一题就放一支笔
饭桌上故意张开腿让公在线看
麻豆国内剧果冻传媒网站
性少妇JEALOUSVUE片
差差差很疼30分钟无遮掩
双指探洞疼哭了
附近人100元一次服务
18-19MACBOOKPRO高清
china农村夫妻homemade
妈妈的朋友在完整有限中字
136精密导航AGV
小S货又想挨C了叫大声点小
挺进毛还没长稚嫩的小花苞
0ADC大驾光临未满十八岁
是不是好久没人弄你了表情包
男生和女生一起差差很痛APP大全熊猫
小学六年级差差差很痛
晚上必看的正能量视频入口
斗罗大陆小舞大乱斗交大游戏
丝瓜草莓秋葵污下载旧版网址免费
撑起伽罗的腿疯狂输出的视频
仙踪林19岁女RAPPER一百信息
免费无人区一码二码乱码区别在哪
坐在根茎写作业
安全套试用员的辛酸
免费做运动扑克视频网站大全
C死了啊哈宝宝腰好会扭CBL
彩虹男GARY网站
最近韩国电影高清免费观看在线
RH男男车车好快的车车片段
国精产品自偷自偷YM使用方法
tokyo hot n0769
迈开腿让我可以尝尝你的味道
香肠和扇贝插在一起是什么
开车视频疼痛有声音水水
野花香在线观看免费高清播放视频
最近免费中文字幕中文高清6
群臣在朝堂上却玩皇子微博
儿子把坤坤放入妈妈的坤坤里的
qianqiandianying
草莓榴莲未满十八岁的做法大全
一支笔把自己做哭
中国国模03[150p]
蜜桃成熟时33d完整
三妻四妾完整版播放
我们换个方式做吧未增删全集
坐公交车居然被弄了2个小时小说
他缓慢而有力的往里挺送细写
奶头被夹得又翘又硬怎么办
水都这么多了还装
三个男人换着躁我一
儿子那东西比丈夫的都大
bbox撕裂bass后门BD
么公的粗大挺进了我的密道
书记太厉害了太长了
斗罗大陆黄化图片
雨后小故事 动态
美国伦理小樱桃
黄金网站app免费视频大全
晚上睡不着想看点网站
车子一晃一晃正好掩盖我
魅魔乳液狂飙图片大全
篮球队的公共玩具坐便器
182TV在线播放地址
在厨房要了朋友麻麻
双指探洞疼哭了
朋友的妈妈6在观整有限中字
穿戴式跳D放在里面逛超市的感受
老人船上弄雨婷第12章
他一遍又一遍索取
每人C我半小时
久亚洲一线产区二线产区三线产区
136大但人文艺术
404黄台软件进入网站
污到你那里滴水的说说细节
东北大坑原始欲爱
身体送给儿子当礼物
VICTORYDAY老大妈
蘑菇视频妈妈的职业
野花免费观看高清视频6
14MAY18XXXXXL美国
M惹主人生气后该做什么
两个人一前一后攻击舒服吗
生物繁殖课老师拿自己做例子
青梅竹马是消防员 无马
差差差很疼视频30分钟应用
西方44大但人文艺术是什么东西
一件一件的剥开我的衣服
日本一卡二卡三卡四卡无卡高清视频下载
每走一步就深深的撞一下自己
日产2021免费一区
男生讲讲自己第一次细节真实
蜜桃成熟时33d完整港版
用点力今天家里就你和我
啊哈别别揉那处了
手不安分的探进她的礼服小作文
中国免费XXXXXL17
歪歪漫画漫画首页入
用...用点力快就好了
男孩子和男孩子做到哭图片
他走在街上用遥控器要我
最美情侣中文在线播放
WRITE AS 直播道具
自w到高c的教程夹枕头是视频
善良的的老师3
肉蒲团之极乐宝鉴下载
妖精的尾巴oad7
往下边塞玉器见客人
女生和男生一起相差差差
宝宝腿抬起来就不疼了
鞠婧祎打扑克又哭又叫视频
等不及了在车里就CH
岳故意装睡让我挺进去观看
午夜福利院电影
吃男人大鸟硬起来图
越看水流的越多的故事
WRITE AS 爸爸
我坐在学长的鸡上写作业长篇文字
宁荣荣把腿抬高让我进去
开车越往下越疼的那种作文
xfplay365每日稳定资源站姿
父母儿女媳妇一起来玩
茶杯狐CUPFOX官网浏览器
六年级下面可以塞几支笔
班长哭着说不能再深了作文600
adc影院0adc在线
jmcomicron mic18c mic 入口
干柴烈火儿媳苏姐结局是什么呢
儿子耕种母亲的田地的寓意
穿越时空恋上你
马是怎么和人交流配的
宝宝自己坐下来还是我撞进来视频
床上腰射和肩射是什么意思
ZOOM与人性ZOOM情
美国ZOOM视频狗
漂亮妈妈日本韩国
被自己家狗狗C了
我成了班级的发泄玩具的作文
bgmbgmbgm老太太俄罗斯
国产无人区一卡2卡三卡4卡仙
小SB几天没做SAO死了H
老狼信息网仙踪林 - 八零婚纱摄影工作室
男朋友说他有更大的棒棒糖
穿成男主的绿茶初恋
英国的巨人DannyD
第一会所 欧美原创
宝贝它想你了感受到了吗
女朋友的母亲3中语字追剧易
揉自己的痘痘揉到腿软的方法
才两根手指就抖成这样了视频
从阳台X到卧室边走一步视频
69无人区乱码一二三四区别
免费B站推广网站入口2023
车子一晃一晃正好掩盖我的几把
才三根手指头就不行啦
黄金网站app日本免费
美女100%露出胸
宝贝把腿抬高就不痛了
男生插曲女生身全过程
精品日产一卡2卡三卡4卡在线
第七十九章厨房里的愉焕
最近中文字幕完整视频2019
妈妈的朋友 女主角
迈开腿尝尝你的草莓汁的
夜间正能量网站
ysl水蜜桃色推荐17
玩哭自己隐私的100种方法
晚上睡不着看点害羞日本
我妹妹每天做两小时作业的英文
动漫男生把坤坤放女生坤坤里开元
坐在木马的木棒上
滑进了母亲的生命之门怎么办
嗯啊快停下我是你老师啊H
另类老太婆BBWBBW
YELLOW高清视频
HonKai Impact 3rd Kiana R2
揉自己的痘痘揉到腿软的方法
餐桌下手指噗呲噗呲
怎样把自己C到哭
善良的老师5有限中字丿
你弄得人家里都是水好大
国产乱码卡二卡三卡4W
男生说捅爆你的甜甜圈
我今天接了一个三十CM长的
贪欢经典片在线播放
镇远螺丝桥凶宅
6080新觉伦午夜
TOBU7TOBU8
公孙离卧床眼流泪红脸
CAMPBUDDY大基基
vivo另类tv
原神雷电将军不遮副乳
班长是我们班的存精器作文
蜜桃成熟时33d qvod
比赛谁输谁去谁家受罚随便玩
三个人玩我一个人什么感觉
女生迈开腿让男生打扑克二次元
5g天天奭多人运动 最新网站
8X8X网最新地址
唐三把比比东埇的不亦乐乎
10款禁用软件永久无限次数看
塞着小玩具坐地铁的感觉怎么样
差差差很疼视频无掩丰富
无人高清视频免费观看在线动漫
腿开到最大真的就不疼了
坐着震动器写作业的感觉
唐朝豪放女百度影音
斗罗大陆女生去掉所有服装
日本最大胆的人文体艺术
妈妈用棉花堵住不让尿喝水怎么办
中文字幕无限乱码不卡2021
枕边欢情电影在线
晚上偷偷看B站免费视频软件投屏
2012手机在线看免费观看
扒开粉嫩小泬直接进去
嫩草研究院2021隐藏网址
从校服到婚纱1H柠檬
姬小满的乳液狂飙天堂W98
一抽一出BGM流水视频
无遮挡羞18禁黄动漫网站
色即是空2电影下载
双龙NP黑粗撑开宫颈口BL下人
麻豆madou传媒
按着我的头给他吃
孟十朵玉女春光图
韩国床震无遮掩视频
野花日本免费高清完整版3
夜间正能量视频www正能量网站
俩人一上一下做运动的表情包
把红酒倒入B里喝掉
唐朝豪放女百度影音
WRITEAS管教
岳把我用嘴含进满足我视频
虫虫漫画免费页面窗口
男朋友退伍回来要了我好几次
果冻传媒剧国产免费入口今日更新
老婆说她想尝试多人怎么回复
主人我错了请把它关掉角色介绍
略国精产品W灬
漂亮老师 2韩国完整版
国产精品卡1卡2卡三卡四
小SAO货大JI拨CAO死你
成品网站W灬源码1688伊甫园
没带罩子让他吃了一天会怎么样
让学长干一次再写作业作文
BT天堂最新版地址
云缨的乳液长什么样
安迷修被雷狮C出液体图片
肚子里面满满的都是JY祝英台
三个人一起C你的
求网站 你们懂的
公交车被两个人一前一后攻击
刻晴被盗宝团C的不能自理视频
在厨房里两只乳头被吸肿了
你的小B不就是用来C的吗
寂寞护士中文字幕 mp4
缠着腰不让退出
馋你了今晚想吃馒头
妈妈的朋友在完整有限公司中字4
主人我错了请把它关掉角色介绍
没人的地方让你弄一下
胡桃史莱姆ドラえもんエロ
五个黑人玩一个女5P
性情中人 bt
无限资源日本动漫版免费
御手洗家的故事第1集免费观看
八重神子的神罚
过程1v2PO
全在DOI没停过的电影叫什么
成人网小儿不宜
粗大的内捧猛烈进出老师下载
男的坤放入女的小视频
坐在学长的大东西上做作业
蜜桃色的YSL
深度交流1V3多肉
一上一下做运动的动态表情包
前女友活儿太好一直忘不掉
数学课代表趴下让我桶视频
越往下越疼那种
夏季短袖看见女同学乳突图
欧美巨大巨粗黑人性AAAAAA
国模露露客厅沙发
两扇红唇夹玉柱下联一道清泉
学渣做错一道题学霸就插一下
迈开腿让学长尝尝你的草莓的游戏
被魔尊圈养的仙尊
ピースエロじ天堂资源
女儿用身体做生日礼物
我想吃你的r头叫出来
宅男频道最新上架
详细描写C的过程
疏通妈妈下水道
晚上睡不着看点免费
不充会员的爽爽的影院
马思纯力挺周冬雨
斗罗大陆2大乱斗交大配目录1
欧洲RAPPER潮水
人物动物交互狗剧情
怎么用一根棉签弄自己
女生越说痛男生越要塞
含羞草实验室隐藏路线
人物动物交互狗漫画
蜜桃成熟3dqvod
八重神子入夜狂飙图片高清
三叶草GW6781
前夫6天要了我25次
公园里的老年镖客视频
充气娃娃怎么用
fulao2官方网
日本精品无人区卡1.卡
女生让男生诵自己的游戏
漂亮妈妈7韩国在线观看
飞向别人的床 在线播放
两个男生开车哭声声音视频
麻花豆传媒2021MV在线观看
王者荣耀阿离嘴巴里含着口水
妈妈的朋友5观完整有限中字木瓜
一本二卡三卡四卡无卡免费高
W永久939W乳液78网站
日本一姐潮水RAPPER
ZOOM与人性ZOOMSK
冰块棉签做趴着还是蹲着
精东影业JD011民国传奇演员
TOBU8SKX
诱人的小峓子6字巴巴鱼汤饭
沉香一线产区和二线产区的区别
AI人脸替换白鹿造梦喷水WWW
中文伦理片最新最好看
女的说疼男的越往里寒
前面一根后面一根运动
坐地铁车被高c怎么办逃跑的老师
いっぱいしぼっちゃうぞ在线
我和亲妺妺性的开始
十8禁用b站app免费
lovely cation
没有我的允许不准流出来
没带罩子让校霸C了一节课小视频
久久精品一卡二卡三卡四卡视频版
别急晚上老师就是你的人了
牙医姐妹赤子板栗
我得到了妈妈的桃花源
联谊中的游戏动漫
国亚洲一厂区二厂区三厂区
黑白配高清HD1080完整版
万花楼楼凤论坛
女神漫画登录页面免费漫画入口网页
性饥渴的女邻居HD免费观看
东京热456大交乱高清视频
双人互动插画图片视频
好深好紧好爽再浪一点野战公园
日产乱码一二三区别免费一看
xanxus霸史录
妇乱子伦小说全文阅读
把跳d放在里面坐公交车
班长是全班的玩具
撑 趴 润滑 痛苦 求饶 BL
写作业错一题就插一下
成熟交BGMBGMBGM在线
私教在没人的时候要了我短文
老师的兔子好软有好多水
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1