有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
用手指轻轻按着并来回移动
黑道少爷爱上我
WRITE AS三人
成品源码1688网站免费版
甜蜜惩罚未增删带翻译整集带翻译
人妻无码AV中文系列
和教练在车里撞了我三次怎么办啊
日产乱码一二三区别免费一看
文轩WRITEAS震动器
俄罗斯人与ZOOM人的区别
男朋友说迈开腿让我检查一下
十大污的app
最舒服的一次是在哪儿
家族内乱换刘家全部
许仙终于把小青日服变成了
始料未及的软1v2H
自W的方法教程图片
亚1州区2区3区4区产品国色天香
女人荫蒂勃起后的视频大全
我和亲妺妺性的开始
大团圆结白结的故事
雷电将军乳液VX免费网站
TOBU8美国7TOBU
哥布林洞窟樱花动漫未增删带翻译
怎么把自己揉的全是水喷泉
免费无人区一码二码乱码
BGMBGMBGM老太太交视频
太长了撞到点了
津瑜视频9分10秒
哈妮克孜18秒烧毛
帅气体育生GARY网站MV肌肉
小婷又软又嫩又紧水又多
GOGOGO免费视频观看 高清韩国
亚洲欧洲一码二码区别在哪
无颜之月是啥意思
弱点73话我也要一起洗
被压到落地玻璃窗前的紧急救援
迈开腿让我看看你的照片图片
甘雨产奶模拟器
绿巨人推广APP网站
晚安おやすみせっ3在线观看
大象W灬源码1688
白虎穴肉肉图片
安迷修被雷狮C出液体图片
XL上司第二季樱花未增删翻译
春暖花开 有你cc
国内国精产品一二三区传媒
希儿乳液狂飙天堂W98
精产国品一区别视频
JEALOUSVUE第一次
品色论坛最新地址
为什么女的干一炮就老实了
GRAHAMCOXON女儿
麻豆画精品传媒2021网站
三个徒弟强占师父
香蕉菠萝黄瓜草莓樱桃榴莲茄子
张津瑜7段51吃瓜
WRITE AS 两根
公交车被两个人一前一后攻击
晚上听见公婆办那事婆婆还叫
原神雷电将军不遮副乳
云缨新皮肤p掉衣服裸
夹住去上学不可以掉下来作文
亚洲卡2卡三卡4卡2022老狼
打开腿吃你的扇贝什么意思污
M HBFAXIA
欧洲vodafonewifi高
艳姆1到6集转码在线观看1
世子很凶插花弄玉H
404黄台软件平台
学霸错一题插一次
睡醒发现还在C1V1HHH
你看你的水喷得到处都是若若
小钰IG夺冠了就让草
女生的小雏菊长什么样!
脱色摇床实验室振荡器雷安
一区二区视频传媒有限公司
星空传媒XK8077妻子的报复
麻花传媒沈芯语国产传媒
年轻母亲3线看完整版2019
艳姆全集樱花在线观看
无限资源2018第1页在线观看
向涟苍士献上纯
乳液狂飙天堂W98
我C了白丝课代表一整节课
软玉娇香多肉大结局
美美哒日本中文免费
缘之空无删减资源在线
生物老师拿自己当做繁衍例子
女生吃坤巴难道不恶心吗
年轻的母亲2在线高清完整版中文版
向着小小花蕾深处前进讲的是什么
在车里缓慢而有力的撞着
美美哒免费高清影院在线观看7
嘟嘟嘟在线视频免费观看高清中文
他把跳D开关开到最大
14MAY18_XXXXXL56ENDIAN日本
韩国最大但人文艺术
埋在体内恶意地顶了顶
5个黑人躁我一个视频
穿裙子就是好c
晚上想看点小片片
怎样揉自己的痘痘揉到腿软
小喜含不下了先出来吗
43417大但人文艺术主演列表
是不是B越小越好玩儿
WRITEAS 野外
宝宝你看你喷的到处都是作文
车子颠簸一下猛地进去
怎么把自己隐私位置玩哭?
每当我看见她的jk慢慢脱离
公交车后车座疯狂的做的细节
J8又粗又硬又大又爽又网站
老板在车里要了七回
人畜禽corporation
男的插曲女的叫视频
去掉小内打扑克
超碰caoporen国产
10岁可以插几支笔
酒店服务生满天星法版免费观看
在健身的时候突然支起小帐篷
天天射干2019快速 localhost
草莓视频释放深夜的自己
真想跟你做到死
5g天天奭多人运动 在线观看免费
中文字日产幕码三区的做法步
国产无人区码卡二卡三卡
家里没人我弟把我给办了
大号注射器放屁眼里灌注红酒
西方大但人文艺术
5G年龄确认永久有效
9分10张津瑜 云盘
40岁阿姨荒野大镖客
祢豆子が悪い人に捕まったら
在把腿张大点我就可以吃到扇贝了
一根筷子怎么玩哭自己的小朋友
まことNICO免费视频
两个人一前一后地动着我要
第一次玩跳D感觉怎么样
美女露100%双奶头无遮挡免费
被多个强壮的黑人灌满精
八重神子的乳液狂飙游戏
用卫生纸制作一个假j
孤男寡女免费观看电视剧
迈开腿里草莓男人往里怼
亚洲乱码卡3卡4卡新区
坐公交车一晃一晃的
中国bgmbgmbgm老太太70在线
别在阳台会被别人看到的
夜月直播5.5
意大利性未删节版在线
春江水暖桃仙汁1V2糙
麻豆传播媒体网站入口官方
女看了会流污水的段子网站
妈妈的职业中语版在看
恋夜院影全部视频列表2
课后辅导(教室羞耻PLAY慎入)
po18脸红心跳作茧官网
精产国品一二三产品在哪买
带自己老婆参加多人活动
男JI大巴进入女人的视频
中国新疆XXXXXL17学生
异地见面插上两天不下来
一上一下做运动的动态表情包
女生喊疼男生越往里寨游戏APP
xiaav论坛因你精彩
亲亲抱抱蹭蹭的刺激原声哔哩哔
GOGOGO大胆艺术风格分析
一家和气情乱关系十二
5g影讯5g探花网址
may18_XXXXXL56endian
蓝男色蓝摄GAY裸男CHINA
亲吻摸摸蹭蹭抱抱哔哩哔哩
把她日出了水好紧太爽了
裙子下面是野怪
18夜里禁用B站
一女多男在疯狂的伦交
非诚勿扰 徐莹
女生看了会起反应的段子
老公晚上是怎么玩你的
回娘家老是搞我
STEVE HOPPER尺寸
被做到晕是一种怎样的体验
日本iphonepromax70
桃花社区在线观看视频
全是肉的糙汉文
BMGBMGBMG毛太多乱码
我控制不住我想要你
C的里面太满了
宝宝的水喷得到处都是视频
才几天没C你水就这么多了
快穿之攻略公嗲之粗汉H
草699一码二码三码四码
哥家里没人使点劲C我文
风韵诱人的岳欲仙欲死在线观看
免费打扑克牌的网站
无尽画廊Naruto小南
鲍鱼网站最新网名2021
二人扑克剧烈运动视频软件
可以触碰你的樱花未增删樱花
日本精产国品一二三产品
宝宝下面都湿透了还嘴硬咋
怎么玩隐私位置
瑶遇见神鹿喷白水软件
夏季短袖看见女同学乳突照片
年轻漂亮的女教师2
我的朋友很少第3季
菠萝蜜一二线产区
女孩子是怎么上女孩子的
一二三四韩国免费观看
脱mm内衣小游戏
人间小喷泉H1V3H
次次到肉杆杆到底
一边伸舌头一边快速喘气
老公和兄弟一前一后攻击
好满射太多了装不下了怎么办
校霸被校草在教室做到哭
坐在老师的鸡叭上写作业作文
小霜的高中成长日记下载
你说怎么那么大那么粗
男生晚上睡不着想看B站
あざらしそふと官网
绿巨人推广APP网站入口官网
双胞胎一前一后夹心饼干年下
相亲对象是问题学生未增删免费观看
色翁荡熄500篇
国精产品一二三四线
成品大香煮伊在20
打扑克牌男女剧烈运动原声音频
错一道题就往下面插一支笔怎么办
同吃一家三女齐上阵
YSL千人千色AE86V10
父母和子女互换
吉泽明步种子下载
人间中毒无减删播放
深田えいみ无码作品
娇妻系列交换27部多P小
男人又大又硬又粗图片
把腿抬起来靠墙上就不疼了
两个男生是怎么开车的
怎样教狗狗进入自己
把腿开到最大就不疼了视频
回娘家父亲求我给他一次
3DNAGOONIMATION_HONKAI动漫
性VODAFONEWIFI
做aj的姿势视频教程图片素材
国模私处丨150P
在公交车上被撞出了水消防
车文越详细越好文字
老丈人的东西又弯又长
无人区码和一码的区别
腿张大点我就可以吃到扇贝了图
前面一根后面一根运动
开车视频疼痛有声音下载软件大全
漂亮的小峓子5中字巴巴巴鱼汤
亚洲无人区码一码二码三码的特点
男生和女生一起差差30分钟很痛一百条信息
赤裸羔羊4蜜桃迷色
蜜桃成熟时33d在线观影
虫虫漫画页面在线阅读弹窗
麻豆是传媒官方直接
妈妈的桃花源生命之门
做错了题就让学长C一次视频
坐公交车居然弄了2小时视频
爱的阴暗面 百度影音
可以看张津瑜视频的浏览器夸克
我家狗狗弄了我4个多小时
TOBU在线观看免费直播
腿再张大点就可以看到小扇贝
绿巨人二维码推广
老师的手指在里面转动的写
好涨停下来要坏了
网恋见面做H姜之鱼
美国ZOOm人狗欢迎你
2023男男钙GGY钙站一区
把头埋在茂密的丛林中
ZOOM人牛OKZOOM
女人喊疼男人却越往里寨打扑克
溢出OVERFLOW2未增删带翻译
比赛输了任对方看和玩部位游戏
新龙门客栈2龙门飞甲
每天被C醒是一种怎样的体验
OVERFLOW樱花风车动
迈开腿让我看下你的小
原神当甘雨被空C出液体视频
儿媳妇夸我比他老公大
三个人每人c我半小时怎么办
用嘴巴吃鸡有什么好处和坏处呢
别急晚上英语老师就是你的人
BBOX撕裂BASS孕妇公交车
打扑克剧烈运动的视频不盖被子
燕子717新浪微博
乱码欧美一卡2卡3卡4
波多野结衣电影在线观看cesd819
宝宝才几天没做就湿成这样图片
祺鑫涨精装满肚子用塞子堵住
不知节制地索要
acome玫瑰
我的青梅竹马是消防员动漫未增删
国产乱码无限2021芒果
旅游途中换着玩
王者荣耀公孙离喷了的表情
人马胶配方整个过程视频
UC搜索WWW你会感谢我的
在公交车上被JB草坏了被轮J了
说我的大还是你老公的大
糖心VLOG小桃内射频网站
上一个楼梯就撞一下3
中文在线っと好きだった最新版
BGMBGMBGM老太太毛多
云缨用自己的枪躁自己
跪下拉开拉链含着吸出来
我和公GONG在厨房日本电影
夜里18款禁用B站入口探APP
无人区卡一卡二卡三人伦
疯狂厨房双人模式玩法
儿子要玩一次还要怎么办
人与畜禽共性关系的重要性有哪些
集体轮乱大全小说
啊学长我们换个地方做软件下载
国精产品砖一区二区三区糖心
英语老师的兔子又大又好吃
罗马帝国艳情史图解
善良的妻子3中字巴巴鱼汤饭
小SB就是欠C
PAYPAL未满十八岁怎么开通
JINYU9分10秒
最美情侣高清免费
小洞饿了想吃大香肠有限公司
japonensisJAVAHDTV公交车
无人影院在线播放视频
日本卡一卡二卡3卡三卡乱码
秘密教学子豪26再做一次
甘雨从尿道口挤出白色脓图片
成熟交BGMBGMBGM在线
hotavxxx
够了够了已经满到高C了
鄂州一家三口373页聊天截图PPT
高能多r纯车多人
adc欢迎您的大驾光临
沈倦把林语惊做到哭
朋友把我玩成喷泉了怎么办
楼梯每走一步就用力往上撞
babycat98女rapper免费
拉丁舞跳着跳着做起爱来了
雷电将军被史莱姆注入小视频
tobu18-20
人蛇大战之蛇精3
学长一边撞我一边写作业作文
花季app下载3.0.2黄软件怎么下载
成绩好妈妈就给我一次作文
跷跷板我越下越疼的是什么
家里没人我弟把我给办了
体育老师c了我一节课蘑菇视频
女孩怎样练双指探洞
十九岁潮水RAP欢迎您仙踪林
老狼二区忘忧草大豆行情
别急晚上老师就是你的人了
姬小满去掉布料
成熟交bgmbgmbgm
娘娘微臣和他谁弄得更厉害些?
自罚一天从凌晨1点到晚上8点
一边喘气一边叫疼的扑克
年轻的母亲5整有限中字
吃赵露思的乳液好喝吗
迈开腿让我尝尝你的扇贝故事
50款夜间禁用软件app免费
51DADOU大豆行情网
强被迫伦姧惨叫小说
精品一线二线三线精华液
做你的爱人4未删减版
tobu7tobu8HDAPP
666西方大但人文艺术
把棒棒糖放屁眼视频
zztt黑暗传送门
无人区码卡二卡乱码字幕
春色无边女儿国
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1