有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
交换娇妻在线观看中字
教官脔到她哭H粗话H
被同桌扒开腿用震蛋器折磨
女角色翻白眼流口水流眼泪软件
老婆运动时接听老公电话
韩国演艺圈悲惨37
肚子里全是JY鼓起来了怎么办
写的超细肉汁水文
洗屋先生樱花未增删带翻译英文
倒插莲花是个什么动作
脱色摇床93S
fulao2官方网站进入
showtime!唱歌的大姐姐也想做
日韩精品一卡2卡3卡4卡乱码
欧洲无人区码头IV在哪
一整夜都连在一起没有退出来
国语高清CHEAPWINDOWSVPS - 欢迎您
妈妈从拒绝到迎和合
亚洲一线产区二线产区精华液
宁波蜜桃文化传媒有限公司招聘
麻豆一区产品精品蜜桃的广告语
糖心VLOG产精国品免费老
试过黑人之后再也回不去了
小学六年级差差差很痛带声音
醒来发现狗在上我
男生和老师一起差差差的作文
让人看得留水水的故事
好看的肉质高的有R
父亲缓慢而有力的往里挺送视频
我12岁就做了不干净的事
BGMBGMBGM老妇
一二三区无线乱码2021
开小娟小妍嫩苞
爱情岛论坛永久网址首页
狗狗太大了我有点接受不了
python人马大战
凌晨三点看的片免费
丰满的邻居2在线观看完整免费版
被C了一晚上是什么体验
你的比我老公大太多了
6月6日蚂蚁庄园答案
桂花婶的宝贝可是9曲18弯
原神角色被淦网站
老狼一区忘忧草欢迎您大豆
爸爸的朋友2免费中字翻译西瓜
等不及了在车里就CH
迈开腿让我看下你的小草莓图片
又白又大的两座峰
几天没C你是不是痒了好多水
xl上司带翻译没有马赛克带中文
井川里予33秒黑料正能量视频原视频出处
2014年1月里番合集
羞羞漫画入口页面登陆章更新百度
精产国品一二三产品区别
男人的大鸟有多长图
诱人的小峓子6字巴巴鱼汤饭
洪晓芸夜半思乳时
51无人区码一码二码三码
意大利性禁忌完整版在线播放
原神当甘雨被空C出液体
女神漫画登录页面免费漫画入口页面
儿子把坤坤放入妈妈的坤坤里
怎么把自己扣的全是水喷泉访页
日本精品一线二线三线区别在哪里啊
日本漫画工囗全彩内番漫画
把你玩烂了就放你走
公交车被蹭的流水了怎么办
3DNAGOONIMATION_HONKAI
十九岁日本韩国免费完整版中文
麻花豆传媒剧国产MV免费GK
丰年经的继拇中文3的特色和机能
最近中文字幕2019国语4
大尺寸的小黄说说推荐
学长迈开腿尝尝你的草莓mv
妈妈的朋友12完整视频有翻译
乐可车图片( 长图)
MD豆传媒一二三四区入口
ぱらだいす天堂中文WWW最新版
吃男人大鸟硬起来图
WRITEAS椅子
相对湿度po阿司匹林催熟
美国电影无法满足1980
课代表趴下让我桶30分钟软件
精产国品一二三区别
女生迈开腿让男生吃草莓
12岁学生迈开腿让打扑克
蜜芽永不失联2023
无人在线观看免费高清动漫
新版金银瓶1一51956
麻花豆传媒剧国产MV的特点
我和黑帮老大的365天完整版
女生和男生一起相差差差
WRITEAS棉签朝俞
男朋友一直亲我的小兔子
xiaav论坛因你精彩
W无区码一码二码三码
从校服到婚纱1H柠檬
梦莹情乱第十一篇1章
桃花洞口开香蕊落莓苔的意思
BT天堂网在线WWW最新版官网
《夜关门:欲望之花》
人与畜禽CORPORATION的合作
宝宝家里没人叫大点声
MAY18_XXXXXL56ENDI
疯狂伦交2完整版
蜜桃成熟33d完整版
人与畜禽共性的视频
evelyn lin 迅雷
把老师按在地下做了一节课作文
中国VPSWINDOWS野外农民工
儿子一晚上要我三回怎么办
男朋友说该插秧了
为什么一加速女生就会哭
3d 无尽 动漫 可爱 得到
WRITEAS怀孕涨奶
PRUBURB官方网站入口链接
姐姐的朋友中线字
哪个网站可以看泰囧
国产乱码卡一卡二卡三新区
用嘴巴吃鸡会有什么好处吗
接待了一个30厘米长的客人
粉嫩RAPPERDISSSUBS欢迎您
身体送给儿子当礼物
3DNAGOONIMATION_HONKAI动漫
GRAHAMCOXON女儿
小东西他想你了给他好不好
斗转星移刘亦菲
怎么自W到高C详细教程
被吃兔兔的感觉
被体育老师c了我一节课作文
无颜之月1-5下载
美女100%露出胸
跳d放在里面逛超市的
亏亏的视频带疼痛声的免安装
文笔好有肉的糙汉文
AI人脸替换白鹿造梦喷水
波多野结衣加嘞比在线观看
俄罗斯severodvinsk
三个人玩我一个人
男生摸和咬小兔兔
老师拉我去办公室做了一节课文
国内CHEAPWINDOWSVPS
WRITE AS 塞水果
快四十了水还是特别多
差差差很疼的30分钟无掩盖视频
may18_XXXXXL56endian
天天啪夜夜干2007
吉泽明部 种子
动物胶配方视频高清大全
一边喘气一边叫做摸小兔兔作
甘雨去内布料开襟XMAN
海角HJ9DB5免费进入
撞击的速度越来越快公交车
肚子装不下好烫hn黄
草莓视频app下载安装免费无限看-丝瓜ios
男子可为之事女子未必不可为
早上起床发现他的还在里面
最近2019免费中文字幕视频三
父子tck完整版
新龙门客栈2龙门飞甲
THEWHITEBOX精选黑与白
老卫干淑荣死去活来
嘿嘿漫免费漫画入口页面弹窗秋蝉
为什么都是B感觉不一样
父亲缓慢有力挺送女儿的话30字
边做边爱完整版3在线
hennessy女rapper
为什么狗狗放进我里面就变大
森林里的熊先生正在冬眠无打码
女的越疼男的会越往里寒
开襟旗袍做运动狂飙乳液
被男友咬小兔兔的感觉知乎
彩虹男GARY2023入口
十大黄台不收费直播
一边做饭一边躁狂怎么办呢视频
AI人脸替换白鹿造梦喷水WWW
开襟旗袍做运动狂飙乳液
xk8071星空传媒
爸爸比老公大两倍妈妈该怎么教育
夜倾情之保姆的诱惑
孩子想x我同意了
女教师的特殊按摩2
朋友的母亲6有限中字
校霸做错一题学霸就插一支笔
GOGOGO大但艺术风格分析
在C点用力把腿抬离地面时
不伦纯爱百度影音
一支笔c哭自己从自w到高c漫画
艳娒1一6全集在线高清
红豆视频免费资源观看
无人在线观看免费高清动漫
前夫6天要了我25次
打扑克的剧烈运动没有马赛克
类似安娜情史的电影
欧洲最强RAPPER潮水孕
糖心LOGO在线观看免费EYE
日产乱码一二三四2021在线
苏家有女1v5黄心火龙果
昨晚太想要了就和我家泰迪
鲍鱼网站最新网名2021
soshow影城
c到哭不止高黄
洗澡三十分钟被公强玩
人与畜禽corporation怎么读
老卫和淑容全本
沈浪与苏若雪最新
大佬的365天无删除中文翻译2000
一边说嗯一边喘气是什么
女生可以自己双指探洞吗
欧洲女RAPPERDISS大
姨母的诱惑电影
圣ヤリマン学园援交日记
出嫁前让父亲体验了一次
好妈妈9中汉字
成品网站源码1288隐藏通道
BBOX撕裂BASS孕妇公交车
秘密入口3秒自动转接连接
王多鱼被C视频
成全视频在线观看时间
御宝天师无弹窗
我哥把我拉到一个没人的地方
2023最大间谍案
强伦姧人妻三上悠亚中文字幕
写的超细的开车片段推荐
sdde 318
sky-258
你好大你慢一点我疼国产片
便利店的少女z未增删带翻译樱花
大尺寸的小黄说说推荐
S货是不是想挨C叫大声点
中国VODAFONEWIFI粗暴最新版
八重神子的神罚
国精产品W灬源码1688在
从厨房到客厅一直C
婷婷四月开心色房播播
维多利亚壹号未删减
写的比较细的开车片段贴吧
你进来了吗我要开始叫了表情包
段嘉许把桑稚做哭场面
老公总是吃我的奶奶
acome玫瑰
小东西几天没做喷了这么多
美女护士献身取精
中国老太RAPPER
大号注射器放屁眼里灌注牛奶
BT天堂最新版地址
疯狂厨房双人模式玩法
男生为什么越到最后越快
狗的东西比男朋友还大怎么办
污到你那里滴水不止的文章1000字
打扑克视频发出声音
吃女朋友的扇贝细节
隔壁机长大叔是饿狼 黑暗森林
电车之狼r详细攻略
SLG像素风黄油纸巾盒大全
939W乳液78W78
自W到高C的教程夹枕头
宝宝你好会夹啊都拉丝了什么意思
妈妈说家里没人我们可以做
老公总是吃我的奶奶说明什么问题
白嫩的白嫩的BBBBBB
公交车上C了两个小学生
2023国精产品一二二线眀星
花火のエロドラえもん动漫
免费网站你知道我的意思的
仙踪林2021
小货SAO边洗澡边CAO你动漫
wuyuetiansese
女人迈开腿让男生吃草莓
WWW无人区一码二码三码区别
日韩一卡2卡3卡4卡新区免费
邻家有女韩国4
附近人100元一次去她家
拔萝卜打牌不盖被子
色即是空1高清
冰块加棉签怎么塞
老公叫我和别人换着玩怎么办
三千美男爱上我
一边做饭一边躁狂怎么办呢
塞跳d开最大挡上课不能掉
2021国产区精华品
老阿姨是最有味的
茶杯狐CUPFOX官方网站
妈妈的朋友5在观有限中字
老师说今天晚上随我怎么弄
吻胸摸腿办公视频大全
缘之空第几集开的车几分几秒
别急妈今晚就是你的
最近日本字幕MV高清在线电影
宝宝把腿抬起来靠墙上C
男男车车的车车网站入口
妈妈的朋友2中字巴巴鱼汤饭
迈开腿让学长尝尝你的草莓是
野花日本大全免费观看3中文
行吧有你春暖花开cc
infinite stratos2
欧洲一卡2卡三卡4卡毛1
成都4片p视频
c到哭不止高黄
公主车上荫蒂添的好舒服
51吃瓜.world张津瑜
ipz046为什么被称为神作
引导儿子上自己的办法
无忧传媒短视频运营
宝宝腿趴开一点就不会疼的原因
整集都做的美剧
AI人脸替换白鹿喷水とらぶる
孩子玩着玩着就C进去了怎么回事
女生越疼男生越往里寨的
13一14处出血PPT
怎么用一根棉签弄自己
AAA国产大陸片
穿越到随处做X的游戏世界
暴躁少女CSGO图片
日本无人区1码2码区别
清平乐免费观看全集高清
旅游途中换着玩
YP193.COC永不失联免费
镜子里看我怎么进入你视频
一下又一下有力的撞公主视频
成品禁用视频APP短视频
一面上边一面膜下边的免费
BBOX撕裂入门头交
多毛bgmbgmbgm胖觉觉
双男主有车车的腐肉尿了
群飞杨幂刘亦菲唐嫣赵丽颖
蜜中蜜3动漫无修在线观看
主人我错了请把它关掉角色介绍
给你下水好多下水道
宋慧乔爆肛门是怎么回事
在床上拔萝卜又疼又叫什么病症
麻花视频3.2.2
英语班长要看我的小积积
国产乱码一卡二卡3卡4卡网站
野花高清在线观看免费全集7
女生为什么喜欢吃男生的小鸟
在体内横冲直撞就是不出来
欧洲精品不卡1卡2卡三卡
哪个浏览器可以看黑料不打烊
云缨巡街网站入口 漫画
情侣之间棉签是用来干嘛的
孩子想上我该怎么办
花木兰被全队队友日
白莲花的贵妇生活
小SB是不是又想要了H
YSL千人千色T9T9T9最新网站CODE1016
小区老王的春天
养敌为患漫画免费全集下拉式
儿子一晚上要了我五回怎么办呀
一个人看的免费播放完整版
亚洲尺码跟欧洲尺码的区别
放课后的职员室无删减
宝宝腿抬起来就不疼了
做暧暧视频大全1000部
妈妈的朋友4在完整视频带翻译4
一O多A多肉多车
美丽姑娘韩国在线观看免费
黄台免费软件OPPO
看见你的棒棒就想吃是什么歌
JAKEANDRICH.手冲
腿再分大点就可以吃到了
聂小雨视频3分25是什么内容
国产一卡2卡3卡4卡公司
九一亚洲精品饰品有限公司
WRITE AS 尿道口
金花瓶梅花6金花瓶
张柏芝艳门照图片
亚精区在二线三线区别99
14MAY18_XXXXXL56ENDIAN日本
言教授要撞坏了第二季笔趣阁
亚洲VS欧洲VS美洲人口对比
晚上爷爷总是压在妈妈肚子上睡觉
YKC499蜜糖豆
五十款夜间禁用APP粉色视频
男生女生一起差差打扑克
污到你那里滴水不止的说说
学霸坐在学渣的棒棒上写作业
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1