有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
离婚后满足了父亲的要求
6人轮换害羞了
精产国内经彩一二三产品区别在哪
正确的进入的图片
农家俏寡妇电影在线观看免费
蜜桃麻豆天美星空传媒
WRITEAS开会
我把英语课代表按在桌子上抄
女生迈开腿让男生打扑克
棒棒糖放屁眼里吸收的视频
老师在里面放两个跳D作文
乖我们试试在这里
涩涩屋草莓榴莲绿巨人秋葵
好满射太多了装不下了怎么办
182tv观免费现看
如何用一支笔玩哭自己
亚洲一二三无人区分别是哪
女生往下边塞冰棒是一种什么体验
魅力研习社 安全套
仙女棒坐着使用的仙女棒视频
在县城开零食店春节能卖200万
看了会滴水的段子漫画
14MAY18XXXXXL日
对象一直掐我的奶奶小故事
WINDOWSCHANNEL孕妇
巧干朋友娇妻小怡
冰冷总裁带玉势上班
AI人脸替换白鹿造梦喷水
妈咪湿透的三角裤
精产一二三产区区别在哪儿啊
春暖花开吧有你cc
想吃你身上两个黑葡萄
2023钙GGY钙站男男
汤加丽生殖大图147网站
一个在上面吃一个在下面做那个
美丽的小峓子4中字巴巴鱼汤饭W
OV我最喜欢的母亲的第一个转变
国精产品自线在
xrk1_3_0ark入口
腿再张大点就可以吃到扇贝了视频
51精产一二三产区区别
女生为什么迈开腿给男生看
厨房里的激战2
你们给老公含吗
同桌放学带我去没人的地方作文
51DADOU大豆行情网
某处紧密的结合在一起的意思
麻花豆传媒剧国产MV天美
禁欲电影观看完整版
25岁女高中生的相亲对象是问题
男生讲讲自己第一次细节真实
睡过年纪最大的多少岁六十多
强宠 失宠皇后
帅气体育生GARY网站小蓝
大菠萝18福建导航
哈尔滨70岁丰满老熟女
怎样把自己C到哭
早上醒来他的东西还在里面
老师上课把跳D突然开到最大
公园里的老年镖客视频人生
激荡的瑜伽室2
小东西几天没做怎么这么多水作文
47147大但人文艺术怎么样
朋友换娶妻当面
徐文荣接受审查调查
大肥波BBWWHBBWW
群飞刘亦菲杨颖杨幂唐嫣刘诗诗
一边喘气一边叫做摸小兔兔推荐
体育课没带罩子被捏了一节课作文
人间小喷泉1V3HL笔趣免费看
无翼之漫画漫画焰灵姬
免费观看桶机十分钟
WRITE AS 教授
果冻传媒保姆何苗蜜桃传媒
XL上司樱花未增删翻译中文翻译
教练在车里撞了我三次怎么办
用红酒瓶塞堵住不能流下来
我的好妈妈8日本电影免费观看
体育老师拉着我做了一节课作文
男男车车好快的车车网站
儿子的坤坤塞进妈妈的坤坤
天美麻花豆产区
mum-147
大菠萝福建官方导航引导入口
想品尝小姑子的味道
春纪我们约会吧
美国ZOOm人狗欢迎你
韩国妈妈的朋友6观整有限中字
快好喷水视频连续登上热搜
如何把自己玩到喷泉视频
BGMBGMBGM老太太70
老师洗澡让我吃她胸的视频
小东西看我敢不敢c你
体育老师拉着我做了一节课作文
四根一起会坏掉的厉害的视频
歪歪漫画漫画首页入
扯掉两只小兔子跳出来了动图
男朋友压着我说想进去
求你别在阳台有人看见
数学课代表的B真紧
老中医吮她的花蒂和奶水视频播放
0ADC大驾光临未满十八岁5G
乳液狂飙开襟网站MIMEI
晚上开车又疼又叫的小作文
给我中国免费播放片在线
女人迈开腿让男人吃草莓
两根一起进去疼拔出来就不疼
无人区乱码1区2区3区
为什么狗狗进入后变大视频
男生和女生 打扑克
上自己妈妈是什么体验
最近中文字幕免费国语6
果冻传媒精东影业天美
bbox撕裂bass后门
缘之空百度影音
ultimatespecialfx
快递员让我爽了一下午
善良的妈妈5中字巴巴鱼汤饭
24小时韩国日本高清免费观看
高冷男总裁憋尿被揉下面
疯了一样要了她三天
世界X交大比赛女冠军
做AJ的姿势视频教程图片
车速快多肉的百合
宝宝你的水都拉丝了
想品尝小姑子的味道
张柏芝艳原图全集
刺客伍六七第二季观看
精东传媒VS天美传媒电影
非洲ZOOM人与ZOOM
又大又长又租高湖免费
公交车上破了两个小学生
早上起来发现还连在一起
acg里番资源站全彩
家里什么东西可以代替小玩具
麻花豆传媒剧国产MV免费GK
40岁阿姨荒野大镖客一
写的超细肉汁水文
妈妈的朋友在完整有限公司中字2
张莜雨人体艺术图片
核子基因创始人张核子弟弟发声
任你干在线精品视频网2
无尽 触手 夹 3D 粗暴H 夹
宝贝感受到它在爱你吗
gtv全球最好g平台推广链接最新
男孩子淦哭男孩子视频免费
按着我的头给他吃
人曾乱码一二三四
迈开腿吃尝尝你的小草莓感觉
公交车6人轮换c
我们4个人旅游交换着一个人
好看的三圾片名字
brt快速公交
狗狗的东西好大图片
一O多A多肉多车
在床上拔萝卜又疼又叫什么病
厨房里的激战2PH
渣男和渣女做不干净的事情视频
穿裙子就是好c
免费打扑克牌的网站
一读下面就滴水的说说
白天躁晚上躁天天躁的治疗方法
儿子暗示我想上我
WRITE AS腿交
18岁末年禁止网站
18学士2大将军
都生了宝宝了还那么紧
caopor男频超碰
三叶草M码和亚洲码区别
扑克牌又痛又叫软件免费下载安装
萝li精品资源无码
暖暖高清视频免费
宝贝坐起来自己摇
打开腿吃你的扇贝吃胸
在后车座上的疯狂做I
茄子视频无限看-丝瓜IOS苏州晶体公司红
三公主baby girl
ati mobility radeon
父母和子女互换
双指探洞感觉要飞了
亚洲一卡2卡三卡
IPHONE欧美高级特色
中文字幕看成电影乱码
国模私处丨150P
中文在线3月23日快速反弹
原炀WRITE AS震动器
春暖 花开cc炎狼
让我尿你在里边好不好h
大山里疯狂伦交
王熙凤贾宝玉轿中大战
做完以后放在里面睡觉的效果
用注射器打水放屁眼里的视频网站
英国的巨人DannyD
暗夜疯狂1V2
深田えいみ禁欲后被隔壁人妻
凹凸女BBWBBWBBWBBW
雷电将军入夜狂飙图片高清壁纸
欧美黑人猛性暴交
放里面不动是种什么样的感受
双人床上做的运动打扑克视频软件
玖玖资源站最稳定365
老师两个大兔子抖来抖去视频
解放的潘多拉qvod
婚后与父母的交换
2021年19岁RAPPER潮水
37大胆欧体人文艺术的价值
4HU四虎永久在线观看
天美果冻蜜桃精东传媒
无耻家庭凯伦和老爹的导演是谁
王者荣耀小乔喷了的表情
美国ZOOMCLOUDMEETINGS
第七十九章厨房里的愉焕
GOGOGO大但人文艺术大
一前一后三个人轮换的英文怎么写
声声入魂hifi女声cd
2023钙Gy钙站
英语老师的大白兔子又大又好吃
男生女生一起差差很痛的app下载安装20
natr-241
rh男男车车的车车视频
漂亮秘书的滋味2中文
太凶猛了快撞烂了
ipz-140
欧美致敬很多经典的黑白mv
我和公么中字日本电影
在裙子里做运动
我的年轻继坶7中字
美国14MAY18_XXXXXL56ENDIAN
yasee最新2021
顶一下叫一声是什么意思
三个rapper玩一个女的
女人被老外躁得好爽
错一题学长就在下面插一支笔作文
宝宝我不进去就蹭一会视频
亚1州区2区3区4区产品
蓝男色蓝摄GAY裸男CHINA
atlanticocean巨大
最近2018年中文字幕免费图片
51无人区码一码二码
被机器人C的停不下来
暖暖直播视频免费高清完整版
宿主每日被guan满日常临安
广东东莞技校门
精华液一区二区区别
亚洲乱码一卡2卡3卡
国精一二三区别免费
女生说拔萝卜是什么意思
父母儿女媳妇一起来玩的说说句子
国精产品WNW
国精一二二产品无人区
爱情岛论坛免费线路一在线路3
yy6080高清影院理论
538prom精品视频在线播放
怎么能把女的c得服服帖帖
野花免费观看高清视频6
最大BBWBBW
人与畜禽CORPORATION
妈妈的朋友2 女主角
对象都是怎么顶的
再把腿X开一点就可以吃
成品禁用视频APP短视频
136大但人文艺术
日本一卡二卡3卡四卡免费
QVOD在线播放
元歌和西施拔萝卜拔出血拼音
花季传媒每天免费看三部
情侣打扑克做运动
巧干朋友娇妻小怡
伽罗ちゃんが腿法角色解析
一家三口换着玩
BGMBGMBGM老太太交70
psp变形金刚2
吧女未成年 电影
父之过家庭大杂乱经典说说大全
小草在线观看免费视频播放
数学课代表哭着说太深了
张津瑜的9分58秒7段哪里可以看
JEALOUSVUE成熟50MAO
中国XXXXXL17免费
爸爸缓慢有力送女儿的句子
迈开腿男人往里怼女人的做法
久久大香伊蕉在人线免费
4438x最大人情
没带罩子让他吃了一天的药怎么办
4399影院在线观看免费视频BD
日本一线产区和韩国二线产区区别
上课跳D突然开到最大
8008幸福宝官网隐藏统计
天天射干2019快速 localhost
老师你的兔子好软水好多作文
班主任哭着喊着不能再继续
性VODAFONEWIFI另类
洛克人zero5
伽罗太华翻白眼流口水流眼泪
护士张开腿被奷日出白浆
往下边塞玉器见客人啥意思
baiduyingyin
洪晓芸夜半思乳时
坐在父亲紫色大龙上写作业
会夹是一种怎样的体验知乎
日本人属于人类范畴吗
新铁血战士qvod
小泽玛丽娅电影
宝贝腿打开一点我进不去
抖音奶片故意走漏15秒
免费看美女裸露无档网站
家里没人儿子就弄我了怎么办
宝贝这才几天没做
健康全裸游泳社
在英语课上用j插英语课代表作文
公交车多人运动黄
数学课代表趴下让我桶RH网站
出嫁前让父亲体验了一次
最强RAPPER潮水偷轨
做AJ的姿势视频教程图片
坐下来自己慢慢摇的感受视频
雷电ゃんが腿法娴熟を网站
babycat98女rapper免费
玖玖资源3658稳定更新
BEB-079
被深顶得说不出话
国产免费毛不卡片
伪装学渣电动猫尾巴PLAY
公交车上破了两个小学生
撩到女生下面流句子
原神妮露掀起奶盖黄XMAN
江疏影2分28秒哪里有
爸爸缓慢有力送女儿的句子
蜜桃文化传媒有限公司
宝宝我顶到你的点了吗
亚1州区2区3区域4
日本理论片和搜子同居的日子
RUN AWAY韩国动漫免费阅读完整版
妈妈的朋友4在观整有限中字
小学生如何自己安慰自己新手
老师答错一题少一件衣服
雷电将军掀开衣服看副乳
男朋友用筋膜枪把我玩哭小说
家里没人儿子就弄我了什么意思
腿再张开一点就能吃扇贝了
成品禁用视频APP短视频
荔枝app在线汅api在免费
APPSTORE美区免费
51无人区码一二三四区别图片
八重神子被焯出白水怎么办
善良的小峓子3韩剧字巴巴鱼汤饭
一二三产区的文化背景
向涟苍生士献上纯洁
沉香一线产区和二线产区的区别
TOM永久转入接口
电车 之狼攻略
精品日产一卡2卡三卡4卡在线
破坏中巴友谊罪
他把我批日出水了
sis001第一会所
bgmbgmbgm毛多多
1819处china
男生和老师一起差差差的作文
亚洲砖码砖专无区2023
给我播放个免费的片
萝li精品资源无码
打扑克直播下载
污污的文章 看了会出水
扒开粉嫩小泬直接进去
抽的越快声音叫的越大
爱情岛永久免费线路二视频
儿子暗示我想上我
两个人一前一后攻击叙述
中国vpswindows野外高清资源
用......用点力快到了
含着睡觉是一种怎样的体验
星空无限传媒国产剧情
做饭的时候老公也要
游戏输了让同学玩全部位置
40部AI明星造梦赵丽颖
回娘家父亲求我给他一次
旅行者把甘雨咬出乳液
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1