有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
岳腿缝之间水汪汪高清
日本精品一线二线三线区别在哪
国产乱码卡二卡三卡4
被C的走不了路
无人区一码二码三码区别
很详细的肉肉床文过程
JAPONENSISFES
宝宝几天没做都湿成这样了作文
天美传媒我的妹妹董小宛
无限挑战130406
课后辅导(教室羞耻PLAY慎入)
动漫人物一起差差差漫画免费观看
PO18脸红心跳官网地址是哪一
茄子视频APP下载安装无限看-丝瓜安卓
妈妈说带套可以给我先说
厚颜无耻韩国动漫
日本精产品一二三产品
野花韩国高清完整版在线观看5
鄂州一家亲聊天截图
杂交BUCSM人类SSBA
女士不遮阴内搭图片大全大图高清
白雪公主STOYA
全高清录播系统直播在线
秘密教学93话恩爱久等了秋蝉
小格式自压原创区
来吧儿子妈妈今天是你的人
当陆沉往你里面放了东西小玩具
亚二新区乱码无人区二
把英语课代表的处破了
宝宝这才几天没做水就这么多
老太太bgmbgmbgm1
女孩迈开腿喂男孩吃草莓膀胱
生物老师上课亲自给我们展示自己
猛地一挺腿再开一点就不疼
中老年人的大BwBwB
日本XMXMXM18小孩
量近2019中文字需大全规须1
麻豆精产国品一二三产区区别
地下偶像sana未增删带歌词
猛地一挺腿再开一点就不疼
男朋友晚上怎么做你的
当头棒喝打一生肖
姑娘日本大全免费观看版中文翻译
小雪又胀又麻又酸又痒
一边做饭一边狂躁怎么回事
从拒绝到接受3q老黑
年轻的母亲2在线线观中文免费观看
房东先生这是第6次付房租了
班主任是班级的公共玩具作文
怎么用棉签玩哭自己
玩滑梯吗越往下越疼那种视频
色达天藏图片砍尸视频
丰满年经的继拇9M
无人区一码二码三码区别图片
中国MACBOOKPRO高清
女的越疼男的会越往里寒
亚洲女rapper最强
小镇姑娘无删减播放
秘密教学60话暗巷免费
草棚canopen国产
日本最大但的人文体艺术
女生越说疼男生就愉快
A处处吻全程拉丝伸舌头
当私生饭是要挨C的
老湿机免费十分钟影院
鱿鱼B2577直接进入的优势
小东西这才2根而已
丁香婷婷五月情天
IGAO网站在线观看
什么样的B型最好进
老公都是怎么上你的
不能说的秘密mp4
王总来我家老公不在
野草高清视频免费
无人区一码二码三码四码多人收藏
ysl水蜜桃86满十八岁
腿再开一点我就可以吃到扇贝了
宝宝我想吃你胸前的大白兔奶糖
甜蜜的惩罚未增删带翻译整集樱花
西门庆日女尼姑视频大全
C到哭不止水好多视频
六人轮换C1个感觉
日产无人区一线二线三线观
王者荣耀公孙离喷了的表情
羞羞漫画入口页面登陆章更新百度
YW.8827.龙物视频永不失联是多少
每集都打扑克的美剧
中国XXXXXL17免费
我的兔子好软水好多H15
小蓝视频GARY2023入口
抓住班主任的两座巨峰
精美日产MV二线三线是什么
夜车动漫在线观看免费观看完整版
喝了酒跟我家的狗狗做了
QVOD在线播放
14岁女孩迈开腿拔萝卜
宿主被GUAN满的日常南行灯
国精产品一二二区视早餐有限公司
有翡在线播放免费观看
男生半夜不睡觉偷偷看B站
xl上司带翻译中樱花
爸叫我替他让妈快乐
麻豆传煤网站APP入口直接进入在线JIAN
日产精品二线三线
健康全裸游泳社
69精产国品一二三产区区别
刘耀文往宋亚轩塞TD
嗯嗯宝宝怎么啦难受吗 疼 好大
麻花传媒在线MV免费观看视频
真实血淋淋处破女流血
双人打扑克剧烈运动视频
大将军h1v2
塞跳D不能掉出来上学作文
女人不怕短粗就怕带钩这个钩是指
宝宝把腿开大点儿就不疼了正常吗
小泽玛利亚电影种子
全国反差婊吃瓜黑料热门网曝
男人忍不住挺进去了
中国ZLJZLJZLJZLJ喷
一二三四在线视频社区3
我在游戏里被各种H
公交车轮C关老师
做你的爱人4未删减版
水怎么这么多啊我好喜欢喝
CHINESE小鲜肉飞机
ssni 409
高清无码成本人视频
妈妈用身体做儿子生日礼物
又大又黑又长的蘑菇头
国外精产品W灬源码1688网站
被一条蛇C到崩溃的
无颜之月带翻译樱花中文翻译
夜晚双人做的扑克视频教程视频
四叶草M码和欧洲码的区别
我在公交车上弄到高C的作文
女儿的朋友3中汉字
WRITEAS棉签
被七个男人绑着玩调教
YSL千人千色T9T9T9最新网站CODE1016
三个人一起C你的
一边说嗯一边喘气的声音怎么形容
宝宝你好会夹在车上
日产日产自线一二三四2021
国精产品蘑菇一区一区有限
一个上面吃一个面吸
迪丽热巴AI人脸替换造梦
镜流口水流白色液体正常吗
输了让同学玩身体全部位置的游戏
精品一线二线三线区精华液
宝宝腿抬起来就不疼了
被子里怎么无声自W
带着小怪兽上班喷了
用你的舌头搅拌着我的舌头歌词
桃汁糜烂NPC
交流1V3多肉软玉娇香
花火のエロドラえもん动漫
日本人是人吗 不是
老太太VPSWINDOWS45
狠狠日日干2017
差差差30分钟无掩盖视频
9分10张津瑜 云盘
能让你流水的故事1000字
放课后の优等生 3熟肉
葡萄不能夹烂了也不能掉出来
两个家庭换女儿玩
无人区码卡二卡3卡4卡变态
年轻的保姆3线观
丰年经的继拇中文3的特色和机能
变态生理研讨会
ZoomkooL牧场视频猪
黑人大荫道BBWBBB高潮潮喷
又疼又叫打扑克视频声音
过来自己趴好选工具小视频
跨坐着腰腹吞没
人马畜禽CORPORATION
男生和女生一起差差很痛APP大全熊猫
重生之祝英台遇到马文才全文免费
疯狂厨房2双人模式
四房播色最新版
夏季短袖看见女同学乳突照片
男子肯亲花园说明什么
EUTOPIA无删减版网盘
把头埋在茂密的丛林中
喷泉1V3HL
重生之祝英台遇到马文才 在线
黑料网-独家猛料-曝光揭秘zztt
体育老师拉着我做了一节课
爱情鸟论坛免费观看大全在线
张铁泉死亡现场
5g在线视讯年龄确认18岁
外国XXXXXL19WASWAS
关晓彤被华晨宇做出了水车
ZHANGJINYU视频观看
新红楼梦艳情版
宝宝乖夹住别流出来了
张警官和吕总视频
牧场videos skool
ているのエロ资源
YELLOW日本官网
秘密教学90话以后绝不再压抑
八重神子被捅到流口水的游戏
秘密教学93话恩爱久等了免费
落地窗PLAYWRITEAS
トイレの花子さんVS屈強退魔師
国产午睡沙发系列大全
数学课代表说不能再扣了
网址在线观看你懂我意思吧
春雨直播免费视频观看
学姐是班级的公共玩具作文
妈妈说只要爸爸不在家就可以
中国老人mandaddyertv
老丁的退休生活
中国高清WINDOWS在线
一亲二膜三叉四强五注射大象图片
小乌酱黑白双丝交足视频
爱情岛论坛首页推荐
皇上撞着太子妃的小说叫什么
二指探洞应该怎么抠
暴躁老阿姨CSGO技巧
公交一晃一晃就进去了怎么办
把筷子放屁眼里不能掉作文
迈开腿让我看看小草莓
stoya白雪公主
妈妈刚开始拒绝后来配合
痞幼视频黑料不打烊
旮旯村的那些闹春事儿
全美超模大赛第17季
整篇都是车的百合推荐
我和黑帮老大的365天完整版
帮妺妺洗澡忍不住C了她作文
一个人被2个人玩会坏掉吗
男孩买来金戒指妈妈慌了
双男主有车车的腐肉动画推荐视频
怎么自W到高C详细教程
日本一姐RAPPER潮水是啥
国内精品自线在拍大学生
前后攻击1v2
白洁一夜挨十炮二十章节
接待一个20厘米长的客人
婷婷开心色四房播播
厨房里两只乳头被吸肿了
羞羞漫画登录页面免费漫画入口页面破解
令人心动的OFFER第四季
我被同学按着做了4个小时
台湾MD豆传媒一区二区
啦啦啦日本电影在线观看高清
WRITEAS管教
不知火舞vs外星人h
交口怎么做图片
讲讲和对象第一次的细节知乎
牧场videos skool
在床上拔萝卜又疼又叫
往下面一颗一颗塞珠子的故事
班里的公交车小诗的高中日记
男生说吃兔兔的过程
女篮坎贝奇惊艳三部曲叫什么
上课夹了一节课的跳d视频
bl动漫幸福花园
离婚姐姐说想做可以找她
爱情岛论坛网亚洲品质
大尺寸的小黄说字多肉办公室
top gear 19季03
错一个题就往阴里装一支笔的小说
仙踪林19岁女RAPPER一百信息
班长把我抱到没人的地方作文
身体秘密感官世界
他低吼一声进入
最近日本MV字幕免费高清
老师的兔子软水好多免费看
男人喜欢水大还是水小的
被开三门恶心死了
顶一下叫一声是什么意思
小泽玛莉亚种子
会员制餐厅完整视频链接
一边做饭一边躁狂我会怎么样呢
芭芭拉ゃんが腿法娴熟を
情侣的一百种插秧法
AI人脸替换白鹿喷水とらぶる
公交车一摇一晃双指探洞视频
儿子好厉害吗妈妈要丢了
WRITEAS军人
WRITE AS 吸蒂器
深入交流1V3
随时随地都能干的学校HR
进来吧晚上英语老师就是你的了
男男车车的车车视频真人
黑料热点事件吃瓜网曝在线
3Q大战详细经过
99无人区码一码二码三码四码L
如何把女朋友弄成小喷泉
头埋在两座山峰之间
深田咏美在线视频无码
一个好妈妈4中字头强华驿
羞羞漫画入口页面登陆章更新百度
老师上课突然把跳D开到最大
女神漫画登录页面免费网站
花季v3.0.2
宝宝坐下来自己慢慢摇视频
男女差差差很痛带声音
怎么自W到高C详细图片
没带罩子让校霸C了一节课小视频
欧洲RAPPER潮水太多
狗狗进到里面变大了
走楼梯每走一步就往上顶一下
夏季短袖看见女同学乳突图
没带罩子让他吃了一天没事吧
chinese帅哥军人solo
当蜜桃成熟时33d
我变成野兽的夜晚4忘不掉的前任
YIN荡公交嗯啊校花蒋舒涵
日本美国中国韩国产
爱的人韩国高清完整版
china外卖小哥gary
三叶草M码和亚洲码区别
手不安分的探进她的礼服小作文
晴雅集 在线观看免费完整版
性孕交大肚子孕妇
金艳花瓶之朱2蛋
怎样用两根棉签玩哭自己
暴躁老姐的csgo心得分享视频
妈妈的味道HD中字免费
什么样的B型最好进好玩
被C到起不来是什么体验
大孔雀和美丽姐的故事
八重神子的乳液狂飙视频
倒插莲花该怎么做
yw193龙物安全
家公吃我三年奶
大胸年轻的保姆6
男男车车好快的车车
啊轻点灬公大JI巴又大又
好湿好紧快点再深一点动图
唐三插曲比比东不亦乐乎
免费日产幕乱码2021
狠痕鲁狠狠爱2021在
从黛玉的身体里退了出来
无限观看视频在线观看免费
18款禁用APP网站进入口
你看你的水喷得到处都是若若
中国人看视频免费
我和公么中字日本电影
加多宝公益战略发布
上楼梯每走一步就撞得更深
用电动牙刷自W到高C作文
日本vtuber在b站的钱
14岁女生迈开腿打扑克牌正常吗
随着马的奔跑而律动皇上
不再是朋友的夜晚2
有没有弄过儿子的吗
性一交一乱一色一视频
一读下面就滴水的说说
pppd-297
草699一码二码三码四码
14MAY18_XXXXXL56ENDIAN60
黄光裕进去的根本原因
ssni409
校园车文越详细越好推荐
国产精华液1区2区区别大吗
一边被学长撞一边写作业作文
VODAFONEWIFI粗暴
一下又一下有力的撞进去
女生戴自动蝴蝶去上班的注意事项
岳两女共夫同床
帅同社区 文学转载
世子很凶插花弄玉
啦啦啦韩国动漫在线观看
英语老师的兔子又大又软又好吃
往下边塞水果后吸出来车
塞跳D不能掉出来上学
和女朋友坐公交车最后一排
软玉娇香多肉1V3
横恋母AMTIGERとらん作品
隔着睡衣吃你的小尖尖作文
日本大但但人文艺术
真是不经弄的小东西视频
一浅二深三大叫啥
沈阳老阿姨最后的巅峰
云缨去内P图图片
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1