有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
英语老师的大白兔子又大又好吃
仙踪林大豆行情网老狼
黑料不打烊TTTZZZ首页
最美情侣高清免费观看视频
8X8X华人拔插华人免费
好硬好湿好大再深一点动态图
娘王virgin
12岁PG可以塞下多少根棉签
潘甜甜手机的秘密
老湿机免费十分钟影院t
男爵夫人的调教
京东天美麻豆果冻传媒
清明小长假来了蚂蚁庄园
太久永久回家地址TAI9.VIP 保存永不迷路
妈妈的朋友5季
精品无人区一线二线三线区别
班长是全班的玩具
TOBU7TOBU8老师
桥矿欧美片第1集
BGMBGMBGM老太太交视频
日漫动漫人物将机机插曲漫画软件
年轻的阿姨1在观整有限中字
欧美巨大巨粗黑人性AAAAAA
美国人与畜禽CROPROATION
动漫人物将机机插曲漫画网站
公孙离去所有衣服床上
天海里红和橘和希
好满射太多了装不下了真人
日本动态120秒免费
国色天香精品卡2卡3卡4
体育馆地板上c渺渺
中国XXXXXL17仙踪林
张津瑜吕知樾视频外网
边做边爱完整版3
污污免费看锕锕锕锕锕锕三小
狗狗的速度又快又烫
一亲二膜三叉四强五注射老区
家长会上爸爸们灌满幼儿园老师
xiaav论坛因你精彩
电动牙刷自w高c特别快
硕大粗长撑裂了 小龙女
带着跳D上课的感受
狗的速度很快又大又烫
小时候发现妈妈和外公在一起
搡BBB搡BBBB搡BBBB
总裁求你饶了我
WINDOWSCHANNEL孕妇
laojiumen
三个人把我弄得走不动路怎么办呢
八重神子焯出白水怎么办
双人床上做剧烈运动可以吗
清平乐免费观看全集高清
ぱらだいす天堂中文WWW最新版
奶糖与烈酒BY封远廷
男生女生一起差差差的app下载大全熊猫
3根一起会坏掉的好痛
老师你的兔子好软水好多作文
冬至糙汉h1vl
美国macbookpro日本
abp-171
护士张开腿被奷日出白浆
两个大兔子抖来抖去的图片
好妈妈快点想死我了
够了够了已经满了c了
爸刚走爷爷就来抱妈妈怎么办
欧洲精品不卡1卡2卡三卡
田朴珺魔鬼天使
妹妹中考让我C了一节课
青梅竹马是消防员第一季未增删
家庭教师hitmanreborn
ZoomDog2021猪视频
宝贝是不是欠C很久了视频
品色堂永远免费的论坛
凌晨三点看的片韩国
美国ZOOM人狗APP一欢迎你
女性被深耕后的表现
YSL千人千色T9T9T9最新
国模李莉私拍超大尺度
对象都是怎么C你的过程
家里没人半夜就和姐姐睡了
吧唧吧唧吧唧一口一口吃掉了
不遮阴的小内搭
narto henta
ゴブリンのどうくつ洞窟sana
为什么要手先进去扣
快好喷水视频连续登上热搜
国产免费毛不卡片
14表妺毛还没长齐
天天啪夜夜干2007
老狼信息网仙踪林-八零婚纱摄影工作室
索多玛的一百二十天
蜜桃123图片
超能太监2之黄金右手
桶三十分钟全教程
迈开腿尝尝你的草莓是什么意思
贾宝玉在轿中干王熙凤
缘之空哪几集开过车具体
XAX MANTA 中国
星空传媒剧国产剧情744
Zoom与人马性Zoom的区别
疯狂厨房2双人模式
md传媒免费观看在线
性一交一乱一伦一色一情孩交
我是狱长的专属的宠物13集
你终于长大了可以做了
日本阿v在线观看不卡变态
花木兰被全队队友日
限制18一卡二卡三卡四卡
无乱码区1卡2卡三卡网站
国产9麻豆剧果冻传媒
国产午夜精品AV一区二区麻豆
hdool高清在线
马总喜欢我的两颗小葡萄
离婚回娘家满足爸
从拒绝到接受3q老黑
无遮挡羞18禁黄动漫网站
迈开腿给我尝尝你的森林味道
GGY钙2023入口
国产乱码无限2021芒果
天美传媒国产电视推荐
看后必湿的污段子视频
麻花豆传媒剧在线MV免费版特色
人皇skyvs兽王grubby
俄罗斯美女艺术
黄系纯色软件下载入口
无翼乌老师漫画漫画全集
中文字幕无线码
一码二码三码四码五码的区别
あの女の子は歌がうまいうえ
W乳液939永久W78
新铁血战士qvod
免费日产幕乱码2021
乐可车图高速图片
天美传媒作品集
中文字幕在线看成电影乱码
用电动牙刷自W到高C
小东西几天没做喷得到处都是
回娘家给了父亲1一4
免费120秒体验试看5次
王多鱼和博雅被C
后营露营无增减3季
日本一本到道免费
妈妈的朋友5观完整有限中字木瓜
2D甄姬和两个小孩BBS
8008幸福宝官网隐藏入口教育
被自己家的狗上瘾了怎么办
如何用一支笔玩哭自己
Zoom与人马性Zoom的区别
啊班长C了我一节课
引导儿子上自己的办法
坐在公车最后一排被强
他顶撞的速度越来越快
淑芬大腿中间又痒了L
小洞饿了想吃大香肠喝热牛奶是
第一次处破女18分钟高潮流水
404黄台软件进入网站
附近人100元一次服务
adc影库确认年龄18点此进入
草莓丝瓜深夜释放自己的歌词
A处处吻全程拉丝伸舌头
做我的爱人3在线观看
JEALOUSVUE孕妇熟50MAOF
CF孙尚香正能量图片
两个人一前一后地动着我要
你看你的水喷的到处都是若若
163女性黄页
女人迈开腿让男人吃草莓
希儿的乳液狂飙天堂W98
野花 高清 中文 免费 日本
帝台娇宠鸾帐欢公主端木摇
喜爱夜蒲1高清
写作业的时候和男朋友弄
刮伦后心理咨询
晚上听到婆婆叫使点劲用力
ed2k 超市
墨燃把楚晚宁按着c
儿子今天晚上只让你
在车上被硬硬的东西顶着
错一题学长就在下面插一支笔作文
女生让男生随便诵自己的名字诵
磨豆浆拔萝卜视频教程
抖音小姐姐脱身全衣服
彩虹男GARY网站
最近直播比较火的黄台免费
男朋友为什么老是吸我的兔子
刮伦合集500
1区1区3区4区产品乱码仙踪林
三个人每人C我半小时
2014年1月里番合集
老师你的好软水好多的短视频
几天没C你是不是痒了好多水
亚洲无人区码一二三码区别图片
张铁泉死亡现场
四个人一起旅游时做了
14147最大但人文艺术
言教授要撞坏了!
动漫美女的禁处
亏亏插曲叫疼的免费的视频
隔着睡衣吃你的小尖尖作文
宝贝我想你用嘴做
缘之空第几集什么时候开的车
抽搐一进一出gif无遮挡
国精产品一区一区三区有限公司
做的时候粘腻的水声
帮mm脱内衣小游戏
不小心进了岳坶的身体
无人区码二码三码四码区别
tokyo hot n0640
剧烈摇床运动免费观看
天美蜜桃传播媒体有限公司
两只小兔子被吸得红肿
农场主三姐妹美国1976
边走边c1vn骨科古言
金瓶玉2之性奴
打开这个网站你会感谢我的
大菠萝福建网站引导入口404
镜子里看我怎么进入你
JEALOUSVUE成熟五十
脱色摇床93S
女子日系裸妆视频
久久一区二区三区精华液使用方法
抑制剂的副作用by栖鹤
妈妈用身体做儿子生日礼物
没带罩子让C了一节课时
仙踪林 老狼信息
麻豆madou传媒
甘雨大战史莱姆链接入口官网
边做边爱3完整版
147女人的阴性部图片
与畜禽狗CROPROATION
坐在叔叔的硬硬的上面写作业文章
老赵抱着月月在厨房做欧美视频
亲爱的老师4中字BD
被子里怎么无声自W
老板那里是XL樱花动漫
老师抱着我在教室做
春暖花开行吧有你cc
云缨救公孙离把自己搭进去
英语课代表上面好软在线视频
2019朝国免费理论
被子里怎么体罚自己下面
B痒了多久没C了
精产一二三产区别在哪里
老外和中国女人毛片免费视频
2015年2月里番
WRITE AS 自己分开
一线产区二线生产区的区别
乱辈通奷XXXXXHD电话系
污网站wallpaper共享人可以看到订阅吗
看着我是怎么吃你的水蜜桃
51精产国品一二三产区
浓毛BGMBGMBGM
25岁的女高中生未增删翻译中文翻译英语
精产国品一二三区别www
小SAO货边洗澡边CAO你动漫
宅男频道最新上架
宝贝儿 我想听你叫的声音
一旦试了黑人后你就不想回头
三年片大全在线观看免费观看大全
才两根手指就抖成这样了视频
中文字字幕乱码播放
老公叫我和别人换着玩可以吗
品色堂 永久免费论坛
品色 永远的免费
同时和两老师双飞
14发刚发育就被破了处
榴社区新址2018一
歪歪漫画登录页面免费漫画网页在线阅读
陪读和孩子发了关系心理咨询
无人区乱码一二三四是什么
武大内野CAMPBUDDY
小洞饿了想吃大香肠什么意思
汤姆叔叔最新地域网名2021
Naruto Hennatai
男男车车好快的车车有点污的网站
一朵莲花三个莲蓬
和女婿发生了不应该发生的事
他以前是这样弄你的吗
深度按摩BY鸦鸦吃肉不吃是素笔
你们一个一个来我好痛
王者荣耀黄化网站入口
桃花韩国动漫免费官网
缓慢而有力的往里挺送的文案
hotavxxx
八重神子的乳液狂飙游戏
让你尝尝我的尺寸
年轻夫妇韩剧中文版免费观看
迈开腿让尝尝你的森林视频叫什么
趣事百科宅福利鲁一鲁李丽莎
办公室跪下拉开拉链吃应用的优点
日本是人类吗最佳答案
我离婚后经常和父亲做
他抬高她的腰撞到最深处王爷
被套上自动挤奶器性能怎么样
爱如潮水免费观看日本
爱萝莉真是太好了
xiaav最新
不知火舞和三个小孩
老师的兔子好软水好多免费
坐在教授的棒棒上写作业
把腰抬起来一点我不好发动
我们在阳台来一次好不好
麻豆国内剧果冻传媒网站
14岁学生迈开腿让打扑克网站
女生把筷子放屁眼里不能掉视频
老师上课把跳D突然被开到最大
老湿机影院试看十分钟
忘忧草WYC.APK7.3进入
WRITEAS花式PLAY
日本ZLJZLJZLJZLJ喷
对准了自己动不然不给你下一句
坐着吃饭还连在一起
原神甘雨安慰部下C插画在哪
无人视频免费观看免费直播
WRITEAS 野外
趴着一前一后三个人
王者荣耀女英雄脸上全是白色液体
品色永久免费论坛
无忧传媒短视频
alb-219
用嘴巴吃鸡会有什么好处吗
雍正睡了自己的女儿是哪一集
我要拥有你的全部下滑
麻豆传煤网站APP入口直接进入在线JIAN
宝贝流了怎么多还说不要
幸福宝软件导航
早上醒来巨大还在里面
雷电将军被史莱姆注入小视频
妈妈的朋友在完整有限公司中字2
爱与欲望之学园
ysl水蜜桃色推荐17
隔壁机长大叔是饿狼
妈妈说戴了才可以
俄罗斯牧场VIDEOSK9
国产精品卡1卡2卡三卡四
2022GGY钙小蓝的功能特点
after之后1
啦啦啦德玛西亚6
倒插莲花是什么意思
BGMBGMBGM胖老太太俄罗斯
妈妈酒后误为我是爸爸
男女在一起翻雨覆雨的描写
他舌头一路向下探索找到花朵
王者荣耀英雄打扑克软件
刘老汉翁熄系列新婚
三圾电影在线观看
年轻漂亮的继拇3
国精产品无人区一码二码三M
日本大但但人文艺术
2021中文日产幕无线
妈妈的朋友13在完整视频带翻译
3是不是欠C很久了H
100款禁用免费软件app下载
Zoom美国另一类
漂亮的保姆3日本
晚上剧烈摇床运动视频
一卡二卡3卡4卡视频免费播放
美女脱精光让男生桶下面
女生迈开腿让男生吃草莓膀胱
男生女晚上剧烈运动扑克
万花楼楼凤论坛
被好兄弟上是一种怎样的体验
我的漂亮女房东完整版BD
小坏蛋别带套了今天是安全期
18岁末年禁止进入
学生的妈妈5中韩双字多
三个徒弟强占师父
年轻女教师6在线播放
体CHINESE大学生宿舍飞机
哥布林洞窟樱花未增删带翻译
每次见面他都要好几次
成片人卡1卡2卡3
张津瑜吕总1080P
WRITE AS 自己掰
女生吃坤巴难道不恶心吗
日本XXXL码在中国是多少
怎么把自己变成喷泉夹枕头
寄宿日记37你也想做吧秋蝉
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1