有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
迈开腿让学才尝尝你的草莓
二指探洞好像要喷了一样的水
有谁帮自己的儿子口过
上官婉儿的乳液狂飙视频
小东西几天没做怎么这么多水作文
打扑克直播下载软件免费
1区2区3区4区产品乱码区
杨幂13分钟20秒
坐下来自己慢慢摇
抖音奶片已删除的视频十五秒
张柏芝艳门禁照
车子一摇一摇的刚好掩盖我们
97国产精华最好的产品价格
温行之和温远洗手台做
JEALOUSVUE成熟50MA欢迎光临
老婆的生日3Q开始
日本乱码无限2021芒果
和老师一天弄了好几次小作文
2014年5月里番
墨燃把楚晚宁按着干196章
每当我看见她的jk慢慢脱离
突然像尿了一样出了一股水
领导在没人的地方要了我
12岁女孩拔萝卜总叫痛
老阿姨一直叫BILIBILI
放心我只在外面蹭一下文字
国产免费毛卡片
能让人下面湿的漫画有哪些
这几天没C你了是不是SB痒了
日本RAPPER一姐潮水仙踪林
换个方式做吧未增删动
一口一口把奶油从胸口
人与动物交配后
简隋英哭着喊着让李玉退出去
年轻水嫩的漂亮大学美女酒店
95w乳液78wyw永久
宝宝这才几天没C水就这么多
黑土ちゃんが腿法娴熟を视
人与畜禽CORPORATION
晴雅集免费观看在线观看
VODAFONEWIFI与黑人
西施欠钱不还用身体来还钱含羞草
硕大粗长撑裂了 小龙女
小娇乳H边走边欢1V1爱豆传媒
破坏中巴友谊罪
只有棉签怎么自罚
拔萝卜一边喘气一边说痛怎么办呢
19岁macbookpro日本
TMW07国产天美传媒
大炕上的肉体乱
小学六年级差差差很痛带声音
他们一路从厨房做到了卧室
给他们轮着尝尝你的味道老周
爱情鸟论坛com高清免费
新不夜城 首页
说服好兄弟让一堆人c我作文
小东西多久没c了
离婚了前妻还让搞她什么意思
星空传媒乱码一二三区
羞羞首页登录无限阅币免费
只要一顶嘴就会被主人扇巴掌作文
把筷子放屁眼里不能掉的惩罚
女朋友的母亲5有限中字
一边C一边说粗话小说
爱情鸟视频论坛在线观看
蜜芽miya188.mon牢记无限观看
还想结婚的女人
1819处china
戴着电动玩具逛超市
口述被几个男人抱着舔
我想触碰你的深处未增删樱花
四虎永久地域网名2021知乎
杨幂哭着说不能再深
夹看学长的巨大的鸡把写作业
迈开腿让我看看你的动漫视频
坐在上面怎么晃
日本漂亮妈妈7观整有限中
xiaodiaowang
男女倒插莲花是什么意思啊
孕妇RAPPER潮水偷轨
午夜dj在线视频观看国语版
小东西我们在水里做运动图片
坐摩托车车进入身体
当着别人的面要了我
女生说拔萝卜是什么意思
WRITEAS黎朔
想吃你身上两颗的葡萄
好妈妈8中汉字
2021乱码精品公司
公交车后车座的疯狂C
朋友把我玩成了小喷泉
无人区编码6229JM
麻麻侧睡让我滑进去
M必做自虐羞耻行为
日本漫画口番工全彩
WRITEAS木勺
百合做运动DOI网站
免费中国帅气体育生GARY
2012国语在线看免费直播
啦啦啦日本电影在线观看高清
中国macbookpro高清在线播放
两个人免费视频观看高清频道
清恋 seiren
小雪的L3又嫩又紧又多水图
女人迈开腿让男生吃草莓
情侣的100种插秧做法
一边亲着一面膜下奶韩剧动漫
acca少女网课视频
雷电将军ちゃんがを腿法娴熟部下
国产在AJ精品
国产自制剧天美传媒老狼
好妈妈4中汉字
抽的越厉害声音叫的越大声音
女人最喜欢的体位
后车座的疯狂全文阅读
天美传媒剧国产剧情MV公司
美国ZOOM与人
2021歪歪漫画画漫画
帮mm解脱内衣小游戏
老公睡了我妈我同意了
老头猛的挺进她莹莹她的体内视频
爱如潮水图片高清日本
TOM永久转入接口
安琪拉翻白眼流眼泪流口水
张津渝三部曲都在哪看
开车视频疼痛有水水
青娱极品盛宴国产分类细腿
打扑克剧烈运动的视频不盖被子
宝宝桌子上都是你的水
B的感觉一样吗
蜜芽永不失联2023
老翁的大肉蟒进进出出视频
整篇都是车的百合
亚洲和欧洲一码二码区别在哪儿啊
蜜芽tv.2722在线观看网站
mdyd-751
小泽玛利亚 种子
交换朋友夫妻客厅互换4韩国
娇吟公车系500章
三公主babygirl
雨后小故事 动态
几天没C你是不是痒了免费
金鳞岂是池中物侯龙涛
亚洲无人区一码二码三码区别大吗
来吧儿子妈妈是你的人是什么歌
天美传媒剧国产剧情MV公司
班长笑着手灵活的调着遥控器
亲爱的老师4中字BD
极道之妻们neo
四根一起会坏掉的厉害的视频
渴了就喝水别扒拉我腿啥意思
宝宝乖夹住不要流出来
西施流眼泪翻白眼咬铁球
必看无人区一码二码三码
二次元人物桶二次元人物动漫
含羞草传媒隐藏入口免下载
WRITEAS宋亚轩
把女朋友弄成小喷泉是什么意思
我是狱长的专属的宠物13集
公大JI巴给你P
情人的东西比老公大怎么办
99国精产品品质溯源网
水蜜桃文化传媒www
3d 无尽 动漫 可爱 得到
国内精品一线二线三线区别
非洲BBOOMBBOOM的含义
小舞你的小兔子好玩小游戏
伦理在线看年轻的母亲4
黎朔WRITEAS木马
1码2码3码4码无人区
欧美无人区码卡二卡3卡
被多个人C是什么感觉
朋友的妈妈6在观整有限中字
肚子里都是同学的尿
大团圆结局全文目录txt下载
蜜芽最新域名网站
墨燃把楚晚宁按着干
亲亲抱抱举柔柔的视频叫的声音
阿拉善英雄会7分28秒视频
精东传媒JDYL027李娜娜
都湿透了还嘴硬疼咋回事
maya成人论坛
厨子戏子痞子豆瓣
戴自动蝴蝶去上学不能掉出来作文
韩国美女主播朴妮麦
妈妈的朋友免费观看全集在线观看天才
高嫁肉柳1一4集BT
AI换脸WWW在线观看视频
老婆出轨时接听老公电话
拔萝卜一边喘气一边说痛怎么办呢
大炕上和岳偷倩
国精产品一二二线精华液
三个男人换着躁我一个
车子一晃一晃正好掩盖我的几把
好...好快啊哈哈
江疏影2分28在线
CHINESE粗口篮球体育生生
china农村夫妻homemade
适合夫妻二人一起看的电视剧
免费可以看亏亏的软件大全
韩漫漫画登录页面免费入口弹窗
性满足BBWBBWBBW
污网站wallpaper共享人可以看到订阅吗
忘带罩子了让他弄了一节课
精品日产一卡2卡三卡4卡三
xiaodiaowang
舌头往下舔到一个硬硬的包疼
中国东方XXXXXLMEDJYF
一次又一次的索取
2023AMAZON欧洲站
18处破外女出血在线
师徒1v2金银花
女生说疼男生还继续做
永远的免费论坛
儿子的还比老公长
波多野吉衣电梯
英语老师哭着说不能再继续了
虫虫漫画弹窗页面在线观看
禁漫夭堂地址是多少18C.MIC
男女差差差很痛带声音
往下面一颗一颗塞珠子
朋友的妈妈6在观整有限中字
晚上打扑克疼的视频声音
日产高清卡1卡2卡无卡
火影忍者女性角色去内成品
WRITE AS打哭
心动时刻简简单单的爱
王者荣耀瑶白色液体
老人猛的挺进莹莹体内视频
真人打扑克软件
品色堂 永久免费
接待一个20厘米长的客人
粉色APP下载无限看-丝瓜 安卓
暴躁老姐的csgo心得分享视频
车肉短文300字左右
动感之星妖精全集
12岁PG可以塞下多少根棉签
BGMBGMBGM老太太毛多多视频1
在无限游戏里花式挨CH视频
抱着公主走一步撞一下的小说
99精品与95优品
剧烈运动摇床打扑克运动视频免费
亚洲无人区码一码二码三码的含义
越碰人人在线公开视频
开车污的 女生越疼男生越来越快 段子动
黑暗荣耀朴妍珍打扑克是哪一集
体育馆地板上c渺渺
品色堂 永远的
在车里打扑克的又叫又疼
为什么试过黑人后就回不了头
搞机TIME恶心直接打开网页不要钱
摇床和喘气声音音频一样正常吗
幻音 腐 肉补钙鸭
草699一码二码三码四码
吉泽眀步torrent
肉蒲团 极乐宝鉴
xl上司带翻译没有马赛克带中文
今日小鸡庄园答案
王者荣耀女生去掉小内皮肤无烟雾
剧烈摇床运动免费观看
把小舞的衣服P掉是什么样的
类似安娜情史的电影
国色天香精品一卡2卡3卡
两个人怎么搞才能生孩子
夫妻成长日记 动画
男神插曲女生完整视频播放
日本动漫人物打扑克
白洁之绿帽风云
一次又一次的索取
TTTZZZ黑料不打烊肾虚十八连
新版猫咪地域网名入口下载
秘密教学10话我需要灭火
男男GARYWAYNE
简隋英李玉肉车writeas
一二三区无线乱码2021
暖暖视频日本版免费完整
声声入魂hifi女声cd
高校龙中龙13
班级的公共玩具第1章
被兽人灌得鼓起来
narto henta
最近中文字幕免费国语6
51精产国品一二三产区区
台湾小受CHINESE
淑芬两腿间又痒了50岁
无限在线观看免费直播
丁香花美女社区
富二代APP软件下载安装
AI人脸替换脸杨幂在线播放
小茹和黑人教练第8章
肉大尺寸小黄说说
把腿长开学给你吃草莓
等不及在车里就要了老狼信息
中国JAZZYHIPHOP
二个人一起C你的感受
小雪把双腿打开给老杨看5
白洁一夜挨十炮
石榴裙下的温柔
蝴蝶传媒视频无限观看三次
讲讲第一次吞J的感受知乎
自W到高C的50种图片教程视频
狗配人怎样配马配人呢
疯狂主妇无删减版
体育老师c了渺渺一节课作文
一面亲上边一面一摸下边APP
品色永远免费堂论坛
清楚看到我C你过程
成绩差成为全班发泄用的玩具
人与畜禽CORPORATION外网
年轻漂亮老师高清线
野花社区日本最新免费
性一交一乱一伦一色一情孩交
家里没人我哥做了我
迈开腿让我亲亲你的小草莓
动漫打扑克剧烈运动
被子里怎么无声自罚隐私方法
漂亮的保姆3完整版
床戏cut哔哩哔哩bilibili
整篇都是车的文章校园
小东西几天没做水这么多还说不要
宝贝我想你站着做
趴在玻璃窗做给别人看
3个人同时玩一个人
玛雅maya 确认 已满l8岁
晚上睡不着想看点片不要下载
JY灌溉系统游戏唐小米笔趣阁
B不就是用来C的
4399看片免费观看大全
激荡瑜伽1V2
好刺激的打扑克软件
台湾佬中文网站
炎の孕ませ发育身体测定2
亚洲videosgratis.tv0.
父承子液金银花
男生最抵抗不了女生亲他哪
成功拿下了妈妈
最近的2019中文字幕国语5
仙女棒夹在里面的照片
一人一狗卡了六个小时视频
607080老太太AW
久久自己只精产国品
少妇白 全 洁高义
群飞刘亦菲刘诗诗杨幂杨颖
打扑克不盖被子图片大全
精品国色天香新区卡一卡二
MD豆传媒一二三四区入口
用玉器养大的公主
爱情岛论坛永久入口口
宝宝我们去楼梯上做吧
老公才日完我又睡我妈
白莲花的贵妇日常
当蜜桃成熟时3
大团圆结白结的故事
蜜桃成熟时3 qvod
痞幼黑料不打烊900张照片
杨幂哭着说不能深了
4个人互换着做苏霞
日产精品1区至六区有限公司
黑料网-独家猛料-曝光揭秘zztt
VODAFONEWIFI18APP
无人区一卡2卡三卡4
前女友那方面厉害一直忘不掉
金艳花瓶之朱2蛋
抬起一条腿对正往里怼
run away无删减全集
两阳夹一阴后面走势
免费网站在线观看人数在哪里
在图书馆往下边塞东西
日本理论片和搜子同居的日子
家里没人跟妈妈做了怎么办
家风贞静(禁忌GH)结局
插花弄玉曲径探幽不正经的意思
朕现在就让你怀上
八重神子雷电将军开襟
宝宝我不进去就蹭一会
刚开始拒绝后来慢慢接受视频
家有三个媳妇陈淑蓉结局是什么
冰块和棉签怎么弄出牛奶视频
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1