有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
边做边爱BD免费看片
没带罩子让C了一节课时
太捧了几天没C水就这么多吧
在英语课上用J插英语课代表
高清VODAFONE
芭乐app下载网址进入18免费站长统计
超级肉禽系统的小说推荐
聂小雨黑皮衣5分多钟视频内容
大学生宿舍飞机china free
高校1V3 PO
年轻的保姆5线观高清多鱼
两个上面吃奶吃b
2015年4月里番
满肚子浓精涨走路调教
新金艳花瓶1-5集
男朋友买玩具玩我
蜜芽忘忧草768.MON.二区老狼大豆行情网芹菜
石头剪刀布输了弹小鸡视频
冰块一粒一粒往下边塞什么感觉
啊接到一个30厘米长的客人
系统之魅姬养成(莫紫弦)
妈妈的朋友6在完整视频带翻译
免费看美女裸露无档网站
女19岁RAPPER潮水欢迎你
加满1箱92号汽油多花15.5元
一个人看的视频全免费
斗罗大陆人物黄化3d漫画
40岁了总是一碰水很多
尺八话的巡り动画免费看
妈妈的朋友4线在完整有限公司中字
mm1313点不进去了
两个男孩子开车细写
被子里怎么无声自W超疼
adc影库确认年龄18点此进入
夜月直播视频免费
宝宝下面湿透了还嘴硬怎么回事儿
超能太监2之黄金右手
生姜切成小块放菊花里作文
色中色board
坐公交车居然被弄了2个小时视频
老婆出轨时接听老公电话
妹妹中考前让我C了1次的作文
日韩欧美中文字幕送别
老卫把船开到河中心去的故事
蜜芽永不失联网址miya737.mon
成品网站源码1688可靠吗
男生的GGY钙2023入口
siro-1063
俄罗斯vodafonewifi巨大!
女生喊疼男生越往里寨的游戏娱乐
减去小舞的所有衣服
久久自己只精产国品
国产精华液1区2区区别大吗
宝宝我想吃你胸前的大白兔奶糖
鲍鱼最新地域网名是什
处处吻全程拉丝舌头
八重神子被焯出白水网站
各种APP引导网站
长月烬明全集泄露了
女方输了任男方处置清清1000字
善良的小峓子中文版在钱
四房播色最新版
中文字幕看成电影乱码
原来这才是春秋5
小学生被小学生插曲
日本ZLJZLJZLJZLJ喷液
韩国女主播种子
美国K8S经典
最好玩的B是哪一种
原神八重神子被空吸出乳液
男女在一起愁愁愁视频素材
亚洲AV精品无码国产一区
日本ZOOM动物
用我的手指搅乱吧樱花未增删翻译
漂亮的丰年经的继拇3免费看
开车疼痛有声音视频软件
在公交车上被撞出了水消防
狗的东西又大又长
鸣人九尾暴走需要女人三天手鞠
三个男人换着躁我一个
老狼一卡2卡3卡4卡2021免费
网站你懂2018
狗的东西比男朋友还大怎么办
坐在紫到发黑的木棒上写作业
说说你们老公夜里怎么搞你的
逛街突然开了遥控器最大
成色好的Y31S标准版视频
成品网站W灬源码火龙果
新版猫咪永久地域网名
XRK1_3_0ARK在线观看入口IOS
认命吧!金牵牛
嫩小槡BBBB槡BBBB槡
一二三四日本高清视频动漫
他像我这样弄你了吗
JL ZZZ 老师
小草在线观看免费视频播放
张津瑜视频夸克下载链接
日本厉害的RAPPER网站
欧洲一本到卡二卡三卡乱码
教练把车开到没人的地方淦我
办公室沙发口爆12P
为什么抽的越快叫的声音越大
把棉签放屁眼里一个晚上
夜恋手机安卓支持精品
BGMBGM老太太毛
疯狂伦交2完整版
女生说痛男生越往里寨的视频
大尺寸的小黄说说100篇
邻居把我弄的高潮三次面舞
萌白酱17分钟视频
5G天天奭多人运动 在线观看免费网站
ZO2O女人另类Z020男男
在线おっさんとわたし天堂
一边伸舌头一边快速喘气
国内九一激情白浆发布
日本2021免费一二三四区
无忧传媒短视频
北北北砂禁慢天堂 云缨图片
我朋友把我C成了喷泉怎么办
37大但人文艺术A级
快穿之女配取液之旅H
男生说把你日的服服帖帖的
老赵抱着媛媛在厨房作爱视频
乱VODAFONEWIFI熟妇
在线观看2022GGY钙同网站
把冰块一颗一颗往里堆
外国情侣插秧方法
喜欢和大肚子孕妇睡觉
情侣的100种插秧方法
男朋友买玩具玩我
男生把坤坤放女生定眼里云开
初中生一起床差差差的场景
探深一点老师今天随你怎么弄
上楼梯时做会不会更深
海角社区最新在线视频
w永久939w乳液78
年轻漂亮的老师2中文版
亲爱的老师韩国5看的电影
中国国模03[150p]
那我就做到你叫
40岁阿姨荒野大镖客一
不知火舞和三个孩子之森林公园
我喜欢几个人日一人我
男生插曲女生身全过程
无人区一码二码三码是什么
亲吻摸摸蹭蹭抱抱哔哩哔哩
开过荤的女孩能憋几天
双男主全车车的腐肉
公交车多人运动
在被子里怎么自己玩自己无声
特种部队3全面反击
金瓶瓶之爱的性奴2
鹡鸰女神第1季
小东西这才3根手指而已视频
欧洲无人区卡一卡二卡三
麻豆一区产品精品蜜桃的广告语
久产久精国九品
浪小辉GARY2022小蓝
四房播播 快播
又大又长又租高湖免费
c到哭不止高黄
疯狂母亲在线播放
老婆不傻不天真
麻花传MD0174苏蜜清歌
我年轻善良的继4
使劲抬东西突然腰猛然一疼
游戏新体位47
缘之空第4集开始开的车视频
井川里予黑料33秒视频
前后攻击1v2
WRITEAS宋亚轩插
亚洲一线产品二线产品
WRITEAS憋着做
原来这才是春秋5
侯马市性侵女生照片
99无人区码一码二码三码四
亚洲精品一线二线三线无人区
迈开腿我可以尝尝你的小扇贝视频
好大不可以坐不下去
国色天香精品一卡2卡3卡4公司
37大胆欧体人文艺术的价值
朋友的母亲7在观有限中字
JEALOUSVUE第一次
今天晚上让你哭着喊停
麻豆是传媒官方直接
小东西几天没做喷的都是
女人做几次就不紧了
你的下面是我的饮水机
拔擦拔擦8x8x网站
如何把自己弄到喷泉视频
永久939W75W75W乳液
ZOOM人与ZOOMWIDS
朝俞做题车WRITEAS
王者荣耀伽罗爽上天的表情
xk8071星空传媒
日本一卡二卡三新区
四个人一起旅游时做了
欠c的玩意sb就是用来c的h
老师你下面好紧夹死了
初次见面4秒就合体
岳好紧好紧我要进去了电影
扬思敏全集1一5集正版
催熟po1v2阿司匹林
又是母亲又是老婆
腿抬起来靠墙上就不疼了视频
疯狂守寡多年的的肥岳
美国十次了导航
他顶撞的速度越来越快是什么
八重神子掀开自己副乳的图片
冷廷遇进入简夏身体飞机上
妈妈的职业K8s经典
女儿的朋友中字头
妈妈装睡让我进
是不是想夹死师傅
晚上睡不着看点害羞日本
动漫人物去掉小内打扑克游戏
云缨救公孙离黄画
将界2第3集大尺视频
37大但人文艺术馆A级
人皇skyvs兽王grubby
老公总是吃我的奶奶该怎么办
用电动牙刷放在大腿内侧位置
肮脏秘密俱乐部
亚洲精华国产精华精华液有多好
日产2021免费一二三四
新红楼梦 艳情版
小SB真是欠C
最新三圾片目录大全
吃胸下面激吻娇喘黄禁
おじさんとわたし中文在线
未成年怎么玩隐私位置
顶的人家水流的到处都是
siro-3248
八戒八戒视频中文
农夫网站导航大全
肚子里全是JY鼓起来了怎么办
弄了一个女孩子几次是什么意思
爆乳JUFD汗だく肉感
亚1州区2区3区产品乱码站
附近学生约100三小时
被进入的那一瞬间是什么感觉
新金梅瓶电影完整版
不知火舞被三个小孩
年轻的母亲5免费观看翻译
女生迈开腿打扑克又痛又痒怎么办
故意让儿子看见自己
开小黄车的细腻描写
无节操摄影部1
不要 在这里 回家 弄
19偷偷鲁青春草原视频
老师哭着说不能再继续了
喜爱夜蒲1高清
腿张大点就可以吃扇贝了
国外大但人文艺术欣赏
写的超细的开车过程
插曲的痛的视频30秒
爱在空气中特别篇
美国1984忌讳第4集愈演愈烈
娇妻两根一起进3p
阿离掀开自己副乳的视频
日本max中国
男生把坤巴扎进女生的坤巴里Q
写的超细的开小黄车片段
向涟仓式献上纯洁
如何玩自己的R头到腿软
动漫人物将机机插曲漫画下载
日本无人区码SUV
班长 求您关掉开关吧
三个人一起玩3Q详细经过
御手洗さん家の破洞
啦啦啦韩国视频免费观看
被扣的时候腿抖是怎么回事
双胞胎姐妹齐上阵许多说许多
我被猪鞭螺旋状进入的
老师的兔子好多软水好多动漫
斗罗大陆2神界大乱斗交大配
白洁 绿帽风云
四房色播开心网
国产mv果冻传媒
漂亮的丰年经的继拇3如如中字
黑料不打烊tttzzz入口
小东西水那么多还说不要视频
津渝视频完整版哪里可以看到
linode日本iphone美国
我一边做饭一边被躁了男男
中国精品一期二期三期区别
古典武侠 校园春色
开车视频疼痛有声音不下载看
WRITE.AS罚坐
zztt黑暗传送门
车文超细过程文章图片
老师的小兔子好软水好多动漫
无忧传媒在短视频领域的成就
接电话插的说不出话
2014年2月里番
最近韩国日本免费观看百度
春暖花开炎狼门派
我偷偷装睡让公滑进去
茄子 香草 草莓 丝瓜 榴莲污
说说老公夜里顶你的
宝宝是我撞进入还是你坐上来
喜欢和大肚子孕妇睡觉
总裁求你饶了我
一面亲上边一面一摸下边APP
野花视频在线观看最新1
扑克牌又疼又叫全程视频
灯草和尚之白蛇传
无人区码一码二码三码
转过去趴好bl
9612黄桃网站进入页面小说
我家狗狗弄我4个小时
坐在上面怎么晃教程
暴躁妹妹csgo独特玩法揭秘
跳D放在里面逛超市的感受
化学实验室学霸做哭学渣试管
警方调查黄金鲍事件
傻大壮长的驴一样的东西
9612黄桃网址进入页面手机端
女生说痛男生越往里寨的文字
3d 无尽 动漫 可爱 得到
爱情鸟在线论坛1在线观看
宝宝你好会夹呀都拉丝了作文
日本乱码一卡2卡三卡4
19岁RAPPER潮水欢迎你
特别漂亮的媳妇和当官的朋友什么
好爽好多水C死你视频
父亲的东西又长又黑
人畜禽的交佩的APP
打扑克直播下载软件免费
鸣人九尾暴走需要女人治疗
蜜桃成熟时33d在线观影
早就想在车里要你了视频
JEALOUSVUE成熟50MA欢迎光临
精品卡一卡二新区仙踪林
仙踪林直接入口RAPPER
干柴烈火儿媳苏姐结局如何
畜禽CROPROATION
VPSWINDOWS另类精品
心动的信号4免费观看西瓜
早上起来发现还连在一起
岳喜欢张开下面让我看
四虎永久地域网名2021知乎
我与儿子发生了不该发生的事
两座雪白玉峰弹跳而出细节
帅气体育生GARY网站MV网站
6080伦理线 2019
漂亮的保姆韩国百度网盘资源
三个人日的我走不了路技术
为什么男人抽的越快女的越叫
黄色软件下载3.0.3每天无限次VIVO版大全
仙踪林Xzlcompany limited
人的能进入羊的水门吗
绝品儿媳苏暖免费阅读
无人区卡一卡二卡三人伦
将皇后送去军营慰问三军
XMXMXM18美国
十世宫缩剧烈做着生
想吃你前面的葡萄
陌陌万人睡小华佗视频
3DNAGOONIMATION_HONKAI动漫
河南一男子醉倒雪地里被冻死
隔壁老王的春天
女人自卫慰图片
野花社区视频最新资源6
双器堵着不流出来
精产一二三产区别在哪里
顶级大但人文艺术巫
姐弟拔萝卜又叫痛又叫高新
GOGOGO大但艺术风格分析
汤姆tom最新地域网名
一抽一出BGM免费
中国老人mandaddyertv
被子里怎么无声自罚疼到哭
彩虹男孩GARY视频
公交车6人轮换c
杨幂哭着说不能再深
沈浪与苏若雪最新
WRITE AS 吸蒂器
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1