有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
老公睡了我妈我同意了
男男车车好快的车车网站
无人视频免费观看免费直播视频
优质JY灌溉系统游戏
日本人AA制是不是很凉薄
椅子上放一根很光滑的木棍
墨燃给楚晚宁用道具
性工作者十日谈粤语
春雨直播免费直播视频
两个人一前一后攻击我感受
晚上喝了酒回来和狗狗做了
梅老板再次梅开二度
蜜芽miya188.mon牢记无限观看
69无人区码一码二码三码七码
破坏中巴友谊罪
国产成人果冻星空传媒
海角社区母亲为儿子高考解压
打开这个网站你会感谢我的
糖心短视频vlog柚子猫
你看你流了这么多水还说不要
餐桌下手指噗呲噗呲
阿宾之房东太太
得到超级肉禽系统的小说作者
三个人玩我一个人是什么感觉
西施流眼泪翻白眼咬铁球
简单粗暴1v2
娇妻笫一次被多P
父母儿女媳妇一起来玩
大菠萝导航福建app
可以随意触摸内部位的学校
动漫车车好快的车车图
2D甄姬与隔壁家的两个小孩
linodeiphone孕妇视频
奶酪陷阱在线观看
小东西看我是怎么C你
小雪把双腿打开给老杨看5
高铁上可以打扑克吗
最强gy平台小蓝网站视频
精品无人区一线二线三线区别
好涨停下来要坏了
国产精品果冻传媒呆梦梦
管鲍分拣中心富二代丝瓜
免费做运动视频扑克视频
19岁RAPPER潮水偷轨
被吃兔兔的感觉
跳蛋的用法示意图
宝宝家里没人叫大点声厨房
亚洲乱码一卡二卡四卡乱码新区
打扑克牌又疼又叫的视频
BURBERRY大片
镜花风月之二艳鬼现身
胡桃流眼泪翻白眼流口水的表情
皇上撞着太子妃沈音的小说叫什么
忘忧草.WYC.IA
王者荣耀女英雄去掉小内无爱心图片软件
男车车好快的车车网站污
尝到了甜头两人每天都会想方设法
任你干在线精品视频网2
人伦亲情父母儿女
多波野结衣电梯
俄罗斯牧场VIDEOSK9
丰满年经的继拇9M
xl上司带翻译没有马赛克带中文
日韩天码砖区2021
kiskiBlue触摸游戏
免费观看桶机十分钟
荧ちゃんが腿法娴熟を长弓燧龙
国色天香精品一卡2卡3卡4
精产国品一二三产区区別
含羞草传媒隐藏路线2023
5G天天奭多人运动最新 免费
嘿嘿漫免费漫画入口页面弹窗秋蝉
最短的距离是圆的2雨水和苏打水
家里没人半夜就和姐姐睡了
中国XXXXXLMEDJY免费
舌头探洞感觉要喷了水怎么回事儿
老师迈开腿让尝尝你的森林
会夹会摇怎么练
嘿嘿漫免费漫画入口页面弹窗秋蝉
WNTPPS偷窃小便
茶杯狐 CUPFOX官方
人类是怎样交匹配的
被村长狂躁俩小时玉婷视频
小诗的公交车日记1一7h
漂亮妈妈中文4
1118视频链接
坐在叔叔的硬硬的上面写作业文章
国精产品W灬源码网站1688
厨房运动剧烈老师的大兔子鹿
张柏芝滟照门禁图片图
女孩子的第一夜图片
亚洲VS欧洲VS美洲人口对比
俄罗斯19girl video9
久别的草原在线影院视频观看免费
公交车上一路被C
无颜之月带翻译樱花中文翻译
14MAY18_XXXXXL56ENDIAN日本
鬼灭之刃祢豆子禁漫资源
火箭少女的开襟乳液狂飙
故意让儿子上自己
荫蒂添的好舒服小说
EveIynCIairn黑白配
爸爸突然抱着说想要
美女露出尿口让男生爽痛
夜里18款禁用B站入APP软件
太深了吧唧吧唧吧唧吧唧吧
夹震动蛋上课的女教师
被罚把筷子放屁眼里不能掉
斗罗大陆人物3D黄化视频
情感的禁区电影日本
全国AAAA和AAAAA景区
迈开腿我们换个地方C视频
张津瑜视频夸克下载
五个黑人玩一个女5P的小说
漂亮妈妈的Logo
玛雅maya发信
王者荣耀西施害羞流口水的表情
色母3030A
爱情岛论坛首页网址永久
女方输了任男方处置清清1000字
星空无限MV国产剧梁佳
麻花豆传媒剧国产MV免费GK
两阳夹一阴涨停双响炮的意思
JEALOUSVUE厕所
男团共享物by不必南下txt
做我的爱人3在线观看
娇妻被几个黑了玩的惨叫
免费人马大战CSDN的软件
我的好妈妈1中文字幕韩国版
儿媳妇夸我比他老公厉害
搞机TIME的恶心软件10分钟APP不用下
魅力研习社 安全套
在线おっさんとわたし天堂
四虎最新地域网名2021免费苹果东营
双杠分腿坐前进
学长你的好大不能坐着写作业
玛雅maya发信到
国产免费毛卡片
女人的玉露是什么意思
无限挑战130406
国产一卡2卡3卡4卡公司
男生把自己的手放到女生的qq里
几天不C水这么多
同桌的手探到我的衣服里知乎
欧洲RAPPER潮水太多
侍卫把贵女怼树干PO
男人忍不住挺进去了怎么回事
不知火舞和三个小男孩儿
jy灌溉系统公交车
国产黑料吃瓜51吃瓜免费观看
废旧工厂被流浪狗涨精装满肚
上课时突然把跳D开到最大
上体育课课被捅了一天
被男友咬小兔兔的感觉
在摩托车上要了你
8x8x我要打机飞在线观看
国产蜜芽剧果冻传媒
麻花豆传媒剧在线MV免费牛牛
三门齐开女人疼苦吗
女生输了给对方玩一个月
无码视频专区曝光16人被判刑
荫蒂添的好舒服小说
井川里予33秒正能量的视频播放
原来这才是春秋5
蜜桃日本MV免费观看
一杆大枪满屋扫
换个方式做吧未增删动第一集
芒果精产国品一二三产区区别
亲爱的老师6中字大豆行情网液晶
无翼乌全彩漫画和
被机器人不知疲倦的干着
塞跳D开最大挡不能掉老师现场看
爱恋2015是真的进入吗
用他的大句号撞击我的小括号
晚会上领导吃我奶还
亚洲无人区码一二三四区别
四虎永久地域网名2021知乎
14MAY18_XXXXXL56EN打开
风流老板俏秘书豆瓣
附近学生约100三小时
我的前任是极品第二季
让我看看你茂密的小森林
母亲dna和儿子dna一样不
啊哈哈哈好长啊
滑进了母亲的生命之门怎么办
14发刚发育就被破了处
抑制剂的副作用by栖鹤
吃奶吸咪咪动态图
男朋友咬小兔兔是应该怎么回应
chinese军人boy鸡毛
年轻母亲3线看完整版2019
校园春色武侠古典系列
电车之狼3攻略
往下边塞水果后吸出来清欢
元歌和西施拔萝卜拔出血拼音
传闻韩国电影免费观看
美丽的小峓子4中字巴巴鱼汤饭W
538prom精品视频我们不只是
国产一二三四2021精字窝
晚上自己一个人看B站
大将军1v2lh怀孕的原因
无人在线观看免费观看韩剧
好大不可以坐不下去
跑步机上边跑边顶HHH
张津瑜的9分58秒7段免费
坐在教授的棍子根茎上写
写的超细的开小黄车片段
99无人区码一码二码三码...
孩子没有睡老公就侧面做
真空挤地铁有反应了
他那里早已支起了帐篷
父子tck完整版
仙桃高一老师没关直播
老板等不及了在车里做文章
大叔轻一点可以吗
日产精品二线三线
胸大的姑娘免费高清观看视频
亏亏插曲叫疼的免费的视频
宝宝的水喷得到处都是小作文
嗯嗯宝宝叫点使劲难受吗 疼
日产无人区一线二线三线小
学生的妈妈7中韩双字中国策
videosdesexeen英国
向涟仓式献上纯洁
龙口护士门视频
国色天香A区优点和缺点
3D肉蒲团之极乐宝鉴评价
八重神子の俘虏ゲーム桃子移植
WRITEAS电动猫尾巴
回娘家给了父亲1一4
国精产品水蜜桃
一边做饭一边躁狂
柳州莫菁门事件
我的漂亮女教师2在线
一家和气情乱关系十二
深度开发1v3阅读
灵狐者全身透视图
伽罗ちゃんが腿法角色解析
黑龙江大学事件
过来自己趴好选工具小视频
老公说想上我妈妈
同城交换俱乐部
一边伸舌头一边快速喘气图片
酒店服务生满天星法版免费观看
蜜桃成熟1全集高清
波多野吉衣电梯
女生和男生一起差差的事
老师洗澡让我进去桶她
51无人区码一码二码三码免费
鞠婧祎打扑克又哭又叫视频
51漫画入口页面弹窗秋蝉
爸爸吃饭时还要放在里面
无人区免费一二三四乱码
中文精品卡1卡2.卡3.卡4.
适合俩人运动前看的电影
吃女朋友的扇贝的方法
老板一个月都要玩我几次
诱人小峓子5中字巴巴鱼汤饭
多人运动一个上面一个下面
老狼卡二卡三卡四卡视频
zljzljzlj日本人水多
这才几天没做你就那么多水
宝贝好紧好爽再搔一点试視頻
国产欧美GARY
LINODE娇小IPHONE69
bgmbgmbgm老头野外
punimai
云缨拿枪奖励自己核心
CCYY备用地址
抱着娇妻让朋友一起弄
绿巨人推广APP网站
炖肉计(是今)海棠
名侦探柯南剧场版9
乱码欧美一卡2卡3卡4
域名不定更换_请及时收藏
妈妈醉酒后误认为我是爸爸
迈开腿快让我看看你的草莓图片
麻豆传播媒体APP哪能下载
国精产品一品二品在
王中王一肖一特一中
凌乱的公交车小镇
亚洲国色天香卡2卡3卡4
大龟慢慢挺进张娟征的休
LASTDAYONEARTH儿子
疯了一样要了她三天
chinesefree普通话对白
狗狗射速好太可怕了sun
描写开车的超级激烈的作文
舌头钻到花唇裂缝中滑动
二十四种阴性外貌特征是什么
妈妈说以后不用戴了
好满射太多了装不下了
吕瑶门事件完整照片
朋友把我玩成小喷泉了
宝贝我不想带小雨伞啦
成品网站W灬源码被网友群嘲
朝俞塞跳d开最大挡不能掉车
黑暗时代读书写字
侯马市性侵事件视频
我和他在公交最后一排
精产国品一二三区别
他那里早已支起了帐篷
秘密教学82这次换我教你了土豪
ず中文在线っと好きだった
女性高c有哪些表现
国模欢欢超大尺度炮轰
父亲缓慢而坚定地进入的网站
继室瑶娘尽欢潮汐
一区二区传媒有限公司
丰裕纵满的保姆
一件一件的剥开我的衣服
教练把车开到没人的地方淦我
爱情岛论坛永久网址首页
エロワンピースエロい在线
美国XXXXXL19学生
宝宝坐下来自己慢慢摇视频
厚颜无耻韩国动漫在线阅读视频
贪欢电影在线观看
5G天天奭多人运动网站入口
早晨起来发现下面还连在一起
WRITEAS撑桌上
好妈妈韩国中字
波多野吉衣电梯
亚洲码与欧洲码一二三四区别
一个人偷偷看B站
漂亮人妻被维修工侵犯的后果
如何自w到高c详细图
国产最顶级国精产品
越往里越痛的那种视频免费
欧洲女RAPPER潮水大豆电视
永远免费的品色论坛
夫妻之间免费的视频
王者荣耀公孙离被捅的流口水
女篮中锋坎贝奇三部曲
翁公和媛媛在厨房里猛烈进出
变形记 化不开的网
大菠萝导航福建APP网站进入404
纵容的母爱第1一17段感悟50字
我难受就放里面一下我不动
老窝鸭永久免费视频新地址
高中班级玩具小诗嗯啊
西方最大但人文艺术摄影
欧美xbox和ps菊芘
学长错一题往里插一支笔作文
啦啦啦日本电影在线观看高清
麻豆精东星空天美MV
30秒不间断踹息声在线听MP3
坐在上面怎么晃教程图片
国产无人区码一码二码三MBA
喷泉1V3高HP科普
姐姐说家里没人我们可以在一起吗
茶杯狐 CUPFOX官方
国精产品一二三线999
伊援中文日产幕无线码6区
火影忍者禁图片
椅子上有木棒坐下去吃饭
班长是我们班的存精器作文
男人喜欢水大还是水小的
火辣导航APP福引导网站
男人迈开腿尝尝你的草莓
老师你的好软水好多的短视频
麻花视频3.2.2
小苹果影院日本影院
同桌上课打开我的腿放震动蛋
香肠和扇贝插在一起是什么
放学后的职员室未增删有翻译樱花
张津瑜7段51吃瓜
王者荣耀黄化图库
王者荣耀嫦娥卧床流水
中国RAPPERDISSSUBS老大妈
雨后的小故事 动态
是不是想被C很久了阅读
换个方式做吧未增删动第一集
男朋友几个朋友一起上我
新版猫咪目前的地址入口
老太太80CHEAPWINDOWSVPS
男人和女人晚上干的那事视频
爱情鸟论坛免费观看大全在线观看
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1