有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
两个奶头被吃得又翘又硬动态图
每集都在打扑克的韩剧
桃花视频在线观看完整版
日本理论片和搜子同居的日子
黑料吃瓜网.SU永久有效
公与憩小说姚瑶大结局2020
上自己妈妈是一种什么体验
无人视频免费观看免费直播
课后辅导(教室羞耻PLAY慎入)
日本精品无人区卡1.卡
老师的玉足伸进我的喉咙里
小喜含不下了先出来吗
渺渺当着全班人在体育课上
校花啊哦好猛好力啊哦
边做边爱3完整版视频
大婶的肥沃的土地类型
女朋友的母亲9中语字追剧易
日本大但人文艺术 MBA
含玉势走八百台阶的师尊
亚洲无人区码二码三码区别图
老师好涨水快流出来了说说
可以吗好硬H1V3
水都这么多了还装
吃八重神子的乳液的游戏
国产一产二产三精华
国际油价5日显著上涨
chinese帅哥军人solo
中国新疆XXXXXL17学生
200hh情艺中心
永远免费的品色堂
和老板在办公室BD 中文
白嫩的白嫩的BBBBBB
全是肉的糙汉文现言推荐
日本摩天轮变办公室
今天接待了30厘米的客人
羞羞漫画入口页面登陆章更新百度
插曲的痛的视频30秒
一同看亿同看GTV
欧美不卡1卡2卡三卡2022免费
最近免费中文字幕中文高清6
无颜之月我是看守专用宠物无修剪皮皮虾
エロドラえもん
嫌疑犯x的献身
mum-147
娇娃荡女K8经典
男生女生一起差差很痛的app下载安装20
女子扒开腿让男生桶爽
做的时候粘腻的水声
女生男生一起差差差差带疼声
14岁学腿迈开腿打扑克正常吗
原神甘雨的乳液狂飙图
S8Sp海外视频
一整夜都连在一起没有退出来
精品乱码一卡2卡3卡
没带罩子让他c了一节语文课
宝贝流了怎么多还说不要
小学六年级差差差很痛
中文字幕乱码2
哥斯拉大战金刚片尾彩蛋
jy灌溉收集系统
人物动物交互第ll0集
公交车上要了我无数次
亲亲抱抱举柔柔的视频叫的声音
天海翼家庭教师qvod
无颜之月第五集你会回来感谢我的
伪装学渣电动猫尾巴PLAY
女生醉酒被闺蜜用宝宝背带背回
男生口中的滑滑梯是什么意思
亚洲卡1卡2乱码新区仙踪
甘雨乳液VX网站入口
抽搐一进一出gif无遮挡
漂亮的小峓子5中字巴巴巴鱼汤
吉泽明步torrent
一区二区传媒有限公司
x69老师x日本
三国梦想大乔无惨
斗罗大陆2大乱斗交大TXT漫画
写作业写着写着就插起来了
高铁上要了很多次
黄可46分钟完整版种子
丁香花大型成人社区
孟十朵玉女春光图
英语老师的兔子又大又好吃
黑暗正能量INDEX.PHP
火影忍者禁图片
日产中文幕无线码8区
接电话插的说不出话
小东西才几天没做喷的到处都是
我和黑大佬的365天完整版中文翻译小说
免费行情网站大全搜狐网
大巴车轮轩诗歌摘抄
深田えいみ无码作品
新金艳花瓶1-5集
最近韩国日本免费观看MV百度
BGMBGMBGM胖老太太俄罗斯
富二代国app产下载
国产MV天美传媒
善良的年轻的馊子3中文在线播放
一支笔C哭自己自W到高C
迈开腿让我看看你里面的
今日蚂蚁庄园正确答案
西安一周六天雨下到6月
xl上司带翻译中文版
寄宿日记37你也想做吧秋蝉
精品一线二线三线精华液
王者荣耀姬小满被捅的流眼泪网站
刺激妇乱子伦短篇
エロゲ母爱如山动漫
撩到女生下面流的句子优秀80句
亚洲一线产区二线产区
极品教师未删减完整版
缓慢而又坚定的撞着
龙泽罗拉第三部
JK底部的视角是什么样的
如何在被子里无声自W
日本一码二码三码区别在哪
全部都在那个地方在线观看免费
肚子里都是同学的尿
1v3多肉小公主
小SB是不是欠C流了那么多
无人区码卡二卡3卡4卡无
小SB是不是欠C流了那么多
中国东北老太婆内谢
照着镜子看我怎么C你
被窝里的公息全章
安迷修被雷狮掰腿塞棉签
两个男用舌头到我的蕊花
UNDERTALEエロ动漫尼特矮人
日本无人区码卡1卡2卡免费
wallpaper原神18入
XRK1_3_0ARK向日葵站长推荐
岳故意装睡让我挺进去观看
是不是当过兵的人下边都大
xiao 776
英语课代表下课让我诵30分钟
父母儿女媳妇一起来玩的说说句子
井川里予黑料33秒视频
激荡瑜伽1V2
漂亮的邻居老师中文字幕
毛卡1卡二卡3卡4乱码
无限资源2018免费观看
重生之军门狂妻
国产亚洲一卡2卡3卡4卡老狼
济宁郑媛媛ed2k
女篮坎贝尔惊艳三部曲叫什么
小洞饿了想吃大香肠有声音馒头
坐在教授的棒棒上写作业
几天不C水这么多
考好妈妈随便你怎么弄
皇上不可以(限)沈音
一滴都不准尿出来
如何把女朋友弄成小喷泉呢视频
16岁macbookpro日本
妈妈的朋友1线在完整视频中字版
TTTZZZ传送门2024
为什么日的越快叫的也快
每次见面他都要好几次细节
人间小喷泉1V3HL笔趣免费
日本三线和韩国三线的市场定位
欧洲一卡二卡三卡
黑料不打烊668SU痞幼视频
一面膜上边一面吃下边免费看
满肚子浓精涨走路调教
只有棉签怎么自罚
一支笔把自己做哭
被兽人灌得鼓起来
WRITE AS 尿口
亚洲码与欧洲码区别一二三四
国精产品一二三区传媒公司
成品网站源码1688可靠吗
XFB3.XYF幸福宝导航
云缨拿枪奖励自己视频
处钕膜被捅过程图片
弱点73话我也要一起洗免费
蜜芽永不失联网址miya737.mon
草草药视频在线观看
老赵抱着媛媛在厨房做饭视频
最近2019免费手机
在英语课上用J插英语课代表
啊 啊用你的舌头是什么歌
新金瓶悔1一5集免费
欧洲黑人最强潮水RAPPER
被做醒一种怎样的体验知乎
国精产品一码二码三M
FLUFFINGADUCKKEVINMACLEOD
亚洲小鲜肉帅哥GARY
每天把你做到起不来
希儿乳液狂飙天堂W98
14may18XXXXXL女
新婚教师被调教成母狗
亚洲一线产区二线产区区别在
男朋友几个朋友一起上我
windowschannel孕妇生产
上课时突然把跳D开到最大
继室瑶娘尽欢潮汐
偷看各类wc女厕嘘嘘
01顾泽宇在天台被体育生
坐在学长的根茎上写作业
公交车上C了两个小学生
china中国青年gary外卖抖抖
5g天天奭多人运动绿色视频在线观看
浓毛BGMBGMBGM胖
妈妈的朋友4线在完整有限公司中字
可以随意触摸内部位的游戏手机版
8008幸福宝官网隐藏入口教育
xrk1_3_0ark入口
女教师的特殊按摩2
gaogao8
男生淦哭男生的过程
BGMBGMBGM老头XX
小东西好几天没弄你了若若
别急晚上英语老师就是你的人了
小东西才几天没做喷的到处都是
evelyn lin 迅雷
雷电将军被旅行者淦到哭
德国VODAFONE巨大
随处做X的世界学校游戏
俄罗斯1317大但人文艺术
BGMBGM老太太毛
181SKINS
巜老师的小兔子好软水好多动漫
男生和女生一起错错错30分钟电视剧
双杠分腿坐挺身前进H
天堂引路人18C.MIC
彩虹男GARY视频2023
无翼乌老师漫画漫画全集
做错一题进去一次C
エロドラえもん
infinite stratos2
老师错一题少一件衣服怎么办
消防糙汉VS水深火热
坐在上面做的视频
糖心短视频vlog柚子猫
干了幼儿园的小朋友
gaogao8
被两个老总前后夹击爽
坐下来自己慢慢摇
引导狗狗干自己哪里
中文在线っと好きだった最新版
倒插莲花是什么一种服务
弄了一个女孩子几次是什么意思
虫虫漫画在线浏览页面弹窗
亚洲一线产区和二线产区的
受喜欢含着睡觉的文
爸的比老公大两倍
坐公交车日了两个小朋友
含羞草麻婆豆腐传媒
高考给了孩子第一次
韩国女主播 ed2k
小SB是不是欠c了h
麻麻熟睡让我滑进去了
最近免费中文字幕中文高清6
宝贝好紧好爽再搔一点试視頻
公交车大尺寸的小黄说说1000字
斗罗大陆3大乱斗交大配
父母和儿女之间的交换
青梅竹马是消防二季未增删
在床上拔萝卜又疼又叫的描写
狗链M项圈女母狗牵引绳铃铛
小舞去掉所有服装图片
丝瓜 草莓 秋葵 榴莲
色农夫网址导航
埃及猫没有衣服跳舞动画片原版
囗交大图片26交
师傅缓慢而有力的撞着视频
麻豆传煤网站APP入口直接进入在线JIAN
吃饭时某处紧密连接在一起视频
野花视频在线观看最新免费3
儿子比老公大更厉害
俄罗斯人和欧洲人的性格差异
WRITEAS遥控器朝俞
坐着轮流提双腿能起到什么效果
巴西任务qvod
鞠婧祎被吻照片
哪里可以看奥运会比赛视频
民工把我奶头掏出来了怎么办
夜里不知节制军婚
皇帝在御花园进入贵妃的小说
撑起伽罗的腿疯狂输入游戏
12岁如何自己安慰自己动手
一个吃上面一个吃B
还想结婚的女人
沉香的一二线产区
妈妈的朋友5线观超清
宝宝在把腿敞开点一会儿就不疼了
抱胁西班牙篇PV资源
国精产品呦呦仙踪林
欧洲victoryday
河南一男子醉倒雪地里被冻死
妈妈的朋友3线在完整有限公司中字
69无人区码一二三四区别
坐公交车居然弄了2个小学生
69精产国品一二三产区区别
老湿机免费十分钟影院
国产啪视频在线播放观看
一不小心滑进了母亲的生命之门
品色论坛最新地址
金鳞岂是池中物 候龙涛
一二三四日本高清无吗
爱情岛论坛免费观看路线二
女人和公豬交交30分钟视频
人C交马ZOOMZOOM
在教室被老师CAO到爽
拔擦拔擦X8X8华人免费
潮水19岁rapper
孩子玩着玩着就进去了
APPSTORE美区免费
rh男1做0车车的车车视频网页
游戏新体位47
三个徒弟C一个师傅
2014年1月里番合集
电车之狼r视频
一边做饭一边狂做怎么办
我朋友把我玩成了喷泉怎么办
国精产品砖一区二区三区糖心
亚洲日本乱码卡2卡3卡新区
小坏蛋别带套了今天是安全期
78M-78MAP
弱点第21话只做一次够吗
张柏芝滟照门禁图片图
日产无人区一线二线三线最新版
他用舌头给我添高潮部分韩国男人
安迷修被雷狮放振动器
CHINEAE体育生外卖系列
没带套让班长捏了一节课怎么办
老师好紧好滑我要进去
人物动物互动高清
《苹果》未测减除版
WRITEAS骑马
肉多到炸的古言描写
用我的手指搅乱吧未增删卡卡
院子里公开惩戒(下)WRITE AS
含羞草实验室隐藏路线
李宗瑞108集在线观看
精产国品一二三产品99
19岁潮水RAPPER欢迎您
棒棒糖放屁眼里旋转的游戏
我的好妈妈1中文字幕韩国版
凌晨三点看的片www视频动漫版
宝宝我尿在子宫里了不准出来
各种姿势玩小处雌女TXT视频
男人J放进女人屁股免费观看
老师你的兔子好软水好多文案
小雪又胀又麻又酸又痒
扑克牌又痛又叫
附近人一百元一次
黄动漫车车好快的车车APP
泷泽萝拉第三部ed2k
黑龙江不雅视频
原神申鹤掀起奶盖黄XMAN
宝宝几天没做都湿成这样了作文
成片人卡1卡2卡3免费版
群臣在朝堂上c皇上
宝宝你好夹啊都拉丝了游戏
孤注一掷王传君免费观看
夭天曰天天躁天
做错一题进去一次C
跳d放在里面逛超市的
麻花传媒网站永久入口视频
最近新韩国免费
涨精装满肚子上学体育课免费视频
TFRG4MAY18_XXXXXL
韩国漫画登录页面入口环球
新金艳花瓶1-5集
陪读和孩子发了关系心理咨询
最近的2019中文字幕国语5
把腿开到最大就不疼了免费播放
小东西几天没做水这么多还说不要
坐在学霸的棒棒上写作业视频
适合晚上一个人看B站
公交要了很多次
原神八重神子掀自己副乳e站
迈开腿让我看看你小草莓
男生被男生C哭是一种什么体验
坐在叔叔的硬硬的上面写作业
男的插曲女的叫视频
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1