有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
给我播放片高清MV清晰在线观看
客厅大伦交侩H-MBA是什么
按在桌子上欺负
如何在被子里无声自W
别出声不然就被发现了
和教练在车里撞了我三次怎么办啊
日本一线产区和二线产区
老子今天晚上骑疯你
bbass巨大
漾出over flower第二季剧情简介
妈妈先是拒绝后是迎合的句子
BEB-079
学霸把校霸往死里做双男主车
姬小满的乳液狂飙天堂W98
从镜子里看我怎么C你的图片
欧美VPSWINDOWS极品
一边做饭一边躁狂我会怎么样
B的感觉一样吗
男女一边摸一边做爽爽的动态图
我和黑帮老大的365天完整版
国色天香A区优点和缺点
上课的时候突然把跳d开到最大
用大宝贝疏通妈妈的下水道好吗
迈开腿让我看看你茂密的森林
我们两个C的你舒服吗
教女生自己捏自己的小兔兔
漫画无翼乌全彩无遮挡
离婚回娘家满足爸爸
美国少归BVBV
糖心精产国品免费老版
国产一二三四2021精字窝
日本ZLJZLJZLJZLJ喷液
厨房里的激战2海外版
塞着小玩具坐地铁的感觉怎么样
りなとあな里菜的痛
全美超模大赛第十二季
如何让把自己弄到喷泉
无限动漫网在线观看免费视频
野花视频手机免费观看完整直播
舌绕指探洞深深浅
另类老太婆BBWBBW
无人高清视频免费观看在线动漫
菊内留香TXl金银花车
我与黑大佬的三百六十五天完整版
my pico
电车之狼r怎么玩
狗狗射速好太可怕了sun
叫出来就给你 我想听
桃花视频在线观看完整版
十世宫缩剧烈做着生
2014年2月里番
小兔兔经常被吸会有什么变化
小受被按在墙上做腿交男男
坐在公车最后一排被强
祺鑫河马的秘密河振动棒
免费夜里18款禁用B站软粉色
香草乱码一二三四区别
成品网站W灬源码1688游戏
两个人一前一后地动着我要
我的兔子好软水好多H15
国色天香直播在线观看免费
公么天天吃我奶躁我
宝宝我要把你顶哭了
做运动打扑克免费直播软件
MIGNON动漫
新区乱码无人区二精东
魏晨破赵奕欢密照
妇少水多18p
一边写作业一边C她免费
一个人看的免费WWW高清
水蜜桃文化传媒www
哈妮克孜被烧毛是真的吗
可播放的STEVEHOPPER
课代表让我桶她30分钟作文
女生高c的会自己知道吗
动漫人物打扑克剧烈运动的视频
学生的妈妈双字9字
玩滑梯吗越往下越疼那种污梗
啊灬啊别停灬用力啊动态图
脱色摇床实验室振荡器游戏
把红酒倒入B里喝掉
日本卡一卡二卡3卡三卡乱码
3根一起会坏掉的好痛
公么的大龟强大满足了我
公交车售票员按尺寸大小
两个人在线观看高清哔哩哔哩视频
被窝里的公息第十三章mip
润色红叶吻蛇枝
小泽玛莉亚种子
粗糙的要了一次又一次
yw8827龙物永不失联九幺
男人的大鸟真实图片
晚上睡不着看B站
我女朋友的妈妈4中语翻译成英文
女朋友特别会摇是什么意思
老头趴在我两腿之间
S8Sp海外视频
我的兔子好软水好多樱花视频
润色红叶吻蛇枝黛妃
凌晨三点看的片韩国
阿峰与老板娘修理厂
每个月老板都要玩我几次
大男当婚蔡微澜
yellow动漫网
没带罩子让校霸C了一节课小作文
人狗大战JAVA代码
那我就做到你叫
网站你懂2018
啦啦啦中文日本免费高清完整版一
欧美无人区卡1卡2卡3
两阳夹一阴涨停双响炮形态
做暧暧视频大全1000部
沉香如屑在线观看免费完整版腾讯
我被当成发泄玩具的一天作文
kiskiBlue触摸游戏
被进入的那一瞬间是什么感觉
无收费看污网站完整
俄罗斯人和欧洲人的情感差异
妈咪湿透的三角裤
女儿的朋友5中汉字晋通话
家里没人叫大声点我想听
丰满大爆乳波霸奶
洗衣屋2樱花未增删带翻译樱花
搞机TIME的恶心软件直接打开不用不收钱
坐在学长的棒棒上学作业
Zoom cloud meetings
最近免费中文字幕MV视频7
摇摇晃晃公交车XX5
腿再开一点就可以吃到扇贝了
M HBFAXIA
冰块和棉签弄出牛奶视频
善良的小峓子5中字巴巴鱼汤饭较
18款禁用黄台入口APP应用
ssni-392
WWW.GCRCCS.COM
我的漂亮女房东完整版在线韩剧
未成年的女RAPPER
最近中文字幕2018免费版2019
30秒不间断踹息声在线听MP3
阿铜铜铜好多水
把腿抬高点添的才舒服总裁
一个人高清观看日本完整版视频
尺码最大的国产suv
欧洲最大但人文体艺术
新红楼梦艳情版
花蝴蝶HD免费高清
缘之空无删减资源在线
丰满大爆乳波霸奶
桃花在线观看免费播放动漫
湖南某学校秋千门
精品无人区卡卡二卡三乱码
好先生在线观看免费完整版TV
搞机time恶心10分钟直接打开网页
中中文日产幕无线码
斗罗大陆唐三桶比比东的下面
双人床上做的运动剧烈打扑克
两个男孩子开车小黄说
人C交马ZOOMZOOM
妹妹中考让我C了一节课
长门和小南拔萝卜游戏
黑黑的粗粗的长长的是什么
丁香成人大型社区
top gear 19季03
夜里十八款禁用粉色APP
137VT最大但人文艺术
亚瑟首页YASEE
哔哩哔哩床吻戏大全
羊急了也跳墙完整版
小龙女只感觉那只巨大的火龙枪
一个人免费播放在线观看视频
无翼乌漫画之无挡遮
老奶奶i will follow him
JING液收集系统开车的水獭
没带罩子让捏了一节课视频
中国VODAFONE喷浆
年轻的母亲2在线线观中文免费观看
老师拉我去办公室做了一节课作文
和搜子同屋的日子2在线观看K8
一边亲一面膜下
斗罗大陆唐三桶比比东的下面
日本阿v在线观看不卡变态
人畜禽corporation
人间小喷泉H1V3H
洗衣屋2樱花未增删带翻译樱花
迈开腿让学长尝尝你的草莓是
动漫车车好快的车车图
免费体验区试看120秒
糖心短视频VLOG柚子猫视频
品色永久免费堂
开拉链它想你了你想它吗
无限免费观看在线直播
BGMBGMBGM老妇
4399HD在线观看免费播放
水蜜桃文化传媒
麻豆果冻传媒新剧国产杜鹃
XZL仙踪林一区
迈开腿往里怼冰块双男主微
欠c的玩意sb就是用来c的h
狗狗的东西又硬又烫
洛温强制车writeas
儿子以后妈妈的比就是你的了
始料未及的软1v2H
中国真实处破女WWW出血
小城雨巷 高清
男男车车好快的车车啊哈哈视频
男男车车好快的车车cp
贺朝用笔捅哭谢俞
悠悠爱情药草香
一次又一次凶猛的撞着
二人剧烈运动扑克视频
每走一步楼梯就撞故意顶一下
每天都是被C着醒的
我要拥有你的全部下滑
晚上让你吃棒棒糖是啥意思
戴自动蝴蝶去上班感受
仙踪林19岁RAPPER潮水仙踪林
公交车两人双指探洞LH说
吃八重神子的乳液的游戏
父母儿女一家换着玩的说说
新婚警花被别人开了苞
大黑阴BBBWBBW
雷电将军的俘虏生活30汉化版
我被三门齐开了事后走不了路
福利姬液液酱高潮喷水白浆
迈开腿尝尝你的草莓什么感觉
小东西这才一根你能吃
别墅轮换游戏五对情侣
白莲花的贵妇日常
成品网站W灬源码16伊园最
黄系纯色软件下载入口
整篇都是车的多肉
女子半夜莲花开是不是刚做过
欧洲VODAFONEWIFI一区
5g天天奭多人运动
人畜禽corporation
中文字幕无线在线视频
12岁如何自己安慰自己动手
年轻漂亮的继坶5
原神旅行者和甘雨拔萝卜
富二代国app产下载
18岁末年禁止网站
含羞草MYHANXIUCAO
大陆女人内谢69XXXORG
哪里可以看奥运会比赛视频
舌头一路向下探
朋友的母亲8在观完整有限中字木
几天没C你是不是痒了好多水
孩子想上我该怎么办
墨宗师和踏仙君同时干楚晚宁
三圾电影在线观看
福林儿初试云雨情
体育老师c了渺渺一节课作文
精品一卡二卡三卡四卡兔在线
女儿儿媳陪自己玩的心情说说
七个人玩我一个
JEALOUSVUE第一次
tokyo hot n0750
金花瓶梅花6线上观看
家庭大杂乱经典说说大全图片
新版金银瓶1一5电影
高嫁肉柳1一4集BT
篮球队的公共玩具文章
言教授要撞坏了中催奶
雷电将军乳液VX免费网站
美国队长3票房
什么样的B型好玩
bbox撕裂bass
朋友的妈妈2观有限中字
DASD-759
斗罗大陆2大乱斗交大第一
国产瑜伽白皙一区二区
用注射器打水放屁眼里的视频
奇迹三雄之扑克游戏
免费夜里18款禁用B站软件游戏
放心我只在外面蹭一下文字
小黄说说1000字污
肚子装不下好烫hn黄
迈开腿吃尝尝你的小草莓感觉
天媒蜜桃传媒在线观看
公与熄大战柔佳
刚开荤的男生是不是收不住
我的兔子好软水H15
一次接5个客人的感受
XZL幼儿精品幼儿
强塞玩具七小时
班长没带罩子让他玩儿了一天
老狼信息网仙踪林-八零婚纱摄影工作室
八重神子享受翻白眼流口水视频
她被撞的话都说不出来
美国omakmanta
被几个人日的不能走路
恋夜影院全部视频列表
俄罗斯牧场VIDEOSK9
男人把女人桶到高潮嗷嗷叫
宝贝对着镜子CAO好不好
棉签play是什么东西
bgmbgmbgm毛多多视频1
19岁MACBOOKPRO高清
搐搐国产丨区2区精品AV
对镜子看我们的结合处
2人轮换c一个感觉
荔枝app在线汅api在免费
女生和男生一起差差差差很疼APP
公交车动一下就撞一次视频
女生把筷子放屁眼里不能掉作文
上面一边亲下一边面膜使用方法
帅气GARY体育生网站MV视频
tokyo hot n0769
鄂州一家三口373页聊天截图PPT
希儿的乳液狂飙天堂W78
棉签和冰块弄出牛奶视频
和搜子同屋的日子3
Naruto Konan Hentai小南
14MAY18_XXXXXL7777
王者荣耀西施害羞流口水的表情
成人免费在线电影
太大了吧唧吧唧吧唧吧唧吧唧
エロワンピースエロい
品色 免费论坛
整篇都是车的百合推荐校园
公交车里抓着摇曳的手环
老婆和别人做完以后再和我做
宝宝把腿开大点就不疼了视频
老扒和三个熄妇
大型丁香成人社区
女婿的比丈夫的大得多
日本ZLJZLJZLJZLJ老师办公室
c了瑜伽老师嗷嗷叫一节课视频
日本不良网站正能量入口大豆行情
来吧儿子妈妈是你的人是谁唱的
女人和公豬交交30
不顾一切地进入
品色堂永久的免费论坛
客厅H伦亲女小芳小雪图片
美国14MAY18_XXXXXL56ENDIAN
家里没人儿子就弄我
会夹会摇是什么意思
王者荣耀黄化网站入口
国语高清CHEAPWINDOWSVPS图片
斗罗大陆黄化网站直接进入
迈开腿让尝尝你的CH宝宝
一下子接5个客人疼死了
JEALOUSVUE少归
晚夜免费禁用十大亏亏
妈妈的朋友2在线中文字幕看免费完整版
新版金银瓶1-5
男生和女生一起差差差很痛的声音
404黄台软件免费下载安装
世界上最不得安人1-3纪录片
英语老师的大白兔子又大又好吃
交流1V3多肉梁医生
男人想让你亲他的私下代表什么呢
古老传奇之凤舞九天
你下水好多下水道BD
怎样教狗狗进入自己
女生的小雏菊长什么样!
松岛枫 恶女教师
警花张津瑜头撞玻璃
哪吒顶进敖丙里面
帮你女儿疏通下水道
女头粉色部位上半身大胸头像
JEALOUSVUE极品少妇
欧洲一卡二卡三卡 公司
把棉签放屁眼里一进一出
我被开三门痛晕了
她舔我阴部好爽69式
19禁忌漫画免费阅读
妇少水多18p
韩漫漫画登录页面免费漫画入口弹窗
吃瓜爆料黑料网站
男生和女生差差差30轮滑免费下载
抖音奶片无罩子52秒回放
情侣打扑克做运动
天堂资源とまりせっくす
老公是怎么上你们的
快递员让我爽了一下午
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1