有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
亚欧乱码卡一卡二卡新区
男生把坤坤放女生定眼里
说说自己睡过哪些亲戚
一面亲着一面膜胸口一面膜下部位
胡桃ゃんが腿法娴熟を视频
日本插槽X8插槽
IGAO网站在线观看
宝贝好紧好爽再搔一点试視頻
岳故意装睡让我进去
借妻中文字幕高清
家公吃我三年奶
BMGBMGBMG好多水
内谢XXXXX8老
国色天香直播在线观看免费
ssni-409
国精产品自线六区
大尺寸的小黄说说1000字多肉
16岁女生迈开腿打扑克正常吗
午夜影院播放版
日本ZLJZLJZLJZLJ喷液
中国体育生宿舍GARY飞机
迈开腿尝尝你的草莓是什么感觉
吃瓜爆料黑料网站
有人有片视频吗免费的
国精产品999永久中国有限
男女打扑克的APP
朋友的女朋友5中汉字晋通话
一面亲上边一面摸下边打扑克
杨思敏版1到5集国语版
写得很细的开车秒湿作文
日产乱码一二三区别免费一看
小诗的公交车日记1一7
椅子上有木棒坐下去吃饭
福利姬液液酱流奶喷白浆
可以直接进入网站的正能量
午夜dj免费视频观看在线动漫
欧式双人三人组合
夜里18款禁用b站网站
韩国VS日本中国VS美国学生
OVERFLOW未增删带翻译樱花
腿再分大点就可以吃到扇贝了视频
涨精装满肚子用塞子堵住照片
开车视频疼痛有声音水水水
国产AV精品一区二区三区软件
差差漫画页面免费漫画欢迎你
甘雨产奶模拟器
一码二码三码区别日本
大地资源中文第二页日本
中国人を嫌う日本人
大洋之间的灯光
一面亲上边一面膜下边美国
用指尖扰乱我吧打烊后2
超碰免费视频公开人人
被多个强壮的黑人灌满精
公交车后车座的疯狂
暴躁老阿姨csgo
开车视频疼痛有声音下载软件大全
幸福宝8008隐藏永久入口
エロゲ母爱如山动漫免费观看
黑人娇小BBW
小泽玛丽娅电影
甜蜜惩罚2樱花未增删带翻译
原神申鹤掀起奶盖黄XMAN
国精产品一区一区三区有限在线
福利SU黑料正能量网址入口
宁一荣荣开襟乳液狂飙
日韩乱码卡1卡2卡三卡四卡
打开腿让我添你下面小污文
朋友换娶妻当面
自W到高C方法
八重神子雷电将军开襟
葫芦里不卖药千万影片你需要官网
我女朋友的妈妈4中语翻译成英文
姐姐说家里没人给我看下面
幻音 腐 肉补钙
帮帮我爱神豆瓣
男生和女生一起差差30分钟很痛一百条信息
精产国品一二三区别9999
精品亚洲卡一卡2卡三卡乱码
一上一下不停运动免费声音
老师您的兔子好软水好多
色降ii万里驱魔
谢俞贺朝肉车试卷
老师上课突然把跳D开到最大视频
叫大声点今晚家里没人冷教授
搞机time恶心直接打开的网站不用下载
我们两个C的你舒服吗
父亲缓慢而坚定地进入的网站
老夫子精区一品精区.百度百科
安迷修被雷狮放振动器
大巴车上最后一排被草
Zoom cloud meetings
日本漫画口番工全彩
健身私教弄了我好几次怎么办视频
胀满精装肚子去上学
往下边塞冰棒感觉
男男车车好快的车车cp
love可儿的秘密花园
海角HJ9DB5免费进入
エロワンピースエロじ
会夹会摇是什么意思
一面亲上边一面膜下边打扑克图片
趣事百科宅福利鲁一鲁李丽莎
午夜dj在线观看高清完整版国语
厨房里的激战2剧集
旅行者把甘雨咬出乳液
双面公主与双面王子
2016年2月里番
人妻洗澡被强公日日澡
交流1V3多肉
几个老爷弄一个丫头的说说心情
鸣人九尾暴走需要女人三天手鞠
美国1984忌讳第4集愈演愈烈
黑料正能量zzzttt传送门
精品国色天香新区卡一卡二
一面亲上边一面膜下边说说
芭乐app下载网址进入18免费站长统计
徐莹 非诚勿扰
日本牙医赤子板栗免费
打扑克又叫疼又叫痛
一二三四日本高清无吗
毛笔夹在里不能掉出来写字
我们三个人搞一个人啥感觉
98777邪恶小游戏
男爵夫人的调教
亚洲精华国产精华液有什么福利
女生迈开腿让男生打扑克二次元
张津瑜事件是什么
po18脸红心跳作茧官网
精彩无人区一码二码三码四码
空姐前规则免费观看
京圈公主 多人运动
头埋在两座山峰之间
美丽的小桃子意大利语翻译
八重神子流乳液
公主往下边塞玉器
韩国妈妈的朋友2020整有限中字
漂亮妈妈1中文字幕完整高清
办公室跪下拉开拉链吃应用的特点
18GaryWayne
王者荣耀女生去掉小内游戏
超大尺寸的小黄说说1000字
几天没C是不是又痒了网站
WRITEAS刘耀文插宋亚轩
公交车车站最后一排被多人玩
国内精品卡1卡2卡区别
剧烈摇床运动视频
在公交车最后一排被多人
第一次DOI的感受详细写一下
抽的越快声音叫的越大
UC搜索WWW你会感谢我的
乱码一乱码二乱码三新区
不再是朋友的夜晚动画樱花
男生压着女生的身体的原因
老婆出轨时接听老公电话
这20项证明不再由社区开具
离婚回娘家满足爸
13一14处出血全过程
女生玩男生小JJ
国内精品卡1卡2卡区别
miaa-037
toul-307
我可以触碰你深处的樱花吗
3是不是欠C很久了H
日本免费一卡二卡三卡四
去姥姥家进入妈妈身体的说说心情
脱色摇床93S
男男车车好快的车车cp
WRITEAS做作业
英语老师没戴罩子让我抄了
三客优理论全新版
娇妻笫一次被多P
破了英语课代表的处视频动漫
宝贝腿再张大点就能吃到扇贝了
MINUS8法老猫
宿主任务是收集男主JY
聂小雨视频3分25哪里可以看
好看的肉质高的短篇甜文知乎
昨晚太想要了就和我家泰迪
旧里番肉欲に堕ちた牝たち
各种姿势玩小处皱女
妈妈的职业中语版在看
麻花视频V3.2.2纯净版
99精品无人区乱码在线观看
男朋友老是吸我的小兔子
浏览器正能量网站
宝宝都湿透了还嘴硬疼
小家伙你喷的到处都是文字
王多鱼被C视频
啪嗒砰怎么召唤
跑步机上边跑边c
精品人在二线三线区别
他的手游走在两座山峰
生物课老师拿自己做繁衍例子
麻花传媒MV一二三区别
来吧儿子妈今天是你的人
无人在线直播免费观看
两个人融为一体的过程图片
初中女生喊疼男生越往里寨游
麻花星空影视传媒制作公司
干柴烈火儿媳苏姐结局如何
八重神子被捅到流口水的游戏
这20项证明不再由社区开具
老师在办公室被躁得好爽
从厨房一路顶撞到卧室
高中班级玩具小诗嗯啊
老师不行太粗坐不下去
台湾SWAY麻豆果冻精东
课堂上时间暂停为所欲为
人间小喷泉1V3HL
12岁怎么把自己的坤坤挤出牛奶
酒瓶塞住不准掉下来
10岁可以插几支笔
含羞草完整视频在线播放
朋友换娶妻当面
喷泉h1v3H
CHINESE东北女人舒服
宝宝我想吃你胸前的兔兔奶糖
夜蒲1国语版完整版
全程粗话对白视频VIDEOS
女神漫画登录页面入口环球
国产无人区一卡二卡3卡4卡在线
晚安おやすみせっ3在线观看
家里什么东西可以代替小玩具
GOGOGO大但人文艺术观后感
没带罩子让校霸C了一节课小作文
宝贝是不是到最里面去了
国产色母和进口色母区别
小茗看看视频在线观看
男朋友用筋膜枪把我玩哭
丁香花美女社区
往下面一颗一颗塞珠子的故事
我想用扇贝夹你的乌龟什么意思啊
王者荣耀伽罗爽上天的表情
厨房挺进旗袍班主任
星空天美mv视频大全免费观看
老板不让穿乳罩随时揉H
错一个题就往阴里装一支笔的小说
日文中字乱码一二三区别在哪里
生物老师的兔子好大
公么的粗大满足了我
好姑娘8免费版
撞击的速度越来越快公交车
你们对象怎样抠你们的
男女一边摸一边做爽爽的免费文字
寂寞夜晚观看视频
情侣的100种插秧做法
PRUBURB国内官网入口
麻花豆传媒剧国产MV动漫在线
对象一直咬我的奶奶
linode日本iphone强汉app
老人森林交易视频
帮妺妺洗澡忍不住C了她作文
不小心进了岳坶的身体
在英语课上用J插英语课代表
我们没试过在阳台做呢
顾氏双生子的玩具2V1
御书屋御宅屋高辣H
男男车车好快的车车网站RH
夜里用的18款禁用
拔萝卜视频图片高清壁纸大全
宝宝你里面好暖好烫不想出来
上体育课课被捅了一节课
插太深肚子凸起来了
歪歪漫画登录页面免费随着已经
三妻四妾完整版播放电影
男生半夜不睡觉偷偷看B站
用我要灬我要灬我要灬造视频
杨思敏1一5集国语版下载地址
日本动漫人物打扑克
精东传媒VS天美传媒电影
4399在线电影免费观看手机版
内衣柜办公室1-3怎么看
女儿们的男朋友免费播放
blackpinkmv4k高清黑白配
宏翔小蓝视频GY2022的特点
怎样用两根棉签玩哭自己
老公带我去跟别人玩两次正常吗
中国XXXXXL 18
老板等不及了在车里做文章
tttzzz学生
99西方大但人文艺术
公交车上要了我无数次
处钕膜被捅烂m图片
慢慢褪去了她的内衣
25岁女高中生的相亲对象是问题
宿主的任务是收集jy活命小说
办公室的交易HD中文字幕
中国人成熟视频
污到你那里滴水不止的说说99篇
齐天大性大破盘丝洞
老人船上弄雨婷第20集
老板一个月都要玩我几次
中国XMXMXM18小孩
娇妻玩4P被3个男子伺候辣文
快手王多鱼被C视频完整版
趣事百科宅福利鲁一鲁李丽莎
妈妈的朋友7在观完整有限中字一
一边吃奶一边做动态图
孙尚香教刘禅写作业
公交车两人双指探洞湘潭天气网
换个地方做吧未增删樱花150
每天肚子里都是主人的尿
五个闺蜜的疯狂互换春雨医生
国精产品一二二区视早餐有限
男朋友晚上都是怎么玩你的
国产自制剧天美传媒老狼
c到哭不止高黄
娇妻两根一起进3p视频
甜蜜的惩罚未增删带翻译整集樱花
沉香如屑在线观看免费完整版腾讯
939W乳液78WYW55
金麟岂是池中物侯
在车上一次又一次挺入
writeas上层玩具
吃棒棒糖是什么意思
健身教练漫画在线阅免费
王中磊玩过的女人
和教练在车里撞了我三次怎么办
0adc影库年龄确定
607080老太太AW
帅气GARY体育生网站MV视频
不知火舞三个男儿动画
差差漫画登录页面秋蝉免费
琪琪色原网20岁以下热热色原网站
交口怎么做图片
海角社区最新在线播放
宝宝都湿透了还嘴硬会怎么样
年轻的馊子8HD中文字幕
12岁女孩拔萝卜叫痛怎么办?
木马上凸起电动木棒
公翁的大龟挺进秀婷
家庭教师hitmanreborn
含羞草实验室隐藏入口
大奉打更人插花弄玉成语意思
一二三四高清日本播放
最新三圾片目录大全
XRK1_3_0ARK在线观看入口IOS
歪歪漫画登录入口免费
公交车6人轮换CH被一堆人看
在公交车上被撞出了水
飞向别人的床 在线播放
蜜桃日本免费MV免费播放
一抽一出BGM免费60的视频
黄色软件app下载3.0.3每天三次oppo版
换个方式做吧未增删樱
108式春床图片欣赏
雷电将军被旅行者淦到哭
51大豆行情网仙踪林
c够了没有三根1起会坏掉的
大尺寸小黄说说1000字多肉
一卡二卡3卡4卡乱码新区
打扑克视频发出声音
乳液狂飙W98天堂
国产A1A2A3
新兵帮老兵吃鸡把视频
linruyouna
美国ZOOM人与ZOOM欧
无人视频免费观看免费直播
年轻的母亲4 剧情
9612黄桃视频播放
仙踪林XIANZONGLIN
换个方式做吧未增删樱花网
嫩BBB槡BBBB搡BBBB
交口30个图片
金瓶玉2之性奴
我得到了妈妈的桃花源
WRITE AS 自己分开
年轻教师的滋味5在观有限中字
汤姆视频最新地域网名2021
原神申鹤掀起奶盖黄XMAN
JEALOUSVUE第一次
日本20岁RAPPER
外国情侣插秧方法
最近免费中文字幕大全高清10
娇妻初尝粗大滋味借种韩国电影
男生和老师一起差差差的游戏
朋友的闺蜜免完整版
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1