有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
14MAY18_XXXXXL56ENDI免费
蜜桃成熟时5D
神马影院线手机理论午夜
japonensis成熟
B不就是用来C的
宁荣荣把腿抬高我要进去
小学生拿棒棒糖做内个玩具
蜜桃成熟时33D国语高清在线播放西瓜
好男人视频社区2019
国产沙发午睡系列999
瑜伽老师上门教课
动漫人物将机机插曲漫画下载
儿媳妇夸我比他老公厉害怎么办呀
迈开腿尝尝你的草莓声音
热心的朝阳群众51cgfun
5G天天奭5G多人运在线观看免费最新
用大宝贝帮妈妈通下水道好吗
老师哭着说不能再深了软件作文
英语课代表的胸好软的作文视频
中国XXXXXL免费
JAGNEXSMAX在日本
吃胸下面激吻娇喘黄禁
非洲人与牲动交CCOO
火影忍者女性角色去内成品
动物胶配方大全高清
厨房里两只奶头被吸肿了怎么办
极致沉迷TXL金银花
欧美无人区卡1卡2卡3
果冻传媒一二三区2002
我朋友把我C成了喷泉怎么办
国精产品自偷自偷综合下载
中国JAZZYHIPHOP
高效天堂在线最新版
没有工具怎么自w到高c
中国人を嫌う日本人
穿戴式跳D放在里面坐公交车
一码卡与二码卡的区别
男生安慰自己的插画动漫
腿张大点就能吃扇贝了
父亲的东西又长又黑怎么形容
晚上睡不着想看点大人
精东传媒VS天美传媒电影
十大污的app
美女100%露出奶子无遮挡免费观看
野花韩国日本高清免费5
教练在车内撞了我三次
爱情岛线路推荐线路2
147人休艺术网
三根一起会坏掉的...哈
吧唧吧唧吧唧一口一口吃掉了
一个人看的高清WWW哔哩哔哩
海角国精产品一二三产品区别
孩子玩着玩着就C进去了怎么回事
爸的大还是你老公的大
晚安おやすみせっ3在线观看
蜜芽737.mon.忘忧草大豆网
儿媳妇夸我比他老公厉害怎么办
让村子里的精灵怀孕4樱花
怎样把自己C到哭
九一传媒制片厂传媒免费
老婆出轨时打电话给老公
成全视频在线观看时间
学长在学校无人的地方做
蜜芽MY12777
个子矮的女生那里也很很浅吗
精产国品一二三产区区别麻豆
液体收集器系统HH
黑龙江教室视频资源
女头部位大胸头像
《和搜子居同的日子》
牙医姐妹赤子板栗
王医生的私人诊所苏沫沫
扒开粉嫩尿口露出大胸美女
张津瑜本人回应
美国十次 导航
看完就起反应的文章段子
自我安抚的步骤图
野花日本HD免费高清版7
狂C英语课代表
加多宝公益战略发布
左拥右抱小1V2
六人轮换C一个过程多少分钟
双指探洞水喷出来图片
打烊后仅剩二人的沙龙
老阿姨BILIBILI视频
我们开始做吧2
仙踪林19岁RAPPER
最新张津瑜卫生间视频
对准了自己动不然不给你头条
继室瑶娘尽欢潮汐
用大宝贝疏通女儿的下水道好吗
JEPENSE日本
每下一步楼梯都要撞一次
妈妈的朋友5完整视频有翻译木瓜中字
国产AV精品一区二区三区夏竹
YSL千人千色YESE88
趴在玻璃窗做给别人看的视频大全
好快啊哈哈哈哈
上课没带罩子让捏了一节课怎么办
学长我错了POP跷跷板
51fun吃瓜站
男生和女生 打扑克
欧美三根一起进三P
聊斋艳谭之灯草和尚
5g在线视讯年龄确认18岁
公交车上的小黄说说阅读
妈妈的朋友2在完整有限中字
用你的舌头搅拌着我的下面
日本剧烈运动摇床运动打扑克视频
高嫁肉柳1一5集免费
共享皇家小公主3V1
老师的小兔子好大好软水
在火车和后妈妈谁在一起是什么书
御花园皇上撞着太子妃
可以随意触摸内部位的软件叫什么
小区电工老周赵美娜
阿根廷 舞林大会
催熟po1v3by
日产无人区一线二线三线视频
牧场videos skool
银枪挑三娘一战到天亮精神抖擞兮
公交车售票员按尺寸大小20cm
老婆出轨时打电话给老公
带自己老婆参加多人活动
福林的初试云雨情后传
没带罩子让捏了一节课感受
两个男孩子开车细写
人与畜禽 CROPROATION
差差差不多视频30分钟轮滑
谁输了去谁家受罚小红和小明
麻花传媒ceo免费观看
色降ii万里驱魔
5G天天刷天天奭
宝贝儿你看看它有多想爱你
聂小雨黑色皮衣5分37秒知乎
夫外出被公侵犯日本电影
宝贝叫的再浪点射给你
道具PLAY冰块全指
国内CHEAPWINDOWSVPS
日本精产国品一二三产品区别
苏家有女1v5黄心火龙果
迈开腿让我尝尝你的扇贝安装
秘密教学92你可以随意秋蝉
WRITEAS诸葛亮多人
儿子好妈妈的HD3中字抢劫
鲸鱼夫妇120114
爸爸说没人在家可以做
某科学的触手姬
麻豆专媒体一区二区
第1章 厨房春潮
相亲对象是问题学生未增删
俺也来俺也去俺也射
ZZOOOOOOOOOSHOISHOU
潘金莲高清DVD碟片
体育课被老师C了一节课作文
女人私密唇突出
国内精品乱码卡一卡2卡
女的越疼男的越往里寨的视频游戏
公交车上的小黄说说阅读
坐公交车日了两个小
2014年2月里番
一边亲着面膜胸口
刘老汉翁熄系列新婚
迈开腿看看你的森林动漫
两个人一前一后有力的
剧烈摇床运动视频打扑克
三个人弄得我走不了路的说说句子
彩虹男GARY视频2023
抽的越厉害声音叫的越大声音
黑料正能量 张津瑜
迈开腿尝尝你的草莓汁的图片
自W到高C的50种图片教程
原神雷神ドラえもんのエ网站
99国精产品灬源码1688
张津瑜7段51吃瓜
原神雷电将军掀开衣服看副乳
大佬的365天无删除中文翻译2000
小芳乱目录伦7
自罚一天从凌晨1点到晚上8点
被压在玻璃窗边C
LINODEIPHONE欧美拉屎放屁
男生说想在你身上做俯卧撑
哔哩哔哩大尺寸床车视频
日本一卡二卡三卡四卡免费观
随时随地都能干的学校教师的特点
エロゲ母爱如山动漫免费观看
双人打扑克剧烈运动视频
老师答错一题少一件衣服
19岁辣妹图书馆
今日蚂蚁庄园正确答案
张书记跨下的杨雨婷
gransremedy老太太
在体育馆地板上做
年轻的朋友3免费观看完整韩国
亚洲和欧洲一码二码区别在哪儿啊
妈咪湿透的三角裤
开襟开叉乳液狂飙
母亲dna和儿子dna一样不
C死了啊哈宝宝腰好会扭C视频
国产开嫩苞视频在线观看
单身男女2粤语
自W到高C的50种图片教程视频
女性高c有哪些表现
她被顶的说不出一句完整的话来
日本大但人文艺术 MBA
国内精品乱码卡一卡2卡三卡
内衣柜办公室1-6星辰
言教授要撞坏了第二季笔趣阁
67194线路一点击进入
用注射器打水放屁眼里的视频
黑帮老大和我的365日绝了
中国帅气体育生GARY网站MV
RUN AWAY无删减免费看
旗袍全开襟做双人运动好看吗
maya已确认满18我们严重反对
麻花豆传媒剧国产免费MV入口
女人自卫慰做法图片
初次见面4秒就合体
母亲とが话していま在线观看免费
荒野大镖客暴躁老太太怎么救
女人半夜莲花开很难受怎么办
高考给了孩子第一次
色降ii之万里驱魔
张津瑜卫生间1080P
2016年2月里番
三个徒弟C一个师傅
体育课没带罩子被捏了一节课作文
被多个人C是什么感觉
坐公交车一晃一晃的
用...用点力快要到了视频
臭小子我是你岳...你不能视频
斗罗大陆唐三爆桶波塞西3
怎么玩隐私位置
6人轮换C一个过程
mimk-009
家里没人叫大声点干湿你
中国老太太WBBHD
东莞技校门下载
无尺码精品产品
国精产品一二三线
全班的公共玩具坐便器
镜花风月之二艳鬼现身
欧美VPSWINDOWS极品
psp变形金刚2
麻豆精产一二三产区
麻豆专媒体公司网站
爷爷夜里压着妈妈在叫疼
日本动漫扑克牌动画片mv
小苹果影院日本影院
男人愿意亲吻你私下代表什么
日本插槽X8插槽
英语老师的小兔子好大好软水
抓着腰撞了起来水流了一地
tokyo hot n0610
3秒后坐在联谊会角落的他是个肉食系
俄罗斯XBXBXB兽交
老师夹的太紧拔不出来的解决方法
污到你那里滴水不止的文章
4虎永免费最新
干柴烈火儿媳苏姐结局如何了
pinsetangmianfei
宏翔小蓝视频GY2022的特点
19禁忌漫画免费阅读
日本在线高清免费爱做网站
双人床上做运动模拟器
女人最喜欢的体位
迈开腿让我看看你的照片图片
天堂引路人咳咳懂得都懂
漂亮的三年经的继拇4
仙女棒坐着使用方法图片黄
棒棒糖放屁眼里旋转的游戏
日产乱码一二三四区别免费播放
晚上睡不着偷偷看B站2022
国精产品999一区二区三区有限
别墅轮换游戏五对情侣
老公生日3Q的开始
日本rapper潮水RaPPe
雷电ゃんが腿法娴熟を网站
拔萝卜怎么才能流出豆浆
暴躁老阿姨CSGO技巧
快猫记录生活记你
北北北砂王者荣耀禁满天堂
ピースエロじ天堂官网
含羞草传媒下载应用
二次元人物桶动漫人物免费
背人伦而禽兽行十年而灭的意思是
宝贝都湿透了还嘴硬疼怎么回事
14may18_XXXXXL56e
13岁B里能放几支笔
班长哭着说不能再深了的作文
究惑R车禁闭室润滑剂
彩虹男孩GARY视频
宝宝我不进去就蹭一会
久别的草原高清视频HD
私教在没人的时候要了我短文
欧洲最大但人文体艺术
小SB几天没做SAO死了H
跪射是什么意思污
一颗颗眼泪都是爱
我的老师不是人
宝贝帮我套小雨伞的更新时间
年轻的母亲5整有限中字
日本无人区码卡二卡三卡
CHINA篮球体育飞机2023
他缓慢而有力的往里挺L
厨房里的激战2PH
宜春院美国免费十次啦
中国speakingenglish
2023国精产品一二二线免费
雷电将军乳液VX网站破解版
它变大了你感觉到了吗同学
奶头被几个流浪汉吃肿了
showtime!唱歌的大姐姐也想做
绝对控制我的学校2
天美传媒国产自制剧一库
朋友的母亲7在观有限中字
高清人和猪又细又长像钻头
麻花视频V322纯净版
免费VX雷电将军乳液网站
1码2码3码4码无人区
yura kasumi
囯产精品一区二区三区线
老阿姨才是最有味的
催熟po1v2阿司匹林
BBOX撕裂BASS孕妇公交车好莱坞
他的手抓住了我的小兔子动图
新金瓶悔1一5集免费
圣城风云第二季
WRITEAS吊带
刚开荤的男生是不是收不住
めんたいさんでぃふぇんすっ甘雨
免费人马大战CSDN的软件
几天没C水这么多公交车
宝宝的水喷得到处都是视频
他戴上小玩具调到10档
为什么放里面要动呢
榴莲app下载进入网址
中国vpswindows野外高清资源
宝贝放轻松我会温柔一点的说说
他顶撞的速度越来越快是什么意思
雷电将军乳液狂飙翻白眼流口水图片
中国vpswindows野外高清资源
用你的舌头搅拌我的dj
淑芬两腿间又痒了50岁
女生把筷子放屁眼里不能掉视频
情侣剧烈做运动的表情包
摸硬了体育老师的的大J8
花蝴蝶日本大全免费观看6
无人区卡一卡二卡三人伦
小龙女只感觉那只巨大的火龙枪1
WRITE AS 尿液
欧洲VODAFONEWIFI巨大特
国内色母与进口色母区别
939W乳液78W78W韩国
亚洲一卡2卡3卡4卡5卡127
亚洲尺码和欧洲尺码对照工具箱
健身教练60话顶到俐雅免费
公交车舒婷1一20全文TXT
TOBU7TOBU8大学生
在公交车上破了两个六年级小学生
迈开腿让尝尝你的CH宝宝
姐弟俩拔萝卜又疼又叫高新
一个农夫色导航
腿再分大点就可以吃到扇贝了视频
宝宝桌子上都是你的水
把腿开到最大就不疼了真的吗
WRITEAS花式PLAY
春色无边女儿国
男子故意失联不核检
王者公孙离爽到流泪流口水照片
男朋友在图书馆没人的角落做
bgmbgmbgm胖老太太东北
被男生口是一种什么体验
GAY空少被体育生开菊网站
王者荣耀瑶脸红享受流眼泪
有没有弄过儿子的吗
我在英语课上强干英语课代表
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1