有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
大象1区一品精区搬运机器
把腿抬起来靠墙上就不疼了
农场ZOOM与人性ZOOM区别
小护士献身取精
中日产幕无线码一区
女朋友的母亲3中语字追剧易
刮伦人妇A极一片
老子就是要上你在镜子面前
黄台软件2024
幼儿hiphop张婉莹仙踪网
仙踪林company Limited19
亚洲一线产区二线产区区别在哪
坐在老师的鸡叭上写作业
海贼王女帝被海军轮
马的太长了能进吗
MIGNON动漫
年轻的朋友5中文字幕
宝宝这才几天没做水就这么多故事
公孙离去所有衣服跳惊鸿
原神胡桃去掉所有服装不遮挡
黑白配高清HD1080完整版
学渣含着学霸的写作业
下课后的优等生未增删是什么
接电话对象插的说不出话
美美哒中文日本免费
中老年人的大BwBwB
欧洲无人区码SUV
S8Sp海外视频
趴在玻璃窗做给别人看的视频
男朋友咬我的小兔子头会发炎吗
97超碰在线视频人人av
BRANDILOVE超清在线
大叔轻一点可以吗
小洞饿了想吃大香肠的注意事项
你进来了吗我要开始叫了表情包
东北那旮瘩母与子
韩国的床震无遮掩
上坟时有三样东西不要上
日本实施一卡三卡四卡无卡免费
国岳的前妻照片
两个男生开车哭声声音视频
香草乱码一二三四区别
我的前任是极品第二季
棒棒糖放屁眼里吸收照片
樱桃视频首页在线观看
突然像尿了一样出了一股水
皇上撞着太子妃沈音
欲罢不能第三季打扑克名场面视频
我年轻漂亮的继坶bd
14岁学生迈开腿让打扑克网站
为什么到最里面越想叫
污到你那里滴水的视频
宝宝可以捅捅我的下水道吗
国内精品一卡二卡三卡
日本卡二卡三乱码新区
岳故意装睡让我挺进去观看
极乐园女子高寮物语
黑帮大佬和我的365未删减
果冻传媒免费观看一二
在无限游戏里花式挨C
帅气体育生GARY网站小蓝
整篇都是车的百合推荐
用大宝贝疏通下水道
WRITE AS 高中生
日韩欧洲亚洲SUV
斗罗大陆158集免费完整版
亚洲无人区码一码二码三码的特点
塞跳D的一天感受
老师拜托授课到天亮吧
家风贞静(禁忌GH)结局
下雨天留客天天留我不留
日月干夜夜干天天天啪
老人船上弄雨荷
女朋友把筷子放屁眼里不能掉
红豆视频在线观看免费播放
被兽人灌得鼓起来
男生女生一起差差差带痛声的完整
男团共享物 NP
甜蜜的惩罚未增删带翻译有翻译樱花
渺渺没擦黑板被老师C了一节课
电车之狼r调教攻略
原神女角色去掉全部衣物
大学校园1v3
用玉器养大的公主么么
wow动如脱兔
小学生C小学生
把筷子放屁眼里不能掉图片
我早就想在公司要你了视频
老公朋友的媳妇给老公送生日礼物
在车后面和岳坶做第一章
十八款禁用黄台入口APP
电影桃姐在线观看
帝台娇宠鸾帐欢公主端木摇
宝贝它想你了感受到了吗
学生的妈妈7中韩双字中国策
英语老师打开扣子让我上
被压到落地玻璃窗前的紧急救援
罗马帝国的艳情史
他一次比一次撞的重
没有我的允许不能流出来
青梅被从小摸到大H补课
欧洲VODAFONEWIFI一区
芭比之拇指姑娘
终于你离开我的世界
儿子暗示我想上我
中文在线4月4日快速反弹
杂交BUCSM人类SSBA
国产一品二品三品四品
张津瑜卫生间1080P
让学长干一次再写作业作文
陌陌万人睡小华佗视频
MD豆传媒一二三区
亚洲宅男天堂在线观看无病毒
艳姆1到6集转码在线观看1
坐在学长的上面写作业
我就在外面赠一赠
几天没C就痒了宝贝
宿主的任务是收集JY 小说
男生的坤坤放在女生的坤坤里蘑菇
沈阳45岁老阿姨喷了好几次药
镇远螺丝桥凶宅
1980美式保罗雪莉3
迈开腿我可以尝尝你的味道
男人的大鸟真实图片
女人吃男人精子图片
麻豆精选果冻传媒1.0.2
欲罢不能第三季打扑克名场面视频
韩漫漫画登录页面入口
扑克牌又痛又叫软件免费下载安装
禁用18软件APP葫芦入口
俺去啦最新地址
大炕上和岳偷倩
张津瑜的9分58秒7段哪里可以看
贺朝用棒棒糖桶谢俞
国内AI造梦鞠婧祎MV青岛
宝贝对着摄像头自己做忘羡
女神漫画登录页面免费网站
成绩好妈妈就给我一次作文
整集都做的美剧
金鳞岂是池中物侯龙涛
一加速就会哭的女孩子
为啥很多男的喜欢睡孕妇
男生把坤坤放入女生的坎
班长哭着说别再继续了
国产日产欧产精品精品软件
亚洲精华国产精华液有什么福利
小东西几天没做怎么这么多水视频
墨燃把楚晚宁按着c
精产国品一二三产品区别大吗知乎
吃瓜网-免费吃瓜黑料泄密爆料
带电动玩具上课
金田一少年事件簿r第二季
苏家有女苏杳免费阅读小说
最新果冻传媒MV在线观看视频
诱人的女医生中文字幕
往下边塞东西逛街是什么感觉
用...用点力快就好了
太凶猛了快撞烂了
人与畜禽共性的视频
国产线路3国产线路2
欧美IPHONEXSMAX免费
巴西任务qvod
教练把车开到没人的地方去了
老卫在船上弄雨婷
我朋友把我玩成了喷泉怎么办
女人吃男人精子图片
姐姐说家里没有我们就可以做
日产乱码一二三区别免费
老公总是吃我的奶奶该怎么办呀
如何在家中自罚隐私
太子被暗卫C到合不拢腿N男男
潘甜甜3段视频免费看
MAY18_XXXXXL
输了被罚让别人玩一个月
刺激的乱亲初试云雨
家里没人儿子就弄我了什么意思
性之图图吧2013
一个人偷偷看B站
10款禁止下的软件
新版猫咪永久地域网名
中国超大但人文艺术视频
再用点力今晚随你弄
男男车车好快的车车动漫
交流1V3多肉
为什么狗狗放我里面就变大图片
欧美精产国品一二三产品
好妈妈8中汉字
公大JI巴给你P
输了下面随便处置
冰块一粒一粒往下边塞
tobu8美国100
国外产品W灬源码1688
聂小雨视频3分25哪里可以看
18款禁用B站网址
把女朋友弄成小喷泉呢
手游走在腿的最里面
亚洲一线产区二线产区区别在哪
野花视频韩国免费观看
坐在木棒上写作业高V
宅男频道最新上架
忘忧草768mon二区
你看你的水 都拉丝了
男孩输了让对方随便处理自己
是不是B越小越好玩儿
果冻传媒MV国产推荐
这几天没C你了是不是皮痒
御宝天师无弹窗
妈妈的朋友7中国语
日本人算人类吗
娘王virgin
做到让你怀孕的樱花动漫
爸爸的比老公的大好多
免费体验120秒视频
97semeimei
东北speakingathome
爸爸我可以吃你的棒棒糖吗
多想再做一次你的姐姐作文范文
宝贝儿你看看它有多想爱你
坤吧放到欧派上
年轻的母亲5免费观看翻译
异地见面插上两天不下来
晚安おやすみせっ3在线观看
仙踪林18岁RAPPER潮水偷轨
wallpaper原神18入
韩国演艺圈悲惨事件种子
PO18脸红心跳官网地址是哪一
讲讲自己第一次细节真实知乎
八重神子乳液狂飙动
麻豆床传媒入口
做错一道题就被学长c一次
水蜜桃文化传媒有限公司
夜里十八款禁用粉色APP
课代表没带罩子给我抄了一节
李宗瑞108集在线观看
国产传媒蜜果冻天美传媒
晚上剧烈运动打扑克的软件
小城雨巷 高清
王总来我家老公不在
无人在线观看免费高清直播
天降女子未增删带翻译整集
天天射干2019快速 localhost
TOBU8美国24
校花被绑到男厕当尿器
欧美无人区卡1卡2卡3
夜里18款禁用B站大全
媲美欣刘老师56部密码
S货C货大声点叫
RUN AWAY韩国动漫免费阅读完整版
金花瓶梅花4金花瓶
CHINESE男男体育生腹肌网
桃花视频在线观看播放直播
一边做饭一边躁狂我该怎么办
yuanshayangli
被子里怎么体罚自己下面
男生插曲女生视频完整
大尺寸的小黄说字多肉办公室
撩到女生下面滴水的句子
4399影院在线观看免费视频BD
麻豆精产国品一二三区别
人的能进入羊的水门吗
女生戴一天仙女棒是什么体验
考试没考好成了全班的坐便器
随着公车车晃动进入
高冷男总裁憋尿被揉下面
漂亮妈妈的Logo
日韩卡一卡二卡乱码新区
鬼灭之刃祢豆子禁漫资源
男人和女人一起怼怼怼不要钱视频
欧美lauren philips100
宝宝腿开大点就不疼了免费视频
WRITEAS 教室
718吃瓜网张津瑜
怎样把自己C到哭
最美情侣中文观看完整版高清
办公室欧美大尺寸SUV
离婚了让父亲体验了一次
给你下水好多下水道
善良的秘书5中字巴巴鱼汤饭
三个搞你一个好不好
小兔兔经常被吸会有什么变化
JAPONENSISFES
抱着公主走一步撞一下视频
儿子一晚上要了我五回怎么办呀
bgmbgmbgm老妇60岁XX
西施欠钱不还用身体来还钱含羞草
男生和女生差差差30分电视剧
猫咪MV最新永久地域网名叫什么
2014年3月里番
一抽一出BGM免费3分钟
你好大你慢一点我疼国产片
越往下越疼那种
凤凰天使韩剧社
刻晴ちゃんがを腿法娴熟
WRITEAS骑马
叶玉卿 卿本佳人
恋之欲室 电影
双胞胎一前一后夹心饼干年下
s8视频在线播放
英语老师的兔子又大又软又好吃
GOGOGO高清免费看韩国
我的妻子的姐姐6观整有限中字
女生暑假自辱下面30天计划
宝贝你夹得我好舒
又粗又硬又长受不了
YIN荡体育课羞耻PLAY
我才上六年级就C过了作文
办公室的交易 韩国电影
Gary1609百叔的个人风格
在被子里怎么自己玩自己
8000元一晚上破三个
人物动物交互狗漫画
狗头萝呼啦圈视频26分钟低价 1080P
荡公乱妇第1章方情公憩系列大
每走一步楼梯就撞到最深处
交流1v3多肉软孕
中文字幕无线在线视频
小华佗事件陌陌
英语课代表趴下让我桶
免费的剧烈运动扑克网站
漂亮的邻居交换2
吃饭的时候还要顶连在一起
夜晚睡不着看B站
李白夹小玩具出门WRITEAS
中国14岁女rapper
蘑菇影视 我妈妈的职业
high school d d
整篇都是车的百合推荐校园
韩漫漫画登录页面免费漫画看秋蝉
朋友把我玩成小喷泉了
欧洲尺码与亚洲尺码差异分析
肥婆巨肥bbwbbwbbw国语
我38岁离婚后跟儿子睡
一前一后的动了起来
大哥二哥你们谁先来
老师家里没人你用点力啊
公交车上C了两个小学生
一龙二美妇观音坐莲
男生对女生迈开腿尝尝你的草莓
HIGH PRESSURE PRISON
linode日本
无翼乌无遮挡全彩教师漫画
某科学的触手姬
国精产品W灬源码1688在线N
14MAY18_XXXXXL7777
冰块和棉签弄出牛奶视频
51吃瓜热心张津瑜
洗澡三十分钟被公强玩
甘雨拔萝卜视频素材
鸣人九尾暴走需要女人三天手鞠
再见前任4在线播放免费观看高清
宝贝我想看你的喷泉了什么意思
亚洲乱码一卡二卡卡3卡4卡
《我的年轻漂亮继坶》
一面膜上边一面吃下边免费
叫女生捏自己的小兔兔的视频
疯狂伦交550篇小说合集
塞跳D的一天感受
忘记带罩子让他摸了一节课作文
李信抬起阿离的腿就是C视频
偷看各类wc女厕嘘嘘
第一会所s001
迷情娇妻第104章在线阅读
年轻的妈妈的中字巴巴鱼汤饭
一个人看的片BD高清动漫
丝瓜草莓榴莲深夜释放自己
WRITE AS 自己分开
金瓶酶全集电影
坐在学长的棒子上写作业作文片段
男的插曲女的叫视频
厨房里的激战2海外版
游戏输了让同学玩全部位置
亚洲和欧洲一码二码区别在哪儿
扯掉衣服两只小兔子
娇妻玩4P被3个男子伺候辣文
斗罗大陆txt全集
bgmbgmbgm老太太水太多
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1