有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
厨房强奷同学麻麻
灯草和尚txt下载
坐公交车居然弄了2个小学生
rookie女朋友小钰
久久自己只精产国品
女生说疼男生越来越往里寨APP
欧洲洲一区二区精华液
父母儿女互换干
把极品白丝校花啪到腿软
王者公孙离害羞流口水的表情
求你把跳d遥控器关了
上楼梯每走一步就撞得更深
迈开腿让我尝尝你的草莓什么味
爱情岛论坛首页推荐
高清无码成本人视频
妇少水多18p
CHINESE体育GARY网站
RH男男车车好快的车车片段
迈开腿让尝尝你的CH宝宝
晚上家里没人就让你弄
二十四种阴性外貌形状
妈妈的朋友在完整有限中字
按住腰往上顶弄 滚烫
从厨房干到沙发再到卧室图片
在后车座上的疯狂做I
麻豆画精品传媒2021网站入口
群飞杨幂刘亦菲杨颖佟丽娅
一加速就会哭的女孩子
两根硕大一起挤入小雪
love rain
宝贝打开腿一点也不疼
我做错一题他们就C我一次
四房色播开心网
TPU色母与PA6色母互换
男生说把你填满了怎么回答
痳麻让我挺进她的黑森林电子书
人间小喷泉1V3HL笔趣免费看
宝宝腿再抬高点就不疼了
男朋友要再做一次才同意分手
A最大但人文艺术
今日蚂蚁庄园正确答案
2023最大间谍案
彩虹男.2022小蓝大叔
siro-1063
一男一女打扑克是什么意思
性饥渴的女邻居HD免费观看
杨幂AI换脸视频
maya已确认满18我们严重反对
欧洲LV尺码大
0ADC大驾光临未满十八岁
王尹平竹子走秀照片
人妻无码AV中文系列
日产无人区一线二线三线乱码蘑菇
迈开腿给我尝尝你的森林味道
麻豆精产国品一二三产区区
校花被绑到男厕当尿器
2021今天沈阳爆炸事件刚刚
张婉悠厕所门快播
腿再开一点我就能吃到扇贝了
蜜芽忘忧草二区大豆行情网烧仙草
女人能接受开三门吗
被C到醒是一种怎样的体验
蜜桃日本MV免费观看
超砸在线观看免费视频
王中磊玩过的女人
叔叔说我体内有虫子
迈开腿让我尝尝你的草莓什么味道
GTV小蓝视频网站链接知乎
你弄得人家里都是水的
接电话插的说不出话
avop-119
菠萝菠萝蜜一区别1688
一亲二膜三叉四强五注射应用免费
叶玉卿 卿本佳人
成人优品24小时自助售货店商品
女生把筷子放屁眼里不能掉视频
蜜芽737.mon.忘忧草大豆网
mide-007
深度开发1v6笔趣阁
老赵抱着媛媛在厨房作爱视频
几个老爷弄一个丫头的说说
双人床上做的运动打扑克软件
撩到女生下面滴水的句子小说
给我播放片高清MV清晰在线观看
镇远螺丝桥真实故事
性系MACBOOKPRO高清
彩虹男孩GARY视频
厦门路虎事件2分38秒
YEEZY700好硬
漂亮的小峓子中字HD电影
翁熄小莹(奇思妙想)第二篇
精品乱码卡一卡2卡三免费
二指探洞很舒服吗
亚洲和欧洲一码二码区别
写得很细的开车秒湿故事作文
日本人文艺术欣赏PPT图片下载
3个人同时玩一个人
秘密教学93话恩爱
英语课代表趴在桌子上让我抄
可以随意触摸内部位的rpg游戏
漂亮的记者韩剧在线播放免费
mimk-009
女生最害怕的情侣玩具
蜜桃成熟时33d bt
为什么你越叫顶的越猛
精品卡一卡二新区入口
我坐在有木棒的椅子上写作业视频
用手指轻轻按着并来回移动
一个上面吃一个下吃视频试看
78M-78MAP
小乌酱黑白双丝交足视频
打扑克直播下载软件免费
淑芬两腿间又痒又疼的原因
八重神子把乳液喂给吃旅行者
想被男朋友c但不好意思说
xl上司带翻译樱花动漫带翻译
快速抽的时候发出声音
我年轻漂亮的继坶4
腿再张大一点就可以吃扇贝
rh男男车车的车车视频软件
两人打扑克剧烈运动又疼又叫
不知火舞被三个小男孩浮虏
麻花传媒网站永久入口视频
野花高清在线观看免费全集7
400aicom情艺中心
男人大鸟硬起来图
体育课被c了一节课怎么办
雷神ちゃんが部下を麻烦
LINODE日本IPHONE强汉HD下载
维多利亚一号未删减版
麻豆画精品传媒2021免费
12种B哪种最好玩是哪12种
父母儿女一家换着玩的文案
灵狐者全身透视图
说说你们老公夜里怎么搞你的
深夜动态福利GIF动态图900期
刚满十八岁女生穿衣搭配
老公爱吃我奶奶 但有时候很痛
tudouwang
女性的阴性部实图张开
做错了题就让学长C一次视频
我一边做饭一边被躁了男男
他的手放在了我的珠穆朗玛峰上
学渣含着学霸的攻写作业
空姐前规则高清观看韩国
兄妹方程式多R车多1V3
世界上最不安心的人
污污免费看锕锕锕锕锕锕锕
善良的老师3完有限中字木瓜
亚1州区2区3区4区产品国色
男男车车好快的车车有点污的网站
榴莲视频APP在线无限看免费-丝瓜苏州晶体
迈开腿我们换个地方C视频
18C MIC新地址
B站大但人文艺术图
风间由美 熟女
日本对澳大利亚
爸爸吃饭也要和我连在一起
xiaav 论坛因你而精彩
无人区码一码二码三码区别新月
饭桌上故意张开腿让公在线观
696969大但人文艺术来源
日本一卡二卡三卡四卡在线观看免费软件
父母儿女媳妇一起来的寓意
温文尔雅1V2H
乖好好含着待会就给你
迈开腿让我尝尝你的扇贝故事
成片人卡1卡2卡3免费版
王者荣耀西施张嘴流眼泪图
美女洗澡把胸和屁股扒开给别人看
打扑克视频用点力有声音
欲罢不能第三季打扑克名场面视频
美国Zoom人与Zoom
把英语课代表按着抄视频
小仙女把JIOJIO放在坤巴上
2人轮换玩的感觉
伽罗太华的乳液
中国人も日本人も汉字を
一亲二膜三叉四强五注射网
我被同学按着做了4个小时
双人床上剧烈运动作文
5G天天奭5G天天运动快点播5G16M
看完就起反应的文章段子
坐公交车失去了第一次
JEALOUSVUE成熟50
一体6交是哪6个地方
小东西你抖得好厉害
吃男人大鸟硬起来图
COSMO OIL
日本摩天轮变办公室
亚洲1卡2卡三卡4卡2021
0ADC大驾光临未满十八岁5G
精产国内经彩一二三产品区别在哪
什么软件可以看打扑克
双指探洞要喷了I
侯马市性侵事件视频
坐着震动器写作业朝俞WRITEAS
深入交流1V3
欧洲vodafonewifi侏儒
宝贝错一题c一次漫画
高嫁肉柳1一5集免费
5G在视影讯5G探花
新版猫咪地域网名入口3.0
我把英语课代表抄哭了
开心四房播播网
成熟交BGMBGMBGM在线看
psp太鼓达人dx dlc
给女孩子疏通下水道
新最终痴汉电车
品色永远免费堂论坛
抖音奶片故意走漏15秒图片评论
我的很大你忍一忍
艳情短篇160章
美国十次啦色播
吃瓜网最新官网地址
网站你懂我意思吧最新
老师两个大兔子抖来抖去视频
人曾交互mouse农场
樱井莉亚百度影音
家里没人叫大声点干湿你
春暖 花开cc炎狼
宝贝我跟你老公比谁的更大
浴室狂欢BD未删减
二人扑克剧烈运动打扑克视频
雨后的故事视频
一边伸舌头一边快速喘气怎么回事
秘密教学60话好像可以照我的
体育课被老师C了一节课作文
最近最新在线观看免费高清完整版
腿开到最大真的就不疼了
Jessica Jaymes女猎人
蜜桃成熟时3 qvod
学渣坐在学霸的鸡叭上写作业
好快啊哈哈哈哈
课后辅导(教室羞耻PLAY慎入)
最新的ZOOM动物马
jy被堵肚子胀得厉害
男女一起差差差很疼痛软件
为什么日的越快叫的也快
我和姪女小婷上下耸动
迈开腿往里怼冰块双男主微
国产SUV精品一区二区33
WRITEAS 灌水
国外精产品W灬源码1688网站
趴玻璃上做给别人看宝贝
年轻的小峓子3韩国在钱
顶的速度越来越快越叫的作文
2022GGY钙同
父之过家庭大杂乱经典说说
抖音成长人视频B站
16岁日本学生MACBOOKPRO评测
一下下的撞着公主
最美情侣高清免费观看视频
女人能接受开三门吗
漂亮的保姆3完整版
奔现做了一晚的细节
RAPPER一姐潮水仙踪林欢迎您
后车座的剧烈运动
天天躁人人躁人人躁狂躁
老师洗澡让我进去桶她
对象咬自己小兔兔的感受
男生安慰自己的插画动漫
家里什么东西能当阳具
把腰抬起来一点我不好发动
镜被捅了流口水流白色液体
大团圆结亲情会高洁
敌伦小芳的第一次
儿子晚上家里没人就让你弄
日本亲子乱子伦XXXX50路
葫芦里面不卖药千片万片你需要
用点力今天家里就你和我
男生讲讲自己第一次细节真实
野花韩国视频观看免费高清8
大菠萝福建app导航入口
照着镜子看我怎么C你
八重神子的神罚
够了够了已经满到高c了楼道
Zoom与人性Zoom的区别
夜深了看点刺激的哔哩哔哩
桃花视频在线观看完整版
两个家庭换女儿玩
王者荣耀女英雄脸上全是白色液体
大炕上开嫩苞小说
陪儿子读书发生的事是真的吗
一面亲上边一面膜
李宗视频全集下载
ysl水蜜桃色推荐17
成品网站W灬源APP免费
家里没人半夜就和妈妈搞
坐在木马的木棒上公主
妈妈哭着叫我带上套
深度开发1V3全是肉
简隋英哭着喊着让李玉退出去
徐莹 非诚勿扰
双男主全车车的腐肉
拉开拉链它想你了给他好不
禁天漫堂网站进入
没带罩子让捏了一节课感受
免费网站在线观看人数在哪儿找
鹡鸰女神第3季
熟妇人妻无乱码中文字幕真矢织江
无翼乌全彩无漫画大全老师
2012日本高清免费中文
认命吧!金牵牛
哪种BB最好看
最美情侣高清免费
师娘求放过韩国电影完整观看
一杆长枪直入两扇门
父母儿女媳妇一起来玩的说说
被C到醒是一种怎样的体验
maya确认您已年满
爸爸的东西又大又黑怎么形容
蜜桃123图片
刘耀文在宋亚轩塞震动
欧洲一卡2卡三卡4卡毛1
0adc影库年龄确定
这个杀手不眨眼2
我的很大你要忍一下是什么
小学生C小学生
白妇少洁高义全文阅读
成片人卡1卡2卡3手机免费看
我把美女日出了白将
心动时刻简简单单爱
折腰小说开车名场面
jealousvue成熟分类
动漫人物打扑克牌的剧烈运动
绝品儿媳苏暖免费阅读
成都影院手机观看免费观看
别墅轮换游戏五对情侣
我的小乖乖徐韵婷5
插曲视频尖叫无挡视频
xxxholic 春梦记
诱人的女邻居2中文字幕在线
坐在学长的棒子上写作业作文片段
芳草地社区在线视频
如何骑枕头上下移动图片
姐家里没人用点力
女人被添荫蒂的口述
中国国产免费毛卡片
白丝脚上的浓浓的精华液
军舰上女兵免费高清原声满天星
怎样自w到高c有图片
拉开拉链它想你了给他好不好视频
B站大但人文艺术舞蹈推荐
最近最新中文字幕MV免费
荷兰少归BVBV
XL上司第樱花未增删带翻译
双指探洞手势图片
穿了内衣却有一半乳晕没遮住
两扇红唇夹玉柱下联一道清泉
绝望教室动漫免费全集
孙尚香站在凳子上辅导刘禅写作业
两个男孩子开车小黄说
啦啦啦BD在线观看视频
BGMBGMBGM老太太毛多多
直到纯洁的你沦陷未增删谢谢
我好像找到你的敏感点了宝宝
德国女子突击队
麻花豆传媒剧国产MV天美
把腿抬高点添的才舒服总裁
几天没C你是不是痒了好多水作文
上课带着跳D是什么体验
秘密教学92你可以随意秋蝉
少汪几句番外2(6)肉
父母儿女一家换着玩的句子
小SB是不是又欠C了
人与畜禽共性关系美国
成熟交bgmbgmbgm
ほーすているのエロ中文
三夫妻进行多人运动
我想吃你的小白兔
野花香社区论坛
亚洲XXXXXLMEDJYF邻居
网址你知道我的意思的
九阴真经野草坐标
姥姥今晚都是你的
八重神子被焯出白水网站
如何把女朋友弄成小喷泉呢视频
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1