腾讯云AI超级底座新升级:训练效率提升幅度达到3倍
- 来源: 财经网 2023-09-08 14:55:53
大模型推动AI进入新纪元,对计算、存储、网络、数据检索及调度容错等方面提出了更高要求。在9月7日举行的2023腾讯全球数字生态大会"AI超级底座专场"上,腾讯云介绍异构计算全新产品矩阵"AI超级底座"及其新能力。
腾讯云副总裁王亚晨在开场致辞中表示,AI大模型就像是一场F1比赛,腾讯云专门设计了星脉高性能算力网络"赛道",并自研了TiTa和TCCL网络协议作为"车载导航和道路控制系统",共同让"HCC GPU服务器"这台马力强大的F1赛车发挥最大的算力性能,助力客户在AI大模型的竞争中遥遥领先。
(资料图片)
腾讯云全新异构计算产品矩阵"AI超级底座"亮相
随着AI应用走向全领域,模型参数发展到千亿、万亿级规模,对云计算的基础设施提出了全新的挑战。腾讯云异构计算产品总监宋丹丹表示,AI 超级底座可以从底层算力基础设施到上层应用对接提供整套完整服务,方便模型生产厂商和AI开发者快速开发、验证。
腾讯云AI超级底座具有海量算力、极致性能、灵活取用等优势,结合了腾讯云的海量多元算力、高性能网络和存储集群,并以云原生产品作为入口供开发者灵活调用。在软硬结合层,腾讯云还可以通过GPU虚拟化、容器等,以及高性能应用服务HAI给开发者提供简易的开发体验,并让底层的高性能算力无损直达开发者,真正实现"高性能易上手"。
基础设施再进化,取之AI,赋能于AI
作为AIGC时代的重要核心,大模型需要庞大的算力来支撑。腾讯云高性能计算集群产品 HCC采用腾讯云星星海自研服务器,提供高性能、高带宽和低延迟的集群算力。目前,HCC已全面升级至2.0,性能、效率和稳定性实现全面提升,相比上代训练效率提升幅度达到3倍,将几十天的训练周期缩短至一周内。
此外,腾讯云还推出了性价比更高的冷存储产品、COS加速器,以及数据湖多级加速体系,可面向AIGC等多种业务场景提供多级缓存加速方案,进一步提升训练效率并降低资源成本。腾讯云存储产品总监崔剑指出,腾讯云通过提供近存储侧的一站式数据处理智能平台,为以AIGC为代表的业务提供内容处理、内容审核等服务,帮助用户挖掘数据价值,从而实现了"取之AI,助力AI"。
腾讯云公网产品负责人俞圆圆指出,对于参数达到千亿、万亿级别的AI 大模型来说,大带宽、低延时、广覆盖、少抖动的网络是实现高效训练的关键因素之一。腾讯云星脉高性能计算网络具备业界最高的3.2T 通信带宽,可为AI大模型的训练提供高速公路级别的网络通道。
软硬件结合,提升极致性能
底层基础设施以外,AI大模型的落地也需要上层软件的支持。腾讯云异构计算AI研发专家工程师叶帆表示,随着集群规模的增加,无论训练还是推理对硬件性能的利用均呈现指数难度上升,需要精细的软硬件协同来提升性能。腾讯云的Taco-LLM开箱即用性能方案基于Continuous Batching、预测解码、模型量化等技术,提高吞吐的同时,也降低了客户端延迟,并全面兼容hugging face主流大语言模型,可保障复杂多变的公有云应用场景。
针对GPU算力资源浪费的问题,腾讯云TencentOS高级产品架构师杜震表示,qGPU容器产品可以支持多个容器共享 GPU 卡,具备了各容器间算力、显存的精细隔离和灵活配置,将GPU的利用率提升至极致,最终帮助客户大幅节约GPU资源成本。同时,腾讯云还基于 RUE 内核全场景混部,统一调度分配 CPU、IO、网络、内存等资源,提升资源利用率,进一步降低运营成本。
向量数据库加速企业AI化进程
在大模型时代,通过向量数据库将数据高效接入AI大模型,并深度挖掘数据价值,成为最重要的事。
腾讯云数据库产品副总经理罗云指出,腾讯云向量数据库同时具备的性能和规模优势,支持高达10亿级的向量检索规模,延迟则控制在毫秒级,比传统单机插件式数据库检索规模提升了10倍。同时,腾讯云向量数据库还具备百万级每秒查询(QPS)的峰值能力,经腾讯内部海量场景实践,数据接入 AI 的效率比传统方案提升10倍,运行稳定性高达99.99%。
从底层到上层,腾讯云AI超级底座通过大模型高性能计算集群、计算网络以及向量数据库等大模型生态工具,助力AI大模型应用落地。
标签:
【免责声明】
1、凡本网注明出处非(巨潮财经网)的作品,均转载于自其它媒体,并不代表本网赞同其观点和对其真实性负责,目的在于信息的传递,本网不承担稿件侵权行为的连带责任,如对稿件有质疑请与本网客服联系。
2、刊发此文目的在于传递更多信息,文章内容仅供参考,不构成投资建议,投资者据此操作,风险自担。
3、如涉及作品内容、版权等其它问题,请在15日内联系本网客服。
-
-
腾讯云AI超级底座新升级:训练效率提升幅度达到3倍
大模型推动AI进入新纪元,对计算、存储、网络、数据检索及调度容错等方
2023-09-08 14:55:53
-
-
本田将在北美采用特斯拉NACS充电标准
近日,本田发布声明称,已同特斯拉达成协议,自2025年起在北美上市的电
2023-09-08 14:59:54
-
-
腾讯云携手中国信通院正式发布《智算赋能算网新应用白皮书》
9月8日,在2023腾讯全球数字生态大会数智运营商专场,腾讯云聚焦运营商
2023-09-08 15:00:29
-
-
腾讯全球数字生态大会:升级云、图底座,助力汽车“新智能”发展
在大模型的推动下,汽车产业正走向智能化发展新阶段。9月8日,2023腾讯
2023-09-08 15:03:37
-
-
腾讯发布数智人伙伴扶持计划,覆盖直播运营、营销代理、MCN等领域
为了推动数智人服务更广泛落地,以 "普惠化 "服务走入千行百业,在9月7
2023-09-08 14:59:28
-
-
腾讯云AI超级底座新升级:训练效率提升幅度达到3倍
大模型推动AI进入新纪元,对计算、存储、网络、数据检索及调度容错等方
2023-09-08 14:55:53
-
-
腾讯云分布式云新实践,助力企业高效建云、上云、用云、管云
9月7日,2023腾讯全球数字生态大会「分布式云专场」上,腾讯云介绍了分
2023-09-08 14:56:38
-
-
本田将在北美采用特斯拉NACS充电标准
近日,本田发布声明称,已同特斯拉达成协议,自2025年起在北美上市的电
2023-09-08 14:59:54
-
-
腾讯云携手中国信通院正式发布《智算赋能算网新应用白皮书》
9月8日,在2023腾讯全球数字生态大会数智运营商专场,腾讯云聚焦运营商
2023-09-08 15:00:29
-
-
腾讯云发布智能制造WeMake 2.0,四大方向加速制造企业智能化升级
"当下中国经济正处于‘韧性’发展阶段,机会与挑战并存。制
2023-09-08 15:04:49
-
-
腾讯全球数字生态大会:升级云、图底座,助力汽车“新智能”发展
在大模型的推动下,汽车产业正走向智能化发展新阶段。9月8日,2023腾讯
2023-09-08 15:03:37
-
-
腾讯发布数智人伙伴扶持计划,覆盖直播运营、营销代理、MCN等领域
为了推动数智人服务更广泛落地,以 "普惠化 "服务走入千行百业,在9月7
2023-09-08 14:59:28
-
-
9月8日 14:17分 澳华内镜(688212)股价快速拉升
分时图快速拉升意味此时存在大单买入,在大单的推动下,股价快速地上涨
2023-09-08 14:19:20
-
-
腾讯智慧交通升级AI+双轮驱动架构 加速产业智能化转型
大模型带来高水平智能,推动产业加速进入智能化时代。9月8日,2023年腾
2023-09-08 14:03:41
-
-
菜百股份上市两周年:产品、渠道矩阵全面腾飞 创新发展打开营收空间
2023年9月9日,北京菜市口百货股份有限公司(以下简称 "菜百股份 ")迎
2023-09-08 13:54:03
-
-
国风秋韵免预约,古北水镇国风红叶季官宣!
万物悦秋色,清梦入星河。2023年9月15日-10月30日,古北水镇 "国风红叶
2023-09-08 14:00:31
-
-
白酒行业正陷入“中年危机”,酒企频频跨界意在年轻消费者
茅台看似不务正业的跨界,其背后凸显的正是对年轻消费群体的关注。不管
2023-09-08 13:40:49
-
-
珠江频道在线直播软件(珠江频道直播在线直播观看)
荔枝台珠江直播app可以看到珠江台直播。根据查询相关公开信息显示,荔
2023-09-08 13:12:29
-
-
喜马拉雅推出白酒SIVA营销模型 助力白酒品牌触达消费者关键时刻
9月7日,在四川省酒类流通协会与喜马拉雅、群邑集团举行战略合作签约仪
2023-09-08 13:05:51
-
-
腾讯钟翔平:交通汽车步入智能化下半场 大模型等AI技术成为新变量
9月8日,2023腾讯全球数字生态大会智慧交通专场、智慧出行专场在深圳举
2023-09-08 13:03:06
-
-
树兰医疗递表港交所 秉持“干细胞分裂”策略推动集团差异化发展
近日,据港交所公开披露文件,树兰医疗管理股份有限公司(简称:树兰医
2023-09-08 13:04:20
-
-
新政丨南京:四区范围内购买商品房不再需要购房证明
财经网讯9月8日,据 "南京发布 "消息,为贯彻落实中央关于全面支持居民
2023-09-08 12:56:32
-
-
腾讯全球数字生态大会:升级云、图底座,助力汽车“新智能”发展
在大模型的推动下,汽车产业正走向智能化发展新阶段。9月8日,2023腾讯
2023-09-08 12:57:58
-
-
理想汽车:暂无进军自动驾驶卡车领域的计划
财经网汽车9月8日讯,据界面新闻报道,理想汽车正在筹划进军自动驾驶卡
2023-09-08 12:54:26
-
-
锚定“智能制造”,腾讯携手苏州市吴江区共建工业互联网江苏总部基地
9月7日,2023腾讯数字生态大会智能制造专场现场,腾讯云和苏州市吴江区
2023-09-08 13:04:52
-
-
腾讯智慧零售陈菲:做零售企业的全面合作伙伴,推动零售生态加速演进
9月8日,2023腾讯全球数字生态大会智慧零售专场于深圳宝安启幕,众多行
2023-09-08 12:51:58
-
-
腾讯云和仪征市政府达成合作 打造区域数字赋能基地标杆
9月8日,腾讯云和江苏省仪征市政府在2023腾讯数字生态大会-智能制造专
2023-09-08 13:05:22
-
-
快讯 | H&M将与Heron Preston开创H2协作平台
财经网生活讯近日,H&M宣布与HeronPreston签订长期合作协议,双方将共
2023-09-08 13:05:45
-
-
999积分兑酱香拿铁!为什么招行信用卡总能做「第一」?
今天,你喝「酱香拿铁」了吗?醒目的「茅台红」纸袋、热搜上的「瑞幸,
2023-09-08 12:34:00
-
-
“清仓式减持”细节曝光!我乐家居大股东道歉,承诺“尽快购回”违规减持股份
两日套现超3亿
2023-09-08 12:12:44
-
-
A股午评:三大指数齐跌 沪指逼近3100关口 华为概念股继续活跃
A股主要指数震荡下行,华为概念及光刻胶概念多股涨停
2023-09-08 12:12:10
-
-
600吨/日!福建上杭生活垃圾焚烧发电PPP项目正式投产发电
日前,福建龙岩上杭生活垃圾焚烧发电PPP项日两炉一机一次通过72+24小时
2023-09-08 12:17:11
-
-
高原来的赤麻鸭,到外滩“走亲戚”
搭乘全球首条“农业高铁”步入绿色集市“荒漠”主题区,你能看到蚂蚁森
2023-09-08 11:56:39
-
-
郑州:聚焦新能源及智能网联汽车产业 完善汽车整车厂与产业链供应体系
财经网汽车9月8日讯郑州市人民政府印发郑州市加快城市国际化全面提升竞
2023-09-08 11:56:20
-
-
卖断货!瑞幸回应:正加急采购飞天茅台、将长期售卖
今天你酱香拿铁了吗?9月7日,贵州茅台和瑞幸联名的酱香拿铁的热度依然
2023-09-08 11:56:00
-
菜鸟驿站怎么加盟电话(菜鸟驿站怎么加盟)|世界热闻
-
全球消息!封神榜哪吒封的什么神位_妲己封神后叫什么神
-
热讯:热点追踪 | 司美格鲁肽新适应症上市申请获受理, 多家药企争夺GLP-1类药物减重市场
-
上交所发布关于杭州热电相关情况的通报:上交所 快资讯
-
东北石油大学推动主题教育成果见行见效_世界报资讯
-
天天微动态丨机械设备行业周报:5月PMI仍处收缩区间,政策频出看好机器人产业链投资机会
-
多重因素催化,电子ETF(515260)连涨8日!主力百亿资金持续猛攻电子,如何布局?
-
一周最龙岗|深圳最大儿童公园进度条更新,预计年底开放
-
恋爱密语聊天实战_恋爱密语
-
抖空竹 打快板|东里街道恒大第一社区:非遗文化进校园