英特尔至强处理器助力Aible加速生成式AI工作负载

发布者:EE小广播最新更新时间:2024-06-28 来源: EEWORLD关键字:英特尔  至强  处理器  AI 手机看文章 扫描二维码
随时随地手机看文章

对于需要运行生成式AI工作负载的企业来说,基于英特尔至强处理器的Aible无服务器解决方案可帮助其降低成本、提高智能化,并有效提升RAG及微调效率


近日,英特尔与端到端Serverless(无服务器)生成式AI和增强型分析方案提供商Aible合作,为企业客户提供了创新的解决方案,助力其在不同代际的英特尔®至强® CPU上运行生成式AI与检索增强生成(RAG)用例。此次合作包含了工程优化和基准测试项目,显著增强了Aible以低成本为企业客户提供生成式AI结果的能力,并帮助开发人员在应用中部署AI。在双方的通力合作下,该可扩展、高效的AI解决方案可通过高性能硬件帮助客户迎接AI挑战。


image.png

英特尔至强处理器


英特尔数据中心与人工智能事业部高级首席工程师Mishali Naik表示:“现在,客户正在寻求高效的企业级解决方案以充分释放AI潜力。我们与Aible的合作,也表明了英特尔正与行业紧密协作,推动AI创新,降低客户使用英特尔至强处理器运行最新生成式AI工作负载的门槛。”


至强处理器的生成式AI性能:Aible的解决方案展示了CPU如何显著提升从运行语言模型至RAG的一系列最新AI工作负载性能。基于针对英特尔处理器的优化,Aible技术采用高效、智能的“端到端无服务器”方法,仅在产生用户请求时才会进行资源消耗。例如,基于用户查询,向量数据库仅需几秒即可激活并检索相关信息,而语言模型同样只需简单启动即可处理并响应用户请求,这种按需操作的运行模式有助于企业降低总拥有成本(TCO)。


虽然在多数情况下,RAG功能需通过利用GPU和加速器的并行处理能力来实现,但Aible的无服务器技术与英特尔至强处理器相结合,可使RAG用例完全由CPU来驱动。性能数据显示,多款不同代际的英特尔至强处理器均可高效运行RAG工作负载。


image.png

配置详细信息如图,结果可能会有不同


重要意义:Aible通过无服务器的方式使用CPU,可在多个客户之间更为安全地共享底层计算资源,从而帮助客户有效降低生成式AI项目的运营成本。这种降低成本的方式可以类比为用户仅需在使用时购买电力,而非直接租赁发电机。此外,随着生成式AI需求的增长,性能优化和节能降耗变得愈发重要。Aible所提供的基于CPU的服务,为客户提供了一种经济、高效的解决方案。


根据Aible的基准测试分析,当客户采用基于CPU的无服务器解决方案运行RAG模型时,成本节省可高达55倍1。大幅降低的成本证明了Aible独家方法的有效性,同时这种无服务器的CPU采用方式也减少了通过共享服务或专用服务器构建更为昂贵的、基于GPU的基础设施需求。


此次英特尔及英特尔实验室与Aible的合作,共同优化了至强处理器上的AI工作负载。值得一提的是,通过优化Aible针对AVX-512的代码,Aible在至强处理器上实现了显著的性能及吞吐量提升,这也彰显了战略性的软件优化对于整体效率的影响。


在Aible平台的支持下,RAG模型与英特尔至强处理器的结合可推动以下应用落地:


  • 自然语言处理(NLP)

  • 推荐系统

  • 决策支持系统

  • 内容生成


英特尔与Aible的合作始于第四代至强处理器的发布。此后,双方针对至强处理器的AI工作负载、代码和库进行了一系列优化,并大幅提升了Aible的产品性能。


1 英特尔不控制或审计第三方数据。您可咨询其他来源以评估准确性。


配置详情: 


1节点,2x英特尔®至强® Platinum 8280L CPU,2.70GHz, 28核心,HT开启,Turbo开启,NUMA 2,集成加速器可用[已使用]:DLB 0 [0],DSA 0 [0],IAA 0 [0],QAT 0 [0],总内存384GB (12x32GB DDR4 2933 MT/s [2934 MT/s]),BIOS SE5C620.86B.02.01.0017.110620230543,微码0x5003604,2x以太网连接X722用于10GBASE-T,1x 894.3G英特尔SSDSC2KB96,1x 1.8T英特尔SSDPE2KX020T8,2x 3.7T英特尔SSDPE2KX040T8,Red Hat Enterprise Linux 8.9 (Ootpa),4.18.0-513.18.1.el8_9.x86_64,WORKLOAD=Aible端到端RAG-LLM,模型=Mistral-7B-OpenOrca-GGUF,all-MiniLM-L6-v2,gcc 12.2.0,IntelLLVM 2024.0.2,llama.cpp,ChromaDB,Langchain,oneAPI基础容器2024.0.1-devel-ubuntu22.04。基于英特尔03/07/24的测试。

1节点,2x英特尔®至强® Platinum 8462Y+,32核心,HT开启,Turbo开启,NUMA 2,集成加速器可用[已使用]:DLB 2 [0],DSA 2 [0],IAA 2 [0],QAT 2 [0],总内存512GB (16x32GB DDR5 4800 MT/s [4800 MT/s]),BIOS 05.12.00,微码0x2b0004d0,2x BCM57416 NetXtreme-E Dual-Media 10G RDMA以太网控制器,2x以太网控制器E810-C for QSFP,2x 3.5T三星MZQL23T8HCLS-00B7C,1x 1.8T三星MZ1L21T9HCLS-00A07,Red Hat Enterprise Linux 8.9 (Ootpa),4.18.0-513.18.1.el8_9.x86_64,WORKLOAD=Aible端到端RAG-LLM,模型=Mistral-7B-OpenOrca-GGUF,all-MiniLM-L6-v2,gcc 12.2.0,IntelLLVM 2024.0.2,llama.cpp,ChromaDB,Langchain,oneAPI基础容器2024.0.1-devel-ubuntu22.05。基于英特尔03/07/24的测试。

 1节点,2x英特尔®至强® PLATINUM 8562Y+,32核心,HT开启,Turbo开启,NUMA 2,集成加速器可用[已使用]:DLB 2 [0],DSA 2 [0],IAA 2 [0],QAT 2 [0],总内存512GB (16x32GB DDR5 5600 MT/s [5600 MT/s]),BIOS 3B05.TEL4P1,微码0x21000161,2x以太网控制器X710用于10GBASE-T,2x以太网控制器E810-C for QSFP,1x 894.3G英特尔SSDSC2KG96,1x 3.5T三星MZQL23T8HCLS-00A07,3x 3.5T三星MZQL23T8HCLS-00B7C,Red Hat Enterprise Linux 8.9 (Ootpa),4.18.0-513.18.1.el8_9.x86_64,WORKLOAD=Aible端到端RAG-LLM,模型=Mistral-7B-OpenOrca-GGUF,all-MiniLM-L6-v2,gcc 12.2.0,IntelLLVM 2024.0.2,llama.cpp,ChromaDB,Langchain,oneAPI基础容器2024.0.1-devel-ubuntu22.06。基于英特尔03/07/24的测试。


关键字:英特尔  至强  处理器  AI 引用地址:英特尔至强处理器助力Aible加速生成式AI工作负载

上一篇:英特尔实现光学I/O芯粒的完全集成
下一篇:【Molex】新品速递丨MX60千兆以太网非接触式连接解决方案

推荐阅读最新更新时间:2024-11-17 04:18

高通人执掌英特尔?要的就是新鲜感
    英特尔在去年年底宣布,现任 CEO Paul Otellini 将于 2013 年五月退休,而继任者尚未确定。眼看 Otellini 离任的日子越来越近,但英特尔却还没决定下一任掌门人由谁来担当。 依英特尔的惯例,CEO 将在公司内部产生,Otellini 在宣布退休计划时也提任了三位高管为执行副总裁。不过据 QZ 报道,Otellini 继任者候选名单中包括摩托罗拉前 CEO Sanjay Jha。Sanjay 不仅从未服务于英特尔,他更是一名高通的老员工。 随着移动端的兴起和 PC 行业的滑落,没有抓住移动发展机遇的英特尔正遭遇前所未有的危机。自去年年底高通市值第一次超越英特尔以来,英特尔与高通之间的距离被慢慢拉开——
[手机便携]
ARM处理器简介
  在关注Android的时候,有一些CPU架构方面的术语知识需要给自己补充的。主要有ARM、X86/Atom、MIPS、PowerPC,其中ARM在智能手机上面一枝独秀:)   其中ARM/MIPS/PowerPC均是基于精简指令集机器处理器的架构;   X86则是基于复杂指令集的架构,Atom是x86或者是x86指令集的精简版。   根据各种新闻,Android在支持各种处理器的现状:   ARM+Android 最早发展、完善的支持,主要在手机市场、上网本、智能等市场;   X86+Android 有比较完善的发展。有ATOM+Android的上网本,且支持Atom+Android 和 Atom+Window7双系统;
[单片机]
ARM<font color='red'>处理器</font>简介
低端MCU,都要有AI
昨日,Arm推出了专用AI应用而设计的Cortex-M52处理器,虽然没有引发太多讨论,但实际它的意义远超想象。 要知道,Cotex-M系列内核是大多数MCU的构成基石,M52要替换掉现在的M33或M3/M4。 也就是说,从现在开始,低端市场也都能拥抱AI了,MCU厂商也要开始新一轮MCU大换血,更多拥有AI产品的MCU即将到来。 举个例子来说,把几亿人信息全都装进云端处理,显然不现实,而当边缘端拥有AI,把专业的医学知识灌注给它,它就会像一个移动医生一样,随时判断心率、血氧变化是否健康。这就是边缘AI的重要意义,这样的例子在边缘AI中不胜枚举,而现在这样的覆盖越来越趋近超小型设备,实现真正地万物互联。 付斌|作者
[半导体设计/制造]
低端MCU,都要有<font color='red'>AI</font>了
英特尔:高通把我们逼出了手机芯片市场
英特尔称和苹果的芯片业务转让交易让自己损失了几十亿美元。 腾讯科技讯 美国芯片巨头英特尔公司在智能手机芯片领域遭受挫折,之前陆续退出了应用处理器和基带处理器(也被称为调制解调器)市场,英特尔把自己的基带处理器业务卖给了苹果公司。不过据外媒最新消息,日前英特尔公司在一份法庭文件中指控称,高通公司的垄断做法把英特尔逼出了基带处理器市场。英特尔称和苹果的芯片业务转让交易让自己损失了几十亿美元。 据国外媒体报道,英特尔在向美国第九巡回上诉法院提交的一份法庭简报中提出了这一指控。 之前,美国联邦贸易委员会起诉高通公司实施垄断行为,最终美国法庭裁决高通的确存在垄断行为,法庭要求高通进行业务整改。 据称,如果按照法庭判决书,高通
[手机便携]
让语音助手变身成秘书?探寻百度AI产业智能化的往昔今朝
嗨,需要一位助理吗,出门提醒日程,郁闷时陪你聊天,繁忙时帮你辅导孩子学习,或者听令为你指挥家里智能设备工作的那种? 打开招聘网站,这样事无巨细的“私人助理”往往只有企业高管才有资格配备,并且需要支付不菲的薪酬。如果十年前,我说人人都能以几百甚至几十元的成本拥有一位私人助理,你可能会嘲笑我痴人说梦。但今天,我想没有人会质疑语音助手对普通人生活带来的改变。“能逼逼绝不动手”,早已融入我的日常习惯。 作为人工智能领域一个极具门槛的关键技术,语音交互是如何被赋予了“个人助理”这一现实角色的呢? 有一个可能会被记入中国人工智能发展史册的特殊节点,那就是 2015 年。 此前,早在国家 863 智能计算机项目当中,语音识别研
[嵌入式]
让语音助手变身成秘书?探寻百度<font color='red'>AI</font>产业智能化的往昔今朝
思灵机器人北方基地项目正式启动,全力打造人工智能机器人产业中心
9月21日上午,“思创智能时代 灵动数字未来”思灵 机器人 北方基地项目启动仪式在哈尔滨新区深圳(哈尔滨)产业园举行,思灵机器人在哈尔滨市建立集研发、生产、测试、展示及培训于一体的人工 智能机器人 产业中心。 思灵机器人在哈尔滨市投建北方基地,规划建设北方总部、中德机器人系统与产业技术研究院、职业教育共享中心三个板块,目前已完成落地北方总部及职业教育共享中心两部分内容。 其中,北方总部重点打造智能制造典型案例,结合智能机器人技术优势为东北老工业基地产业升级提供示范性解决方案;中德研究院融合德国顶尖科研机构及在哈高校的机器人研发力量,实现机器人领域基础技术研究落地,培养高端科技研发人才;职教共享中心采用“双元制”教学模式,完成人才
[机器人]
智能手机“核战”再升级:八核处理器被指噱头
    “这款手机是几核的?”虽然很多消费者并不知道手机处理器的“核”如何工作,但在选购智能手机时,他们都要问这样一个问题。在智能手机快速发展的近两年内,“核”实际上已经成为一款智能手机的重要宣传参数。   为了赋予手机更强大的功能,智能手机行业的处理器内核大战实际上已经多次升级,从最初的单核,到双核,再到现在火热的四核。不过,这可能还不是终点。   在刚刚过去的2013年美国消费电子展上,三星发布的Exynos 5 Octa八核移动处理器大出风头。这款八核移动处理器的发布,无疑将使手机处理器内核大战再次升级,一场八核大战可能已经箭在弦上。   “核战”升级   如果你是一个智能手机的发烧友,你可能已经明显地感觉到市场上的手机处理器
[手机便携]
基于ARM v7 Cortex A8的开发平台
   一、ARM Cortex处理器概述 随着嵌入式技术应用领域的不断扩展,对嵌入式系统的要求越来越高,而作为嵌入式系统核心的微处理器也面临日益严竣的挑战。ARM公司从成立以来,一直以知识产权(IP,Intelligence Property)提供者的身份出售知识产权,在32位RISC CPU开发领域中不断取得突破,其设计的微处理器结构已经从v3发展到现在的v7。ARMv7架构是在ARMv6架构的基础上诞生的。该架构采用了Thumb-2技术,它是在ARM的Thumb代码压缩技术的基础上发展起来的,并且保持了对现存ARM解决方案的完整的代码兼容性。Thumb-2技术比纯32位代码少使用31%的内存,减小了系统开销,同时能
[医疗电子]
小广播
最新网络通信文章
换一换 更多 相关热搜器件

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved