英特尔至强处理器助力Aible加速生成式AI工作负载

发布者:EE小广播最新更新时间:2024-06-28 来源: EEWORLD关键字:英特尔  至强  处理器  AI 手机看文章 扫描二维码
随时随地手机看文章

对于需要运行生成式AI工作负载的企业来说,基于英特尔至强处理器的Aible无服务器解决方案可帮助其降低成本、提高智能化,并有效提升RAG及微调效率


近日,英特尔与端到端Serverless(无服务器)生成式AI和增强型分析方案提供商Aible合作,为企业客户提供了创新的解决方案,助力其在不同代际的英特尔®至强® CPU上运行生成式AI与检索增强生成(RAG)用例。此次合作包含了工程优化和基准测试项目,显著增强了Aible以低成本为企业客户提供生成式AI结果的能力,并帮助开发人员在应用中部署AI。在双方的通力合作下,该可扩展、高效的AI解决方案可通过高性能硬件帮助客户迎接AI挑战。


image.png

英特尔至强处理器


英特尔数据中心与人工智能事业部高级首席工程师Mishali Naik表示:“现在,客户正在寻求高效的企业级解决方案以充分释放AI潜力。我们与Aible的合作,也表明了英特尔正与行业紧密协作,推动AI创新,降低客户使用英特尔至强处理器运行最新生成式AI工作负载的门槛。”


至强处理器的生成式AI性能:Aible的解决方案展示了CPU如何显著提升从运行语言模型至RAG的一系列最新AI工作负载性能。基于针对英特尔处理器的优化,Aible技术采用高效、智能的“端到端无服务器”方法,仅在产生用户请求时才会进行资源消耗。例如,基于用户查询,向量数据库仅需几秒即可激活并检索相关信息,而语言模型同样只需简单启动即可处理并响应用户请求,这种按需操作的运行模式有助于企业降低总拥有成本(TCO)。


虽然在多数情况下,RAG功能需通过利用GPU和加速器的并行处理能力来实现,但Aible的无服务器技术与英特尔至强处理器相结合,可使RAG用例完全由CPU来驱动。性能数据显示,多款不同代际的英特尔至强处理器均可高效运行RAG工作负载。


image.png

配置详细信息如图,结果可能会有不同


重要意义:Aible通过无服务器的方式使用CPU,可在多个客户之间更为安全地共享底层计算资源,从而帮助客户有效降低生成式AI项目的运营成本。这种降低成本的方式可以类比为用户仅需在使用时购买电力,而非直接租赁发电机。此外,随着生成式AI需求的增长,性能优化和节能降耗变得愈发重要。Aible所提供的基于CPU的服务,为客户提供了一种经济、高效的解决方案。


根据Aible的基准测试分析,当客户采用基于CPU的无服务器解决方案运行RAG模型时,成本节省可高达55倍1。大幅降低的成本证明了Aible独家方法的有效性,同时这种无服务器的CPU采用方式也减少了通过共享服务或专用服务器构建更为昂贵的、基于GPU的基础设施需求。


此次英特尔及英特尔实验室与Aible的合作,共同优化了至强处理器上的AI工作负载。值得一提的是,通过优化Aible针对AVX-512的代码,Aible在至强处理器上实现了显著的性能及吞吐量提升,这也彰显了战略性的软件优化对于整体效率的影响。


在Aible平台的支持下,RAG模型与英特尔至强处理器的结合可推动以下应用落地:


  • 自然语言处理(NLP)

  • 推荐系统

  • 决策支持系统

  • 内容生成


英特尔与Aible的合作始于第四代至强处理器的发布。此后,双方针对至强处理器的AI工作负载、代码和库进行了一系列优化,并大幅提升了Aible的产品性能。


1 英特尔不控制或审计第三方数据。您可咨询其他来源以评估准确性。


配置详情: 


1节点,2x英特尔®至强® Platinum 8280L CPU,2.70GHz, 28核心,HT开启,Turbo开启,NUMA 2,集成加速器可用[已使用]:DLB 0 [0],DSA 0 [0],IAA 0 [0],QAT 0 [0],总内存384GB (12x32GB DDR4 2933 MT/s [2934 MT/s]),BIOS SE5C620.86B.02.01.0017.110620230543,微码0x5003604,2x以太网连接X722用于10GBASE-T,1x 894.3G英特尔SSDSC2KB96,1x 1.8T英特尔SSDPE2KX020T8,2x 3.7T英特尔SSDPE2KX040T8,Red Hat Enterprise Linux 8.9 (Ootpa),4.18.0-513.18.1.el8_9.x86_64,WORKLOAD=Aible端到端RAG-LLM,模型=Mistral-7B-OpenOrca-GGUF,all-MiniLM-L6-v2,gcc 12.2.0,IntelLLVM 2024.0.2,llama.cpp,ChromaDB,Langchain,oneAPI基础容器2024.0.1-devel-ubuntu22.04。基于英特尔03/07/24的测试。

1节点,2x英特尔®至强® Platinum 8462Y+,32核心,HT开启,Turbo开启,NUMA 2,集成加速器可用[已使用]:DLB 2 [0],DSA 2 [0],IAA 2 [0],QAT 2 [0],总内存512GB (16x32GB DDR5 4800 MT/s [4800 MT/s]),BIOS 05.12.00,微码0x2b0004d0,2x BCM57416 NetXtreme-E Dual-Media 10G RDMA以太网控制器,2x以太网控制器E810-C for QSFP,2x 3.5T三星MZQL23T8HCLS-00B7C,1x 1.8T三星MZ1L21T9HCLS-00A07,Red Hat Enterprise Linux 8.9 (Ootpa),4.18.0-513.18.1.el8_9.x86_64,WORKLOAD=Aible端到端RAG-LLM,模型=Mistral-7B-OpenOrca-GGUF,all-MiniLM-L6-v2,gcc 12.2.0,IntelLLVM 2024.0.2,llama.cpp,ChromaDB,Langchain,oneAPI基础容器2024.0.1-devel-ubuntu22.05。基于英特尔03/07/24的测试。

 1节点,2x英特尔®至强® PLATINUM 8562Y+,32核心,HT开启,Turbo开启,NUMA 2,集成加速器可用[已使用]:DLB 2 [0],DSA 2 [0],IAA 2 [0],QAT 2 [0],总内存512GB (16x32GB DDR5 5600 MT/s [5600 MT/s]),BIOS 3B05.TEL4P1,微码0x21000161,2x以太网控制器X710用于10GBASE-T,2x以太网控制器E810-C for QSFP,1x 894.3G英特尔SSDSC2KG96,1x 3.5T三星MZQL23T8HCLS-00A07,3x 3.5T三星MZQL23T8HCLS-00B7C,Red Hat Enterprise Linux 8.9 (Ootpa),4.18.0-513.18.1.el8_9.x86_64,WORKLOAD=Aible端到端RAG-LLM,模型=Mistral-7B-OpenOrca-GGUF,all-MiniLM-L6-v2,gcc 12.2.0,IntelLLVM 2024.0.2,llama.cpp,ChromaDB,Langchain,oneAPI基础容器2024.0.1-devel-ubuntu22.06。基于英特尔03/07/24的测试。


关键字:英特尔  至强  处理器  AI 引用地址:英特尔至强处理器助力Aible加速生成式AI工作负载

上一篇:英特尔实现光学I/O芯粒的完全集成
下一篇:【Molex】新品速递丨MX60千兆以太网非接触式连接解决方案

推荐阅读最新更新时间:2024-11-02 02:34

Marvell支持下一代数据中心及汽车 AI 加速器 ASIC
北京讯(2020 年 10 月 13 日) - 数据基础设施半导体解决方案的全球领导厂商Marvell(NASDAQ:MRVL)今日宣布,其定制化专用集成电路 (ASIC) 产品完全有能力为数据中心和汽车市场提供下一代人工智能 (AI) 加速器解决方案。 Marvell的定制化 ASIC 产品为 AI 及机器学习应用提供了不同功能,包括具备领先密度和性能的 SRAM、最高性能的 SerDes 和全系列预认证的高带宽内存接口。它同时拥有最新的 PCI-Express (PCIe) 和 IO 技术,包括定制的多抽头、多级、高驱动的时钟元件。 该 IP 由Marvell设计并通过资格预认证,以实现卓越的性能与可靠性。 Marve
[汽车电子]
智能手机向64位处理器时代迈进 软件生态系统是短板
    当业界还在大打“核战”的时候,苹果在它的新旗舰机型iPhone 5S上悄无声息地采用了64位处理器A7。 值得注意的是,这是手机领域的首款64位处理器,其余均是32位处理器。由此,64位处理器开始受到业界广泛的关注,谁让是苹果采用了64位处理器呢,这位大佬向来能引领市场潮流。不过,让大家困惑的是,明年智能终端的市场趋势究竟是多核还是64位处理器?64位处理器明年会在高端的旗舰机型上成为风潮吗?    64位性能有何质的飞跃        其实, 64位处理器并不是新生事物,在电脑端,英特尔和AMD早就研发出来了。只不过苹果把它移植到了移动智能终端领域。那么,相比32位处理器,64位究竟有何提升?        所谓64位处理
[手机便携]
AMD开发微型主板采用开放标准 促进小尺寸计算机普及
1月21日消息,AMD公司正在开发微型x86主板,以刺激小尺寸计算机的普及。 据electronicsweekly网站报道称,AMD表示,被称为DTX的这一规格将定义实现互操作性所需要的PC的机械规格。只规定机械规格使得各种板卡能够通过创新实现差异化,目前,AMD相信DTX在机箱设计方面的唯一要求是主板的安装点和keep-out点。 DTX主板有二个扩展槽——PCI或PCIe,一个XpressCard插槽,可以使用能耗最高达65瓦的处理器。为了降低成本,200毫米X244毫米的主板采用四层PCB制造,机箱的容积约为6升。 AMD还设计了尺寸为200毫米X170毫米的Mini-DTX主板,可以适用能耗最高为35瓦的处理器。 A
[焦点新闻]
联发科PK高通、Intel 明年Q2决战
手机芯片厂第四代移动通信(4G)芯片产品明年大PK,高通、联发科、英特尔均已备妥战品应战,战火将在明年第2季达到高峰,英特尔更将取消既有的补贴策略,直接与高通等大厂「硬碰硬」。 手机芯片供应链指出,明年大陆4G手机渗透率将达七成,为芯片厂兵家必争之地。 为抢食市场,明年各家手机芯片厂的产品在第1季末再推低阶新品抢市,且以64位元4G芯片为主。其中,高通明年主打首款低阶芯片「MSM8909」(指芯片代号)。 联发科则会推出第一颗全模芯片「MT6735」对应,与今年10月量产、甫与高通「MSM8939」在八核心机种PK赛大获全胜的「MT6752」并列为主力产品,分别主攻低阶和中阶市场。 联发科的「MT673
[嵌入式]
人工智能助诊断 真是医疗好帮手
    人工智能大大便利了人们的生活,在医疗领域也不例外。它能协助医生诊断病情,不仅分担了医生的工作量,还能提高诊断效率,减少误诊概率。   近日,瑞士一家公司制造出一款名为索菲亚的人工智能产品,用于预测和诊断基因疾病。索菲亚读取并汇总患者DNA的遗传密码,而后将分析过的基因组数据与医学科学的专家意见相结合,生成出诊疗结果,帮助医生制定个性化治疗方案。   就在索菲亚持续检测患者基因组数据的同时,它也在不断学习,改善自己诊断基因疾病的能力,提高诊断速度和精确性。患者只需要进行一次检查,就可以在短短几个小时内得到一系列疾病的检测结果。   有些病症在发病前毫无征兆,发作时危害性却又很大,一旦延误治疗可能会有生命危险。癫痫
[医疗电子]
高通高端四核心处理器或因工艺推迟亮相
     去年本站曾经介绍过高通Snapdragon S4新一代SoC处理器在2012年的发展计划,如今VR-Zone得到消息称,或许由于生产工艺方面的问题。高通S4序列中性能最强的几款高端产品将推迟约一季度亮相。   这些产品包括四核心的MSM8974(面向高端智能手机),以及面向平板电脑不含MODEM的APQ8094/8074  。具体原因可能是基于目前的生产工艺想要使频率突破2GHz还是有一些困难因素。   当然对于高通自身来说也不都是坏消息,该公司用来和联发科拼价格的低端入门级产品如基于Cortex-A5的MSM8625/8225就能按时出货。再加上联发科前几天刚刚发布了最新平台MT6575,可以想像的是低端市场必有一番腥风
[手机便携]
盘点恩智浦QorIQ Layerscape网络处理器家族
本文作者: TQ Systems Arm Layerscape产品经理Konrad Zöpf 2013年4月,飞思卡尔(后被恩智浦收购)发布的信息表明,除了Power架构之外,还将推出新一代处理器Layerscape。当时,并不知道这些新设计是选择Arm 内核替代此前的Power架构。 2014年中期,恩智浦宣布将终止Power架构路线图,并从长远来看将其替换为QorIQ-Layerscape产品。第一个该系列产品于2013年推出,即LS1021A。随后在2014年初恩智浦正式发布了路线图信息,并推出了更多的CPU产品。LS2088A是第二款该架构CPU。但是,由于其专门为服务器市场而设计,所以它没有像上一代产品一样广泛使用
[嵌入式]
高通推出首个利用边缘AI变革网络连接的商用平台——高通A7 Elite专业联网平台
高通®A7 Elite专业联网平台变革家庭和企业网络,集成Wi-Fi和边缘AI,在显著优化Wi-Fi连接和网络性能的同时,为联网终端注入智能化能力。 OEM厂商和生态系统合作伙伴能够加快产品上市,并释放生成式AI的潜能,利用高通®AI Hub创建创新应用程序,访问预优化的AI模型库或对自己的模型进行优化。 2024年10月7日,法国巴黎—— 全球无线技术创新领军企业高通技术公司宣布推出高通A7 Elite专业联网平台,这一开创性的无线联网平台通过边缘AI的集成,变革人们体验网络的方式。 基于具备40 TOPS NPU处理能力的AI协处理器,该平台不仅提供更佳的Wi-Fi 7连接和网络性能,还为联网终端赋予强大且集
[网络通信]
高通推出首个利用边缘<font color='red'>AI</font>变革网络连接的商用平台——高通A7 Elite专业联网平台
小广播
最新网络通信文章

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved