研华推出面向生成式 AI 的边缘 AI 服务器解决方案

发布者:EE小广播最新更新时间:2024-07-16 来源: EEWORLD关键字:研华  AI  边缘  服务器 手机看文章 扫描二维码
随时随地手机看文章

中国台湾—台北,2024年6月4日—— 全球工业物联网厂商研华科技宣布,采用Phison的aiDAPTIV+专利技术,为生成式人工智能(Generative AI)提供开创性的边缘AI服务器解决方案。AIR-520 Edge AI Server采用AMD EPYC 7003系列处理器,集成了SQ ai100 AI SSD、NVIDIA RTX GPU卡、Edge AI SDK和NVIDIA AI Enterprise,提供了一个可立即部署的解决方案。


大型语言模型(LLM)等生成式AI工具正通过自动化数据组织、检索和分析改变企业知识管理,提高生产力并改善决策。定制大型语言模型(LLM)提高了准确性,而边缘训练则增强了数据隐私属性(成本相应提高)。该方案支持大型语言模型(LLM)微调配备1-4个显卡和SQ AI100 AI SSD,供企业经济高效地训练大型语言模型(LLM),同时保护边缘敏感数据安全。 


image.png


适用于不同应用的四种解决方案


对此研华提供四种选择:AIR-520-L13B/L33B/L70B和L70B-Plus,针对不同规模和应用量身定制。L13B非常适合聊天机器人和语言翻译提高生产力和内容创作创新能力。L70B擅长专业领域的复杂数据分析和决策。此外,L70B-Plus配备了NVIDIA AI Enterprise软件平台,提供端到端的、可靠的优化AI SDK,提供长期支持和专家咨询服务,保障业务场景中的高效部署。


安装简单快捷,优化成本效益 


所有解决方案均包含SQ AI100 AI SSD,后者采用群联(Phison)aiDAPTIV+技术。此系列SSD充当显卡vRAM的扩展,使系统能够使用最少的显卡对大型语言模型(LLM)实现微调。这种方案不仅减轻了客户的预算负担,而且相比传统的大型机架式服务器,边缘AI服务器会更加紧凑。AIR-520边缘AI服务器专为各种边缘AI应用设计,尺寸与台式电脑相当,并且可以通过适当的附件安装在机架上。凭借轻薄的设计,该产品可以实现在边缘AI微调环境中的轻松部署,打消了客户在空间和维护上的忧虑。


通过软件服务快速跟踪生成式AI的开发


除了大型语言模型(LLM)微调功能外,研华还提供了带有生成式AI训练工作室的边缘AI SDK,预装了Llama-2 13B/33B/70B模型,用于聊天机器人和数据分析等应用。此举将简化并加速通过AIR-520进行客户专属大型语言模型(LLM)模型训练和推理评估工作的进程。此外,研华的DeviceOn提供OTA软件/容器更新和远程管理,促进高效的边缘AI编排和长期维护。


image.png


产品特性:


  • 采用AMD EPYC 7003处理器的服务器级性能,提供多达64个内核、768GB DRAM和四个PCle x16扩展插槽

  • 高达768GB DDR4 3200 DRAM

  • 支持4个PCIe x16扩展插槽

  • 集成1200W PSU,可为两块NVIDIA L40S图形卡供电


关键字:研华  AI  边缘  服务器 引用地址:研华推出面向生成式 AI 的边缘 AI 服务器解决方案

上一篇:BOE(京东方)2024年半年度净利润预计21亿元-23亿元 彰显强劲发展新动能
下一篇:85-528VAC超宽输入OVC III认证电源,适用于工业自动化,商业和住宅建筑中的电器

推荐阅读最新更新时间:2024-11-16 22:33

IDC:2020年AI朝向融合式方向发展,AI、5G、可穿戴是主力
据台媒《经济日报》报道,研调机构IDC今日发布对2020年台湾市场的十大ICT趋势预测,提到人工智能(AI)、5G、可穿戴设备仍是趋势。 随着技术的推陈出新,2020人工智能将开始朝向融合式(Fusion AI)发展。IDC预测融合会发生在三个重要面向:数据资料、演算法与流程。 未来人工智能的分析及应用流程将更透明化与自动化,使得人工智能应用能更与时俱进,使用者也可根据需求自动化建模,极大化人工智能应用的成效。 IDC预估,随着人工智能融合式世代来临,未来演算法将更为透明、人工智能的使用将更为简单,这将加速未来人工智能应用的扩散与普及。 过往人工智能计算多在云端执行,端点与设备仅能作极为轻量的AI运算,主要的
[物联网]
IDC:2020年<font color='red'>AI</font>朝向融合式方向发展,<font color='red'>AI</font>、5G、可穿戴是主力
基于NXP i.MX8QM的AI影像辨识与车辆识别方案
现今自动化驾驶以及辅助驾驶越来越普遍化的情况下,对于edge computing的需求也越来越提升。 如何帮助客户开发 AI 应用程式成为新的课题。 品佳在去年提出了eIQ edge运算的解决方案,详细请参考: https://www.wpgdadatong.com/tw/solution/detail?PID=5260 今年2020,在此介绍新的eIQ 2.0,大幅提升了效率以及各类使用方式。 此方案基于 NXP 原生 BSP 5.4.24_2.1.0做开发,加入Python的元素,并且可使用GPU/NPU做 AI 类神经网路的运算,使得效率以及应用场景皆更完整。
[汽车电子]
基于NXP i.MX8QM的<font color='red'>AI</font>影像辨识与车辆识别方案
深兰科技方林:人工智能自主进化成为可能
随着“人工智能”作为重要发展导向被国家正式列入《“十三五”国家战略性新兴产业发展规划》、《“十三五”国家科技创新规划》,习近平总书记提出推进新一代人工智能健康发展的重要政策指导,人工智能行业在国内迎来集中研究兴盛期,研究侧重点也从观点提出期,发展到了以谷歌Alpha Go和深兰Deepblue Go为代表的机器学习、深度学习独立研究期,并在智能语音识别交互和计算机视觉等研究方面取得了重大突破。今天我们有幸请到了AI独角兽企业深兰科技深度学习科学家方林博士,为我们揭秘人工智能领域的领先科技及研究成果,解读行业趋势和发展方向。 记者:您进入AI领域有多久了? 方林:我从1990年开始学习人工智能,1992年开发了人生第一个人工智能程序
[机器人]
CAN总线的嵌入式Web服务器设计
引言 嵌入式系统指被嵌入到各种产品或工程应用中的,以微处理器或微控制器为核心的软硬件系统。嵌入式系统与Internet技术相结合,形成的嵌入式Internet技术是近几年随着计算机网络技术的普及而发展起来的一项新兴技术。它通过现有嵌入式系统,增加因特网接入能力来扩展其功能,创造性地提出以低价位单片机作为微处理器,使嵌入式设备而非PC系统直接接入Internet。在本文中,采用Ubicom公司的SX52单片机外接以太网控制芯片RTL8019AS实现嵌入式Web服务器硬件结构和软件功能。传统的基于DCS结构工控系统向嵌入式Web结构转移,可有效降低成本,这是因为没有必要开发专有的GUI,还可以方便最终用户,并改善故障检测和设备维护
[单片机]
CAN总线的嵌入式Web<font color='red'>服务器</font>设计
首款4G+AI投屏OTT智能家居硬件 搭载瑞芯微RK3228A
爱奇艺今年4月发布的电视果4K,全新开启 人工智能 投屏看电视新体验;6月再发新品电视果4G,均采用瑞芯微Rockchip投屏核芯RK3228A,不仅升级了人工智能等投屏体验,更是集AI投屏、4G轻宽带、mini路由等多重使用场景于一身,满足用户多样化的需求。 全球首款4G人工智能投屏智能硬件 电视果4G是全球首款4G人工智能投屏智能硬件,率先将极速4G网络与人工智能投屏融合,是首款支持7模16频的投屏设备,支持全球网络运营商,插入手机SIM卡即可通过4G网络,将4K超高清视频投至大屏流畅观看,也可作为无线热点连接更多设备上网娱乐,极大拓展电视果娱乐使用场景。 核芯技术伙伴 瑞芯微RK3228A 电视果4G
[物联网]
首款4G+<font color='red'>AI</font>投屏OTT智能家居硬件 搭载瑞芯微RK3228A
驱动AI进入惠普时代,澎思科技智能服务持续进化
谁能够快速精准地把握住客户的需求,谁就能够在未来的竞争中快速胜出。 由雷锋网 & AI 掘金志主办的第三届中国人工智能安防峰会,在杭州正式召开。 本届峰会以「洗牌结束,格局重构」为主题,会上代表未来新十年的 15 家企业,为现场 1000 余位听众和线上几十万观众,分享迎接安防新十年的经营理念与技术应用方法论。 在下午场的演讲环节上,澎思科技副总裁曲瀚为峰会带来了精彩的演讲。 澎思科技认为人工智能新基建的一个核心就是 AI 的基础设施化,分为技术基础设施和融合基础设施。 在此趋势下,智慧城市和 AI 安防将成为新基建的最佳试验场。另外,AI 安防也逐渐发展到了第二阶段,AI 在 To B 领域的发展开始从
[嵌入式]
驱动<font color='red'>AI</font>进入惠普时代,澎思科技智能服务持续进化
上海市人工智能产业发展“十四五”规划发布 到2025年规上产业规模达到4000亿元
中国储能网讯: (严曦梦 记者 宋薇萍)《上海市人工智能产业发展“十四五”规划》12月29日正式发布。 根据规划,“十四五”将是上海人工智能产业跨越升级、全面融入城市经济生活的阶段。力争到2025年,上海人工智能技术创新能力和产业竞争力显著提升,部分领域达到世界领先水平,基本建成更具国际影响力的人工智能“上海高地”;人工智能深度赋能经济、生活、治理领域数字化转型,助力提升城市能级、核心竞争力和城市软实力,成为上海城市数字化转型发展的核心驱动力;人工智能创新人才集聚与培育体系进一步完善,人工智能法规体系、标准体系、监管体系初步建立,形成敏捷治理的“上海方案”,为全球人工智能治理贡献上海智慧。 到2035年,上海人工智
[新能源]
AI大模型时代,GPU高速互连如何正确破局
在LLM热潮中,我们不仅要关注GPU本身,还要关注互连技术。随着AI参数量成倍地增加,甚至“上不封顶”地扩展,如果想要服务器扛住这样的“巨浪”,就要编织更多的网,形成非常强大的算力网络;如果想要释放GPU集群的全部潜力,每个节点间的通信都要顺畅无阻,犹如铺设一条条“高速公路”。 从UEC到UALink,取代现有技术 GPU领域,比较典型的两个互连技术是InfiniBand和NVLink/NLSwitch技术,前者用于服务器间连接,可以形成大型AI算力网络,后者可以将GPU和GPU互连,至多让576个GPU实现每秒1.8TB的通信。 毋庸置疑,两种私有协议的性能都很强劲,但它们都非常封闭,在一定程度上制约了技术的持续演进与效能
[网络通信]
<font color='red'>AI</font>大模型时代,GPU高速互连如何正确破局
小广播
最新工业控制文章

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved