AI应用的下一步 – Home Computing

随着生成式 AI 和大型语言模型的不断发展和遍及到每个人的生活和工作之中，如何满足 AI 应用所创造出的运算与储存需求已经成为人们关注的焦点。群联电子作为全球储存技术的领导厂商，展望此趋势所带来的商业、市场与技术发展，重新定义了一个全新的概念 – Home computing 。 Home Computing 的概念涵盖了未来世界中，在企业以及个人环境中所需要的本地端 (Local) 的 AI 运算与储存系统。而本文最后，群联电子将分享 aiDAPTIV+ 是如何透过技术创新落实此理想。

Home Computing ，本地端应用带来众多好处

简单来说，现代商业环境中的 on-premise server 与个人环境所使用的 AI PC 即是 Home computing 所涵盖的使用情景。全球 AI 技术发展的趋势，不意外地从云端环境中落地发展，接下来，企业与个人对于 AI 的需求也快速兴起，随之而来的是更多的隐私、安全性、个人化，与成本优化的问题， Home computing 泛指能够克服上述所有问题的本地端 AI 解决方案，这不单是一个容易记住的名词，其概念凸显出个人和商业环境中使用私有、本地运算及储存与云端所带来的不同。相较于将数据上传至云端进行运算和储存， Home computing 具有许多明显的好处:

• 提高数据的安全性和隐私性 ：使用本地服务器进行运算和储存能够提供更高程度的控制和保护个人或企业的敏感数据，避免遭受外部入侵和资料外泄的风险。

• 较快速和稳定的指令周期 ：本地运算可以加快指令周期，提高效率，特别是在需要处理大量数据或复杂运算的情况下，明显优于上传至云端运算。

• 更灵活的运算体验 ：利用本地服务器进行运算，用户可以享受更个性化、定制化的运算体验，可以根据自身需求进行设置和调整。

  
  

• 成本效益 ：使用本地服务器进行运算和储存可能会降低整体成本，因为不需要为外部云端服务的运算与传输支付月费，因此可以更加有效地控制硬设备和软件的成本，符合个人或企业的预算需求。

  
  

• 网络稳定性 ：使用本地服务器进行运算可以避免依赖于网络连接，可以提供更稳定的运算环境。当网络连接出现问题时，本地服务器仍可以继续运作，不受网络状况变化的影响，确保持续的运算稳定性和效率。

• 普及化 ” 联合学习 ” 的训练模式 : 联合学习的优势在于参与者只需要共享 AI 模型，不需要分享具机密性的数据、数据，即可找出优化的人工智能应用。不仅可解决数据治理及个人隐私保护问题，并可同时达到精进 AI 模型之目的。

• AI 模型训练民主化 : 核心概念在于使用 AI 的层面，已经不仅是「 AI 如何提供服务的自由」，而延伸到「所有使用者都能够拥有符合个人需求 AI 的自由」。实现藉由简单的训练，让更多人能够真正在工作、生活中受益于 AI 的愿景。

然而，要落實Home Computing，使其普及，讓這世代的AI更加速的發展，仍須克服硬體擴充時所造成的高昂代價。我們都知道AI運算，很貴。

資料自主性的重要

「AI基礎建設不能假他人之手。」

~ Jensen Huang, President and CEO of NVIDIA

AI 运算需要大量参数与数据，储存技术最重要的时刻到来

随着生成式 AI 和大型语言模型的能力不断提升，所需的模型大小及参数数量也爆炸性成长，导致模型训练过程中，需要大量的内存空间和运算能力来处理海量的计算数据。

以目前最为知名的 GPT-3 模型为例，其参数数量已经来到 1750 亿个之多，若是要执行单次的模型训练就需要建置多组配备有高阶显示适配器及高速内存的服务器来进行运算，然而所需的资本投入和设备花费更是动辄超过千万台币，并不是一般小型企业和家庭用户能够负担的金额，这也大幅提高了生成式 AI 模型落地训练的进入门坎，并成为 Home computing 全面发展的最大阻碍。

目前显示适配器配备的内存容量并不足以支持参数数量达到一定规模以上的大型语言模型进行模型训练，已经成为各大科技巨头不得不正视的问题，像苹果公司在近期发表的一篇论文中就有提及，由于大型语言模型需要人工智能加速器和高 DRAM 储存容量，该公司的研究人员正在开发一种使用闪存芯片来储存 AI 模型数据的技术，旨在将大型语言模型引入内存容量有限的装置，像是 iPhone 和 Mac 系列等产品。

然而，作为领先的储存解决方案供货商和技术先驱，群联电子发展的更早， 2023 年中，便已经推出了自主研发的 aiDAPTIV+ 技术，透过整合 SSD 的 AI 运算架构，将大型 AI 模型做结构性拆分，有效的降低 AI 服务所需投入的硬件扩建成本。其核心概念即是利用成本效益高、大容量和可扩展性的固态硬盘来参与训练生成式 AI 和大型语言模型，分担显示适配器内存需暂存训练数据和模型计算过程中产生的数据等负担，藉此克服本地端因显示适配器内存容量有限而无法使用更大参数量的模型来进行模型训练的困境。

aiDAPTIV+ , 突破性的解决方案

aiDAPTIV+ 技术将固态硬盘整合到 AI 模型训练框架内，在训练的过程中，训练模型和计算过程中产生的数据都储存在固态硬盘内，每次只将需要处理的部分模型暂时放入显示适配器内存进行计算，待计算结束后再将结果存回固态硬盘中。这种方式有效地减少了对显示适配器内存的依赖，避免了模型和数据“塞满”内存的情况发生。

根据群联电子实际测试的结果显示，在显示适配器内存能够被释放之后，将能够处理比原先更多批次的待训练数据，进而使落地训练的整体效率能够大幅提升。

一旦采用了 aiDAPTIV+ 的解决方案，显示适配器及其高速内存的容量需求将不再是模型训练发展的瓶颈，也将能够化解建置大量服务器的必要性和其所带来的高额成本，将原本需要超过千万的硬件扩充成本，降低为数万元的水平，近似于一般用户对于个人计算机或 3C 产品的花费水平，这将使得每个商业用户或家庭用户都可以使用有限的资源来进行更大型并有效率的模型训练。

Home computing ，一个具有前景和发展潜力的运算概念，随着 aiDAPTIV+ 打破 Home computing 发展的枷锁与束缚 — 高昂的硬设备成本，过去因经费有限的商业用户和家庭用户将能够享有本地 AI 运算所带来高安全性和隐私保护，甚至是高度客制化的使用体验。群联电子的 aiDAPTIV+ 目前已经与全球多家合作伙伴携手，目标共同推进 AI 发展的下个新世代 – 掀起 Home Computing 的浪潮 !