据外媒报道，沙特阿拉伯阿卜杜拉国王科技大学（KAUST）的研究人员发现了一种能够显著提升训练速度的方法。通过观察采用大型训练数据库的分布式机器学习中产生结果零的频率，可以显著加快大型机器学习模型的训练速度。
计算机的1和0（图片来源：techxplore.com）
AI模型通过在数据库上进行训练来开发“智能”，而此类数据库都被事先标记好，以告知模型如何区分不同输入信息，然后再做出相应的反应。输入的已标记数据越多，该模型就越擅长完成分配给它的任务。对于自动驾驶汽车等复杂深度学习应用而言，它们需要大量输入的数据库以及很长的训练时间，即使采用了强大且昂贵的高度并行超级计算平台也是如此。
在训练期间，小型的学习任务被分配给数十或数百个计算节点，然后在运行下一个任务之前，这些计算节点会通过通信网络分享结果。在此种并行计算任务中，计算量消耗最大的来源之一是每个模型步骤中计算节点之间的通信。
KAUST的研究人员表示：“在分布式深度学习中，通信是主要的性能瓶颈。随着模型规模的迅速增长，我们还看到在学习过程中产生零值的比例在增加，称为稀疏性。我们的想法是利用此种稀疏性，通过只发送非零数据块来尽可能提高有效带宽的使用效率。”
基于KAUST早期研发的SwitchML方法，即通过在处理数据传输的网络交换机上运行高效的聚合代码来优化节点间的通信，研究人员希望能够通过识别结果零，并研发一种方法，以在不中断并行计算过程中，同步减少传输，而进一步优化该方法。
研究人员表示：“确切地说，如何利用稀疏性来加速分布式训练是一个具有挑战性的问题。所有的节点需要在同一时间内处理同一个位置的数据块，因此我们必须协调节点，以确保只聚合同一个位置的数据块。为了克服这个问题，我们打造了一个聚合程序以协调此类工作者，指导它们接下来发送哪个数据块。”
该团队在一个由一组图形处理单元（GPU）构成的测试台上展示了其OmniReduce方法，并且在典型深度学习任务中速度加快了7倍。
上一篇：伏达半导体推出50W车载无线充解决方案，充电效率高达77%
下一篇：自行换电池只要 3 分钟！德国推出全新电动车不用排队等充电
推荐阅读
史海拾趣
随着公司规模的扩大和业务范围的拓展，Fenfa Electronics Ltd公司面临着越来越复杂的供应链管理问题。为了应对这一挑战，公司决定优化供应链管理流程。Fenfa与供应商建立了长期稳定的合作关系，实现了原材料的稳定供应和成本的优化控制。同时，公司还加强了仓储和物流的管理，提高了产品的运输效率和交付速度。这些措施的实施，使Fenfa Electronics Ltd公司的供应链管理更加高效、灵活和可靠。
Fenfa Electronics Ltd公司自创立之初，就深知技术创新的重要性。在公司成立初期，面对市场上激烈的竞争，Fenfa团队决定投入大量资源于研发领域。经过数年的不懈努力，公司成功研发出一款具有革命性的电子产品，该产品以其高效能、低能耗和出色的用户体验迅速在市场上崭露头角。这一技术创新的突破，为Fenfa Electronics Ltd公司赢得了市场的认可，也为公司后续的发展奠定了坚实的基础。
随着第二次世界大战的爆发，全球对国防电子产品的需求激增。GI凭借其在电子技术领域的深厚积累，迅速调整战略方向，积极投身于国防电子产品的研发与生产。公司开发的潜水艇探测设备和其他关键国防电子产品在战争中发挥了重要作用，赢得了军方的高度认可。这一阶段的成功不仅为GI带来了丰厚的利润，也极大地提升了公司在电子行业中的知名度和地位。
近年来，随着环保意识的日益增强，ABC Taiwan Electronics Corp积极响应绿色生产的号召。公司引入了环保材料和节能技术，降低了生产过程中的能耗和排放。同时，公司还加强了废弃物的处理和回收利用，实现了资源的循环利用。此外，ABC还积极参与社会公益活动，支持教育事业和环保事业，履行了企业的社会责任。
这五个故事展示了ABC Taiwan Electronics Corp从创业初期的艰难起步到逐步成长为国际知名电子零件供应商的发展历程。通过技术突破、国际化战略、产业升级和绿色生产等方面的努力，ABC不断应对市场的变化和挑战，实现了稳健的发展。
在巩固欧洲市场的基础上，ebm-papst不断拓展全球市场，特别是亚洲市场。近年来，公司在亚洲市场的营收增长率一直保持在较高水平。为了进一步拓展亚洲市场，ebm-papst加大了在中国的产能建设，陆续在上海、西安等地进行扩建和新建产能。这些措施使得ebm-papst能够更好地满足亚洲市场的需求，并为其在全球市场的进一步发展奠定了坚实基础。
随着工业自动化需求的不断增长，Friedrich Lütze GmbH 敏锐地捕捉到了这一市场机遇。公司开始加大研发投入，不断推出新产品，如可编程逻辑控制器（PLC）、传感器和执行器等，以满足不同行业对自动化控制解决方案的需求。同时，公司积极拓展国内外市场，与多家知名企业建立了长期合作关系，进一步巩固了其在工业自动化领域的领先地位。
|
《谈混合信号系统中的接地》 这篇文章主要讲解数字和模拟混合信号系统中的接地问题，值得一看 《谈混合信号系统中的接地》 帖子：http://www.cntronics.com/bbs/redirect.php?tid=905&goto=lastpost#lastpost… 查看全部问答∨ |
经常在网上冲浪的我们，肯定看过视频、听过歌曲，可是我们并没有主动下载他们，怎么实现了在线视听的效果呢？其实他们都已经下载到你的电脑里面了，只是它们都存储在一个特殊的地方——IE缓存；而本程序可以将IE缓存里指定类型的文件提取出来。 ...… 查看全部问答∨ |
|
请教各位大侠： 小弟今天在编译WinCE 6.0 BSP的时候，卡在Oal下面就是过不去， 错误信息如下： BUILD: [01:0000002951:ERRORE] C:\\WINCE600\\PLATFORM\\mini2440\\Src\\Oal\\OalExe\\sources(15) : U1033: syntax error : \'$(_COMM ...… 查看全部问答∨ |
我是计算机一名大三女生,现在开始选方向了,只有4个方向,权衡了一下,觉得好像除了数据库方向,其它都很差劲,可又不知道这个方向具体以后可以从事哪些职业,适不适合女生,学好它还需要哪些基础课程...(c,java,我比较喜欢java,C很差...) ...… 查看全部问答∨ |
|
再纠结stm32:can not find arm device 灭了你！ 调程序调的正欢或者正纠结的时候，最郁闷的原因之一：刚才还好好的能下载能调试现在突然它弹出一个对话框：can not find arm device 你又要停下本来就紧巴巴的进度来排错找原因。 我也经常遇到这样子的情况，我的解决办法通常有两个：1. ...… 查看全部问答∨ |
非常冒昧的提出了这个问题，还请有经验的各位大大不吝赐教，帮我指点迷津啊！ 我是一个大三学生，学过模电、数电等知识，申请了一个学校的创新项目来改造实验室电源，希望能够将实验室普通使用的电源改造成可调节成多量程的模式，实现的方式是希望 ...… 查看全部问答∨ |
|
目的： 在LCD上显示图片方案： 由于STM32F107VC内置内存只有64K，不足以全屏显示板载LCD，SSD1289，320x240x16bit 图像数据只能通过外部存储设备读入，板置W25X16，或SD。数据需要提前导入。 ...… 查看全部问答∨ |
今天回家比较早，看见坛子里的活动，积极参与一下 最早接触DSP好像是06、07年的事情了，当时在一家大型国企从事软件开发工作，和杭州大华在视频方面有些项目合作，名义上是联合开发其实我们都不懂那块，当时好像视频压缩大华采用的是BF533，算是我 ...… 查看全部问答∨ |
|
最近全程参加了泰克的一个关于功率分析仪PA4000的一个在线研讨会，泰克推出1-4通道的高精度功率分析仪，除了0.02%的精度、独特的双分流器功能以及其他关键特性外，那个speaker陈经理还多次强调“与Tek示波器”的完整功率测试组合方案。以前电源设计 ...… 查看全部问答∨ |
Vishay线上图书馆
- 汽车嵌入式软件调试的三个实用技巧自硕士毕业，笔者从事汽车嵌入式行业已经3年的时间了。相较于学校的项目，公司的项目对代码的书写规范，测试用例都要求更加严格，在汽车行 ...
- LiDAR传感器与自适应计算在汽车行业中扮演怎样的角色？自动驾驶技术领域正在迅速发展。从2024年到2030年，每年出货的高自动化车辆数量预计将以41%的复合年增长率增长。这一快速增长导致汽车品牌 ...
- 从特斯拉看智能驾驶未来发展随着自动驾驶技术的快速发展，智能驾驶已成为汽车行业技术竞争的焦点。特斯拉作为该领域的先行者，通过对算法、硬件、数据闭环和市场战略的 ...
- UWB数字钥匙，开始卷向20万元车了11月7日，小鹏汽车P7+正式上市。P7+是一款C级纯电轿车，车长超过5米，轴距3米，续航为615km至725km，而售价却只要18 68万元至21 88万元。据 ...
- 3起SiC合作！吉利汽车公布新成果近期，“行家说三代半”又发现行业内又新增3起碳化硅合作案：吉利汽车&晶能：公布SiC混合模块11月12日，晶能微电子在官微透露，由吉利汽车 ...
- 10月中国动力电池装车量同比增长51%
- 历史新高！蜂巢能源10月装车量1.9GWh，跃居国内第5名
- 进击的Robotaxi，商业化之路还远吗？
- 纳芯微集成式电流传感器NSM211x：从工业到汽车
- 【答题有奖】Altera Cyclone V 开发板全体验之初识 & 评估Cyclone V ！
- Microchip电源评估板促销，还有红包送！
- 庆元旦发热贴，EEWORLD好礼相送!
- 【新年乐分享】EEWORLD优秀主题/回复第18期来啦~~
- 大学堂学分闪亮登场 看谁率先登上光荣榜！
- 直播主题： 助力“双碳”目标 — ADI 智能工厂方案
- 大联大世平集团有奖直播：最新功能安全牵引逆变器方案：助力汽车提升续航与节省成本！预约有礼
- 2024安路科技FPGA技术研讨会-广州站 火热报名中
- 兆易创新 GD32E231 DIY 大赛，百套超值型开发板免费申请+重磅豪礼！
- dsPIC33 “EV”系列抢鲜知,读专题，赢豪礼
京公网安备 11010802033920号