嵌入式
返回首页

IBM 全新光学技术可缩短 GPU 闲置时间,大幅加快 AI 模型训练速度

2024-12-11 来源:IT之家

12 月 11 日消息,IBM 宣布开发出一种新的光学技术,能够以光速训练 AI 模型,同时大幅节省能源。该公司表示,通过将这项突破应用于数据中心,训练一个 AI 模型所节省的能源相当于 5000 个美国家庭一年的能源消耗。

该公司解释说,虽然数据中心通过光纤电缆与外部世界连接,但内部仍然使用铜线。这些铜线连接着 GPU 加速器,而 GPU 加速器在等待来自其他设备的数据时会有大量时间处于空闲状态,同时消耗能量并推高成本。

IBM 高级副总裁兼研究总监 Dario Gil 称:“随着生成式 AI 对更多能源和处理能力的需求,数据中心必须进化,而共封装光学技术(CPO)可以使这些数据中心面向未来。通过这一突破,未来的芯片将像光纤电缆进出数据中心传输数据一样进行通信,从而开启一个更快、更可持续的通信新时代,能够处理未来的 AI 工作负载。”

IT之家注意到,IBM 在一篇技术论文中概述了其新的 CPO 原型。通过显著增加数据中心的带宽,可以最大限度地减少 GPU 的闲置时间,从而加速 AI 处理。IBM 称,大型语言模型(LLM)的训练时间可以从三个月缩短到三周。同时,更高的能源效率将降低能源消耗,并减少与训练 LLM 相关的成本。


进入嵌入式查看更多内容>>
相关视频
  • 【TI MSPM0 应用实战】智能小车+工业角度编码器+血氧仪+烟雾探测器!硬核参考设计详解!

  • FollowMe 第二季:3 - EK_RA6M5 开发板入门

  • FollowMe 第二季: 1 Adafruit Circuit Playground Express及任务讲解

  • Azure RTOS step by step workshop

  • 2022 Digi-Key KOL 系列: 你见过1GHz主频的单片机吗?Teensy 4.1开发板介绍

  • 从0到1:树莓派与物联网教程(英文)

精选电路图
  • 便携式混音器

  • 18W乙类音频放大器

  • 6晶体管H桥

  • USB LED调光器

  • USB自供电声卡

  • AVR LCD温度计—LM35

    相关电子头条文章