支撑物理 AI 的 Holoscan Sensor Bridge (HSB) 是什么？

Holoscan 是一款可在边缘环境中，在高精度同步来自多个传感器的流数据的同时，以低延迟执行 AI 推理的平台。它能大幅提升医疗设备、工业检测、机器人、广播等领域中，对毫秒级超低延迟有严格要求的边缘 AI 管道的开发与部署效率。而作为 Holoscan 传感器连接平台发挥关键作用的，正是 HSB (Holoscan Sensor Bridge)。

HSB 是一款 Sensor-over-Ethernet 平台，能够高精度地同步来自多种传感器的数据，并通过高速以太网以低延迟的方式将其传输至 GPU。在支撑物理 AI 的 Holoscan 体系中，HSB 承担着连接传感器与 GPU 的重要作用。

在机器人技术、自主移动机器人 (AMR)、医疗设备、工业检测设备等领域，旨在实现 AI 能够感知现实世界并自主进行判断和行动的物理AI 的相关研发工作正在加速推进。

在物理 AI 系统中，需要实时处理来自摄像头、激光雷达 (LiDAR)、雷达 (Radar)、惯性测量单元 (IMU) 等多种传感器的数据，并准确识别周围环境。此时，关键在于通过“传感器同步”实现多个传感器时间的高精度同步。

例如，当自主移动机器人识别周围障碍物时，如果摄像头图像和激光雷达数据所记录的信息来自不同时间点，就会导致识别误差或误判。通过实现所有传感器同时捕捉同一时刻的状态，可以实现高精度的传感器融合、提高安全性，并实现更准确的环境识别。

此外，在物理 AI 领域，通过整合多种类型的传感器数据进行判断的“多模态处理”同样关键。AI 能够学习不同数据之间的相关性，从而发现人类难以察觉的征兆和因素。通过同时分析电流、振动、温度、图像、声音等不同类型的数据，不仅能够进行简单的异常检测，还能推断出异常发生的根本原因。

由此，在预测性维护、质量改进、设备利用率提升等众多领域创造了新的价值。

Holoscan 是一个能够将来自摄像头、LiDAR 等传感器的流式数据以低延迟方式传输至 GPU，并实时执行传感器融合和 AI 推理的平台。它能大幅提升医疗设备、机器人、工业检测等物理 AI 系统的开发效率。

Holoscan 由以下三个要素构成：

　・传感器组

　・HSB (Holoscan Sensor Bridge)

　・Holoscan SDK

Holoscan 不仅限于特定传感器，还能兼容不同厂商的传感器。它能从规格各异的各类传感器中实时采集数据。

◆主要传感器示例

　・摄像头 (RGB、红外、热成像)
　・LiDAR
　・Radar
　・IMU
　・编码器

　・声学传感器

　・温度、压力、振动传感器等

◆主要接口
　 (数据接口)
　・JESD204
　・MIPI CSI
　・HDMI
　・SLVS-EC
　・SDI

　 (控制接口)
　・CAN
　・SPI
　・GPIO

HSB 作为部署在传感器与 GPU 之间的数据集成与同步平台，发挥核心作用。

在物理 AI 领域，以低延迟、高精度的方式将传感器数据传输至 GPU，并将其应用于实时传感器融合和 AI 推理至关重要。HSB 整合了多种传感器接口，并通过高速以太网将同步的传感器数据以低延迟的方式传输至 GPU。

NVIDIA 提供了用于实现 HSB 的 FPGA 专用 IP，可部署在 NVIDIA FPGA 合作伙伴 Altera® 的 FPGA 上。

HSB 的主要功能如下：

◆多种传感器连接

　・从摄像头、LiDAR、Radar、IMU等设备获取数据

◆接口统一

　・协议转换

◆数据预处理

    ・格式转换

　・数据整理/压缩

　・添加时间戳

　・多传感器同步

◆分包与高速传输

 　・Ethernet 传输 (10G/25G/100G/400G)

Holoscan SDK 是一个软件平台，利用从 HSB 接收的传感器数据，执行 AI 推理、传感器融合和可视化处理。它可提高从物理 AI 应用程序开发到运维的全过程效率。

Holoscan SDK 的主要功能如下：

• 传感器融合
• AI 推理
• 图像识别
• 物体检测
• 3D识别
• 空间识别
• 机器人控制
• 数字孪生协同
• 实时可视化
• 应用程序开发框架

在物理 AI 领域，将传感器数据以低延迟、高精度的形式传输至 GPU，并将其应用于实时传感器融合和 AI 推理，这一点至关重要。

HSB 作为能够实现高精度传感器同步和高速数据传输的 Sensor-over-Ethernet 平台，是支撑物理人工智能时代传感器集成基础的关键技术。如果您正在考虑利用 Holoscan Sensor Bridge 或 Altera® FPGA 构建物理 AI 系统，欢迎随时联系我们。或欲了解关于 Altera 更多产品和方案信息，请与骏龙科技当地的办事处联系，也可以发邮件至inquiry.cytech@macnica.com，骏龙科技公司愿意为您提供更详细的技术解答。