infiniband 是什么？
Infiniband（缩写为 IB）是一种专为数据中心和高性能计算（HPC）环境设计的高速互联技术，旨在提供低延迟、高带宽的数据传输解决方案。它通过点对点交换架构替代传统的总线架构，支持远程直接内存访问（RDMA），允许计算机直接访问远程系统的内存而无需 CPU 干预，大幅提升了数据传输效率。
关键特性
- 高速传输：
- 单链路带宽从早期的 2.5 Gbps（SDR）逐步提升到当前的 200 Gbps（HDR100/200）。
- 支持多链路聚合（如 4×、12×），最高可达 1.6 Tbps。
- 低延迟：典型延迟低于 1 微秒，适合高频交易、实时分析等对时延敏感的应用。
- RDMA 技术：
- 实现 “零拷贝” 数据传输，减少 CPU 开销。
- 支持三种 RDMA 操作：Read、Write、Atomic。
- 交换式架构：
- 采用多级交换网络替代传统的共享总线，避免了带宽竞争。
- 支持链路冗余和自适应路由，提高可靠性。
- 服务质量（QoS）：通过 16 个优先级队列和流量控制机制，保障关键应用的性能。
- 协议独立性：可通过 InfiniBand-to-Ethernet 网关支持 TCP/IP、RoCE（RDMA over Converged Ethernet）等协议。
基本组件
- HCA（Host Channel Adapter）：服务器或存储设备的网络接口卡，负责处理 InfiniBand 协议。
- TCA（Target Channel Adapter）：存储阵列等设备使用的简化适配器。
- 交换机（Switch）：连接 HCA 和 TCA 的网络设备，支持动态路由和流量管理。
- 子网管理器（Subnet Manager）：配置和管理 InfiniBand 网络，确保路由正确。
- 线缆和连接器：包括铜缆（短距离）和光纤（长距离），支持多种传输速率。
网络拓扑
- 胖树（Fat Tree）：常用的多层交换拓扑，提供高带宽和冗余路径。
- 蝴蝶（Butterfly）：适用于大规模集群的低直径拓扑结构。
- 集群（Cluster）：通过边缘交换机连接多个服务器组。
应用场景
- 高性能计算（HPC）：超级计算机、科学模拟等需要大规模并行处理的场景。
- 人工智能训练：加速 GPU 集群间的数据交换，提升模型训练效率。
- 金融交易：高频交易系统对低延迟的严格要求。
- 企业存储：支持 SAN（存储区域网络）和分布式文件系统（如 Ceph、GlusterFS）。
- 云计算：数据中心内部的高速互联，支持虚拟机迁移和分布式应用。
与其他技术的对比
| 特性 | InfiniBand | Ethernet (RoCE) | Fibre Channel |
|---|---|---|---|
| 典型带宽 | 100-200 Gbps | 25-100 Gbps | 32 Gbps |
| 延迟 | < 1 μs | 1-3 μs | 5-10 μs |
| RDMA 支持 | 原生支持 | 需要 RoCE 协议 | 不支持 |
| 网络成本 | 较高 | 较低（利用现有以太网基础设施） | 中等 |
| 协议依赖性 | 独立 | 依赖以太网 | 专用协议 |
| 主要应用场景 | HPC、AI | 云数据中心 | 企业存储 |
发展历程
- 2000 年：InfiniBand 架构首次发布。
- 2007 年：推出 40 Gbps FDR 标准。
- 2014 年：EDR（100 Gbps）标准发布。
- 2019 年：HDR100（100 Gbps）和 NDR（200 Gbps）标准推出。
- 2022 年至今：支持 500 Gbps 的 XDR 标准进入商用阶段。
局限性
- 成本较高：网络设备和适配器价格高于以太网。
- 复杂性：需要专业知识进行配置和管理。
- 生态系统较小：主要集中在 HPC 和企业级市场，普及度低于以太网。
总结
Infiniband 凭借其卓越的性能和可靠性，成为超算中心、AI 训练集群和金融交易系统的首选互联技术。尽管成本较高，但其在极端性能需求场景中的不可替代性使其持续在高端市场占据重要地位。随着数据中心对低延迟和高带宽的需求不断增长，Infiniband 与 RoCE 技术将长期共存，共同推动高速网络的发展。