2026년 5월 30일
NVMe-oF (NVMe over Fabrics)
1. 로컬 SSD 수준의 원격 스토리지 기술, NVMe-oF의 개요
| 개념 | NVMe 프로토콜을 RDMA나 FC 등 패브릭 네트워크로 확장하여, 원격 스토리지의 지연 시간을 로컬 SSD 수준으로 낮추는 네트워크 스토리지 기술 | |
|---|---|---|
| 특징 | 마이크로초(µs) 단위의 초저지연 (로컬 NVMe급) | – RDMA 기반 CPU 개입 없이 메모리 간 데이터 전송 가능 – 원격 스토리지 접근 시 로컬 PCIe SSD 수준 레이턴시 보장 |
| 대규모 병렬 처리 통한 병목 (Bottleneck) 해소 | – NVMe를 네트워크로 확대, 다수 큐와 커맨드를 병렬 처리 – 멀티코어 서버 병목 해결, 대규모 동시 요청을 분산 처리 | |
| 유연한 스토리지 풀링 (Disaggregated Storage) | – 고성능 NVMe SSD 자원을 중앙 패브릭 스토리지 풀로 공유 – 필요에 따라 네트워크를 통해 가상으로 유연하게 할당 및 회수 | |
- NVMe-oF(NVMe over Fabrics)는 NVMe (Non-Volatile Memory express) 스토리지 환경에서 기존 Fiber Channel이나 Ethernet 네트워크 기반 OS 커널 우회 + 병렬 큐 + 스토리지-컴퓨팅 분리 아키텍처를 통해 AI 데이터센터 및 대규모 엔터프라이즈 데이터센터 I/O 인프라 성능을 극대화
2. NVMe-oF의 구조 및 주요 기술
(1) NVMe-oF의 구조
 |
(2) NVMe-oF의 주요 기술
| 구분 | 주요 기술 | 역할 |
|---|---|---|
| 패브릭 전송 | 레거시 패브릭 (Ethernet, FC) | – 기존 이더넷 또는 FC 환경에서 NVMe 프로토콜 사용 – 별도 하드웨어 도입 없이 레거시 장비를 활용하여 구성 |
| RDMA 기반 패브릭 (Infiniband, RoCE) | – CPU 개입 없이 가속 NIC를 통해 원격 스토리지 접근 – 이더넷 기반 RoCE 또는 전용 InfiniBand 환경에서 구성 | |
| 고성능 병렬 처리 | Submission / Completion Queue Pairing | – 호스트와 스토리지 간 I/O Queue Pair 매핑 – 멀티프로세서 환경에서 경합 없이 병렬로 I/O 요청 |
| Capsules and Data Buffers | – NVMe 관련 데이터를 캡슐화하여 패킷으로 전송 – NVMe 커맨드, 상태 정보, 데이터, SGL 등 | |
| 가상화 및 연결 제어 | Discovery Service | – 접근 가능한 스토리지 자동 탐색/식별 네임 서비스 – CDC(Centralized Discovery Controller)로 NVMe 관리 |
| ANA (Asymmetric Namespace Access) | – 멀티패스 환경에서 최적 I/O 경로 제어, 장애 조치 – SCSI의 ALUA와 유사, Optimized Path 실시간 판단 |
- NVMe-oF의 패브릭 유형은 NVMe over TCP/FC/RoCE/Infiniband가 있으며, 저지연, 범용성 등 필요 환경에 따라 필요한 패브릭으로 사용
3. NVMe-oF의 유형 비교
| 비교 항목 | NVMe over TCP | NVMe over FC | NVMe over RoCE(v2) | NVMe over InfiniBand |
|---|---|---|---|---|
| I/O 통신 | TCP Socket | FC Exchange | RDMA Read/Write | RDMA Read/Write |
| 메모리 복사 | Multiple-Copy (S/W 버퍼) | Zero-Copy (HBA ASIC) | Zero-Copy (하드웨어 매핑) | Zero-Copy (하드웨어 매핑) |
| 호스트 CPU 개입 | 커널 스택 처리 (CPU 소모 높음) | 인터럽트 최소화 (HBA 오프로드) | 인터럽트 없음 (Polling/ASIC) | 인터럽트 없음 (Polling/ASIC) |
| 혼잡 제어 | TCP Window Size / NewReno | FC Buffer-to -Buffer | PFC (802.1Qbb) + ECN | IB Credit-based Flow Control |
| 최대 패킷 크기 (MTU) | 1500 Byte or 9000 Byte | 2112 Byte (FC 표준) | 보통 9000 Byte (Jumbo Frame) | 최대 4 KByte |
- NVMe-oF 유형 선택 고려사항은, AI DC 초저지연 필요시 NVMe over Infiniband 또는 범용성을 고려하여 NVMe over RoCE를 선택하고, 클라우드 데이터센터 등 대규모 Scale-out 필요 시 NVMe over TCP를 선택, 금융권 등 미션 크리티컬 서비스의 경우 가장 리스크가 낮은 NVMe over FC 선택을 권장
[참고]
- NVM Express, NVMe Over Fabrics White Paper, 2021.7
- NetApp, Mike Kieran, When You’re Implementing NVMe Over Fabrics, the Fabric Really Matters, 2019.3
About The Author
