IT 인프라를 구성하는 주요 요소는 끊임없이 진화하고 있다. 지난 10년 사이 CPU는 10배 이상 빨라졌고, 네트워크와 스토리지 역시 속도와 용량 측면에서 발전을 거듭하고 있다. 반면 이런 속도 경쟁에서 상대적으로 뒤처져 있던 부분이, 이들 사이에서 데이터를 실어 나르는 통신 프로토콜이다.
아무리 빠른 프로세서와 스토리지, 네트워크를 사용해도 이들 사이에 데이터가 느리게 이동한다면 전체 시스템이 100% 제 성능을 발휘할 수 없다. 더구나 클라우드 서비스를 제공하는 데이터센터나 빅데이터 분석용 시스템처럼 많은 데이터와 트랜잭션을 처리해야 한다면 통신 프로토콜의 중요성은 더 커진다. 이에 따라 더 빠른 통신 프로토콜에 요구가 높아지고 있는데, 그 중 하나가 바로 '인피니밴드(Infiniband)'다.
인피니밴드는 무한 대역폭의 줄임말이다. 기존 통신 프로토콜인 PCI는 공유 구조로 돼 있어 한 번에 하나의 장비와 통신할 수 있다. 반면 인피니밴드는 여러 장비 간 통신을 동시다발적으로 처리할 수 있다.
인피니밴드의 속도를 기존 방식과 비교하면 그 장점을 바로 알 수 있다. PCI 방식이 양방향 2.128Gbps 속도인 반면 인피니밴드는 가장 느린 형태로 구성해도 5Gbps의 대역폭을 제공한다.
인피니밴드는 지난 1999년 당시 개발중이었던 차세대 통신 연결방식을 결합해 만들어졌다. 컴팩과 IBM 그리고 HP가 개발하던 퓨처 I/O(Future I/O)와 인텔, 마이크로소프트, 썬마이크로시스템즈 등이 개발하던 NGIO(Next Generation I/O)가 그것입니다. 이후 주요 IT 업체의 지원 속에 꾸준히 속도를 개선하고 있다.
이런 특성 때문에 인피니밴드는 고성능 컴퓨터와 데이터센터 등에서 각광받고 있다. 실제로 세계 슈퍼컴퓨터의 상당수가 인피니밴드를 사용하고 있다. 최근에는 단일 기기에 서버와 스토리지, 네트워크 기능을 통합해 특정 작업 처리에 특화된 어플라이언스 장비가 많이 나오고 있는데, 이런 기기에서도 데이터 이동 속도가 매우 중요하므로, 통신 프로토콜로 인피니밴드가 사용된다.
InfiniBand 네트워크란 무엇이며 이더넷과의 차이점은 무엇입니까?
차례
InfiniBand 네트워크란 무엇입니까?
InfiniBand 아키텍처는 데이터 센터에 패브릭 통합을 제공합니다. 스토리지 네트워킹은 동일한 인프라에서 클러스터링, 통신 및 관리 패브릭과 동시에 실행되어 여러 패브릭의 동작을 보존할 수 있습니다.
InfiniBand는 높은 대역폭, 낮은 지연 및 높은 신뢰성을 갖춘 개방형 표준 네트워크 상호 연결 기술입니다. 이 기술은 IBTA(InfiniBand trade Alliance)에서 정의합니다. 이 기술은 슈퍼컴퓨터 클러스터 분야에서 널리 활용되고 있다. 동시에 인공 지능의 부상으로 GPU 서버에 선호되는 네트워크 상호 연결 기술이기도 합니다.
InfiniBand 표준은 2.5X 케이블(가장 일반적으로 사용되는 InfiniBand 케이블 유형)을 통해 10Gbits/초의 원시 데이터 속도를 허용하기 위해 레인당 4Gbits/초의 기본 속도로 단일 데이터 속도(SDR) 신호를 지원합니다. DDR(Double Data Rate) 및 QDR(Quad Data Rate) 신호를 통해 단일 레인을 5X 및 10Gbits/sec에서 40Gbits/sec의 잠재적인 최대 데이터 속도에 대해 각각 레인당 최대 4Gbits/sec 및 120Gbits/sec까지 확장할 수 있습니다. 12X 케이블 이상.
네트워킹 기술 비교
현재 최신 InfiniBand 제품은 Mellanox에서 생산하는 HDR로 네트워크에 최대 200Gbps의 종단 간 대역폭을 제공하고 고성능 컴퓨팅, 인공 지능 및 기타 분야에서 비교할 수 없는 네트워크 경험을 제공하며 클러스터의 컴퓨팅 가능성.
컴퓨터 클러스터 상호 연결 기술인 InfiniBand는 이더넷/광섬유 채널 및 구식 Omni-Path 기술에 비해 상당한 이점이 있으며 InfiniBand Trade Association(IBTA)에서 기본적으로 권장하는 네트워크 통신 기술입니다. 2014년부터 대부분의 TOP500 슈퍼컴퓨터가 InfiniBand 네트워킹 기술을 채택했습니다. 최근 몇 년 동안 AI/빅 데이터 관련 애플리케이션은 고성능 클러스터 배포를 달성하기 위해 대규모로 IB 네트워크를 채택했으며, 상위 62대 슈퍼컴퓨팅 센터의 100%가 InfiniBand 기술을 사용합니다(2022년 XNUMX월 데이터).
200G InfiniBand HDR이란 무엇입니까?
InfiniBand는 링크 대역폭을 늘리기 위해 SDR/DDR/QDR/FDR/EDR 전송을 지원합니다. 최근 Mellanox는 HDR을 지원하는 200G InfiniBand를 출시했습니다. Mellanox는 최근 HDR을 지원하는 200G InfiniBand를 출시했습니다. 멜라녹스 200Gb / s HDR InfiniBand 네트워크는 초저 지연, 높은 데이터 처리량 및 지능형 네트워크 컴퓨팅 가속 엔진을 지원합니다. 사용자는 베어메탈 환경에서와 마찬가지로 클라우드에서 표준 Mellanox 소프트웨어 드라이버를 사용할 수 있습니다. RDMA 동사 지원으로 Mellanox HPC-X, MVAPICH2, Platform MPI, Intel MPI 등과 같은 모든 InfiniBand 기반 MPI 소프트웨어를 사용할 수 있습니다.
또한 사용자는 하드웨어를 활용할 수도 있습니다. off추가적인 성능 향상을 위한 MPI 클러스터 통신의 로드 기능은 비즈니스 애플리케이션의 효율성도 향상시킵니다. 200G InfiniBand에는 네트워크 내 컴퓨팅 가속 엔진, HDR InfiniBand 어댑터, HDR InfiniBand Quantum 스위치 및 200G 케이블링을 비롯한 광범위한 애플리케이션이 있습니다.
InfiniBand 애플리케이션
200G InfiniBand 케이블링의 경우 Mellanox 200Gbs 솔루션의 마지막 부분은 LinkX 케이블. 멜라녹스 off최대 200미터에 이르는 직접 연결 3G 구리 케이블과 HDR2 링크를 지원하는 100개의 100G 스플리터 브레이크아웃 케이블과 최대 200미터에 이르는 100G 활성 광 케이블이 있습니다. 200Gb/s 라인의 모든 LinkX 케이블은 표준 QSFP56 패키지로 제공됩니다.
InfiniBand 네트워크의 장점은 무엇입니까?
직렬 고대역폭 링크
– SDR: 10Gb/s
– DDR: 20Gb/s
– QDR: 40Gb/s
– 초기화: 56Gb/s
– EDR: 100Gb/s
– HDR: 200Gb/s
매우 낮은 대기 시간
– 1 us 이하 신청 신청
신뢰할 수 있는 무손실 자가 관리 패브릭
– 링크 레벨 흐름 제어
– HOL 차단 방지를 위한 혼잡 제어
전체 CPU Off하중
– 하드웨어 기반의 안정적인 전송 프로토콜
– 커널 우회(사용자 수준 응용 프로그램이 하드웨어에 직접 액세스할 수 있음)
원격 노드 액세스에 노출된 메모리 – RDMA 읽기 및 RDMA 쓰기
– 원자 연산
서비스 품질
– 어댑터 수준의 독립 I/O 채널
– 링크 수준의 가상 레인
클러스터 확장성/유연성
– 서브넷에서 최대 48K 노드, 네트워크에서 최대 2^128
– 끝 노드 간의 병렬 경로
– 다중 클러스터 토폴로지 가능
단순화된 클러스터 관리
– 중앙 집중식 경로 관리자
– 대역 내 진단 및 업그레이드
이더넷 네트워크란 무엇입니까?
이더넷은 Xerox사가 제정하고 Xerox, Intel, DEC사가 공동으로 개발한 Baseband LAN 규격 규격을 말한다. 이더넷 일반 규격은 30년 1980월 10일에 제정된 것으로 기존 랜이 채택한 가장 일반적인 통신 프로토콜 규격이다. 케이블을 통해 데이터를 송수신합니다. 이더넷 네트워크는 근거리 통신망을 생성하고 여러 대의 컴퓨터나 프린터, 스캐너 등과 같은 기타 장치를 연결하는 데 사용됩니다. 유선 네트워크에서는 광섬유 케이블을 사용하여 수행되는 반면 무선 네트워크에서는 무선 네트워크 기술을 통해 수행됩니다. 이더넷 네트워크의 주요 유형은 패스트 이더넷, 기가비트 이더넷, XNUMX기가비트 이더넷 및 스위치 이더넷입니다.
현재 IEEE에서 조직한 IEEE 802.3 표준 기구는 100GE, 200GE, 400GE의 이더넷 인터페이스 표준을 발표했습니다. 이더넷 네트워크는 현재 가장 속도가 빠른 전송 기술입니다.
InfiniBand 대 이더넷: 차이점은 무엇입니까?
InfiniBand와 이더넷은 상호 연결 기술로서 고유한 특성과 차이점이 있습니다. 그들은 서로 다른 응용 분야에서 개발 및 발전하고 있으며 네트워크 세계에서 두 가지 필수 상호 연결 기술이 되었습니다.
이더넷 네트워크 유형
이더넷 네트워크 측면에서 볼 때 IP 기술과 함께 전 세계 인터넷 구축의 초석을 구성합니다. 모든 사람과 지능형 장치는 더 나은 호환성을 달성하려는 설계의 원래 의도와 관련된 모든 것의 상호 연결을 실현하기 위해 이더넷에 의존합니다. 서로 다른 시스템을 더 잘 상호 연결할 수 있으므로 이더넷은 탄생 이후 매우 강력한 적응력을 갖게 됩니다. 수십 년의 개발 끝에 인터넷의 표준이 되었습니다.
InfiniBand 네트워크 측면에서 고성능 컴퓨팅 시나리오에서 데이터 전송 병목 현상을 해결하기 위한 상호 연결 표준입니다. 그것은 공식화 이후 고급 응용 프로그램으로 자리 잡았습니다. 상호 연결은 주요 모순이 아니며 고성능 통신이 주요 진입점입니다. Infiniband는 최근에 출시된 새로운 유형의 연결입니다. 그것에 대한 좋은 점은 사용자에게 제공되는 속도입니다. 연결 속도는 궁극적으로 선택한 와이어에 따라 다르지만 최대 40Gbps 또는 그 이상까지 올라갈 수 있습니다.
따라서 이더넷 기술에 비해 인피니밴드 주로 대역폭, 지연, 네트워크 안정성 및 네트워킹 모드에서 위치가 다르기 때문에 이더넷과 본질적으로 다릅니다. InfiniBand는 CPU가 RDMA(Remote Direct Memory Access)에 참여하지 않고 데이터와 메시지를 전송하기 위해 스위치를 통해 노드 간에 개인 및 보호 채널을 직접 생성합니다. 어댑터의 한쪽 끝은 PCI Express 인터페이스를 통해 CPU에 연결되고 다른 쪽 끝은 InfiniBand 네트워크 포트를 통해 InfiniBand 서브넷에 연결됩니다. 이는 다른 네트워크 통신 프로토콜과 비교할 때 더 높은 대역폭, 더 낮은 대기 시간 및 향상된 확장성을 포함한 명백한 이점을 제공합니다.
InfiniBand 대 Omni-Path: Omni-Path에 대한 InfiniBand의 장점
NVIDIA가 InfiniBand 400G NDR 솔루션을 출시했지만 일부 고객은 여전히 100G 솔루션을 사용하고 있습니다. 100G 고성능 네트워크의 경우 속도와 성능은 같지만 네트워크 구조가 크게 다른 두 가지 공통 솔루션인 Omni-Path와 InfiniBand가 있습니다. 예를 들어, 400노드 클러스터의 경우 InfiniBand에는 15개의 NVIDIA Quantum 8000 시리즈 스위치와 200개의 200G 분기 케이블, 200개의 200G 직접 케이블만 필요하지만 Omni-Path에는 24개의 스위치와 876개의 100G 직접 케이블(384노드)이 필요합니다. InfiniBand는 초기 장비 비용과 이후 운영 및 유지 보수 비용에서 매우 유리하며 전체 전력 소비가 환경 친화적 인 Omni-Path보다 훨씬 낮습니다.
InfiniBand HDR 제품 소개
EDR은 클라이언트 수요 측면에서 단계적으로 시장에서 퇴출되고 있으며 NDR 비율이 너무 높아 헤드 고객만 사용하려고 합니다. HDR은 HDR 100G 및 HDR 200G의 유연성으로 널리 사용됩니다.
HDR 스위치
HDR 스위치에는 두 가지 유형이 있습니다. 하나는 HDR CS8500입니다. 29U 스위치는 최대 800개의 HDR 200Gb/s 포트를 제공하며, 각 200GB 포트는 2X100G로 분할되어 1600개의 HDR100 100Gb/s 포트를 지원할 수 있습니다.
다른 유형은 QM8000 시리즈입니다. 1U 패널에는 40개의 200G QSFP56 포트가 있으며 80G HDR 네트워크 카드를 연결하기 위해 최대 100개의 HDR 100G 포트로 분할할 수 있습니다. 동시에 각 포트는 EDR도 지원하며 EDR의 네트워크 카드와 직접 연결됩니다. 200G HDR 포트는 100G까지만 감속할 수 있고 EDR 네트워크 어댑터에 연결할 수 있으며 2X100G로 분할하여 두 개의 EDR 네트워크 어댑터를 연결할 수 없습니다.
200G HDR 스위치에는 QM8700 및 QM8790의 두 가지 옵션이 있습니다. 두 모델의 유일한 차이점은 관리 모드입니다. QM8700은 대역 외 관리를 위한 제어 인터페이스를 제공하는 반면 QM8790은 관리를 위해 NVIDIA UFM®(Unified Fabric Manager) 플랫폼이 필요합니다.
QM8700 및 QM8790의 경우 스위치의 각 모델에 대해 두 가지 공기 흐름 옵션이 있습니다. 그 중 하나는 P8790C 공기 흐름(전면 및 후면 공기 흐름)용 2-HS2F입니다. 팬 모듈은 파란색으로 표시되어 있습니다. 표시를 인식하지 못하는 경우 스위치의 공기 흡입구와 배출구 위에 손을 띄워 식별할 수도 있습니다.
8790-HS2R은 C2P 기류(후면 전면 덕트) 팬 모듈의 빨간색 표시입니다. 여기서 P2C 및 C2P P는 전원 전원을 의미하고 C는 케이블(라인 인터페이스), P2C(Power to Cable), C2P(Cable to Power)를 의미합니다. 여기서 참조 시스템은 전면의 전원 전원 측, 후면의 케이블 라인 인터페이스 측입니다.
QM8700 및 QM8790은 일반적으로 실제로 두 가지 방식으로 사용됩니다. 하나는 200G를 직접 사용하여 200G HDR NIC와 상호 연결하는 것입니다. 200G AOC/DAC; 다른 일반적인 용도는 스위치의 물리적 100G(200X2G) QSFP100 포트 하나가 가상 200G(4X50G) 포트 56개로 분할되는 2G ~ 100X2G 케이블을 사용하여 50G HDR NIC와 상호 연결하는 것입니다. 4X50G) 스위치의 QSFP56 포트는 100개의 가상 2G(50X1,2G) 포트로 분할되며 분할 후 포트의 기호는 x/y에서 x/Y/z로 변경됩니다. 여기서 "x/Y"는 이전을 나타냅니다. 분할 전 포트의 기호이고 "z"는 결과 단일 레인 포트(XNUMX)의 번호를 나타내며 각 하위 물리적 포트는 단일 포트로 처리됩니다.
HDR 네트워크 어댑터
HDR 네트워크 어댑터는 스위치보다 훨씬 다양합니다. HDR100 네트워크 어댑터는 100G의 전송 속도를 지원합니다. 100개의 HDR200 포트는 2G ~ 100x100G 케이블을 통해 HDR 스위치에 연결할 수 있습니다. 100G EDR 네트워크 카드와 달리 HDR100 네트워크 카드의 4G 포트는 25X2G NRZ 및 50X4G PAM200 전송을 모두 지원합니다. HDR NIC는 200G 전송 속도를 지원하며 XNUMXG 다이렉트 케이블을 통해 스위치에 연결할 수 있습니다. 두 가지 인터페이스 속도 외에도 서비스 요구 사항에 따라 각 속도의 단일 포트, 이중 포트 및 PCIe 네트워크 어댑터를 선택할 수 있습니다. Fiber Mall에서 제공하는 일반적인 InfiniBand HDR 네트워크 어댑터 모델은 다음과 같습니다.
InfiniBand 네트워크 아키텍처는 간단하지만 솔루션 선택은 다양합니다. 100G 속도에는 100G EDR 솔루션과 100G HDR 솔루션이 모두 있습니다. 200 rate에는 HDR 및 200G NDR 두 가지 옵션도 있습니다. 다른 솔루션에 사용되는 네트워크 어댑터, 커넥터 및 스위치는 상당히 다릅니다.
NVIDIA Elite 레벨 파트너로서 Fiber Mall은 다양한 고객의 요구에 따라 완전한 InfiniBand 솔루션을 제공할 수 있으며 당사의 선임 기술 엔지니어는 InfiniBand 고성능 네트워크 솔루션 설계 및 프로젝트 구현 서비스에 대한 풍부한 경험을 갖고 있으며 다양한 애플리케이션에 따라 최적의 솔루션을 제공할 수 있습니다. 시나리오. QM8700/QM8790 스위치, HDR NIC, AOC/DAC/광 모듈 포트폴리오 솔루션을 제공하여 뛰어난 성능과 확장성을 달성하고 HPC, AI 및 기타 애플리케이션에 대한 ROI를 더 낮은 비용과 우수한 성능으로 개선할 수 있습니다.
CX4/SFF-8470 단자가 있는 인피니밴드 스위치 패널
인피니밴드(InfiniBand)는 고성능 컴퓨팅과 기업용 데이터 센터에서 사용되는 스위치 방식의 통신 연결 방식이다. 주요 특징으로는 높은 스루풋과 낮은 레이턴시 그리고 높은 안정성과 확장성을 들 수 있다. 컴퓨팅 노드와 스토리지 장비와 같은 고성능 I/O 장비간의 연결에 사용된다. 인피니밴드의 호스트 버스 어댑터와 네트워크 스위치는 멜라녹스와 2012년 1월 Qlogic의 인피니밴드 사업부를 인수한 인텔에서 생산하고 있다.[1] 인피니밴드는 가상 인터페이스 아키텍처(VIA)의 확대 개념이다.
설명
실질적인 단방향 이론 스루풋
(신호 속도가 아니라 실제 데이터 속도임) SDRDDRQDRFDR-10FDREDR1X4X12X
| 2 Gbit/s | 4 Gbit/s | 8 Gbit/s | 10 Gbit/s | 13.64 Gbit/s | 25 Gbit/s |
| 8 Gbit/s | 16 Gbit/s | 32 Gbit/s | 40 Gbit/s | 54.54 Gbit/s | 100 Gbit/s |
| 24 Gbit/s | 48 Gbit/s | 96 Gbit/s | 120 Gbit/s | 163.64 Gbit/s | 300 Gbit/s |
파이버 채널과 PCI 익스프레스 그리고 직렬 ATA등 많은 다른 상호 연결방식과 같이 인피니밴드는 점대점 양방향 직렬 통신이다. 점대점 프로토콜외에도 인피니 밴드는 멀티 캐스트 기능도 지원한다. 시그럴링 속도에는 SDR(single data rate), DDR(double data rate), QDR(quad data rate), FDR(fourteen data rate) 그리고 EDR(Extended Data Rate)이 있다. SDR은 하나의 연결(레인)당 각 방향에서 2.5 Gbit/s의 속도로 정보를 전송한다. 각각 하나의 레인당 DDR은 5 Gbit/s, QDR은 10 Gbit/s 그리고 FDR은 14.0625 Gbit/s, EDR은 25.78125 Gbit/s의 전송 속도이다. SDR, DDR 그리고 QDR은 8b/10b 인코딩방식을 사용하지만 FDR 및 EDR은 64b/66b 부호화(encoding)를 사용한다. 8b/10b 부호화 방식은 8비트의 데이터를 10비트로 변환후 데이터를 전송한다. 따라서 SDR, DDR, QDR은 각각 초당 2,4, 8 기가 비트의 유효 데이터를 보낸다. FDR및 EDR은 64비트의 데이터를 66비트 데이터로 보내게 된다.
토폴리지
인피니밴드는 전통적인 이더넷 아키텍처와 같은 계층적 스위치 방식의 네트워크와는 반대로 스위치 패브릭 방식의 토폴리지를 사용한다. 모든 전송은 채널 어댑터에서 시작하거나 끝이난다. 각 프로세서는 호스트 채널 어댑터(HCA)를 가지고 있으며 각 주변장치에는 타켓 채널 어댑터(TCA)가 있다. 이러한 어댑터들은 보안및 QoS를 위하여 정보를 교환할 수 있다.
메시지
인피니밴드는 메시지로 구성되는 최대 4 KB의 패킷으로 데이터를 전송한다. 메시지들은 아래와 같다.
- 원격노드에서 읽거나 원격노드로 쓰는 직접 메모리 접근(RDMA)
- 채널 송/수신
- 트랜잭션 기반 동작
- 멀티 캐스트 전송
- atomic operation
I. 고성능 스위치 통신 방식, 인피니밴드
개념특징
| PCI 및 광 채널 I/F와 같은 고성능, 확장성 보장 스위치 방식의 통신 연결 방식 | – 높은 Throughput 2.5Gbps – 낮은 Latency RDMA지원 – 높은 안정성, 확장성 |
II. 인피니밴드의 아키텍처 및 주요 기술요소
가. 인피니밴드의 아키텍처
하나의 스토리지를 여러 서버가 고속 공유 가능 구조
나. 인피니밴드의 기술요소
구분기술요소설명
| Processor 노드 | HCA | – Processor Node 연결 – I/O 메시지해독, 메모리 직접 Write |
| Subsystem 노드 | TCA | – 저장장치 Node 연결 – 스토리지, 백업장치 등 |
| Infiniband 연결망 | RDMA | – 커널 관여 없이 직접 전송 – 다른 노드 메모리에 데이터 전송 |
- 인피니밴드는 I/O 병목 현상을 제거하여 전체 성능 개선하여 고성능 컴퓨팅 서버 클러스터 연결로 활용
'> IT (Information Technology)' 카테고리의 다른 글
| SRDF, EMC, Symmerix Remote Data Facility (0) | 2023.06.08 |
|---|---|
| NTP, PTP, Network Time Protocol, Precision Time Protocol (0) | 2023.03.10 |
| FC, iSCSI, FCIP, FCoE (0) | 2023.03.09 |
| Linux, ReaR, OS Backup, Relax & Recovery (1) | 2023.03.09 |
| 미들웨어, middleware, WAS (0) | 2023.03.09 |