짐 켈러가 이끄는 칩 회사 텐스토렌트가 AI 워크로드를 위한 차세대 웜홀 프로세서를 출시했습니다. 텐스토렌트는 저렴한 가격에 우수한 성능을 제공할 것으로 기대하고 있습니다.이 회사는 현재 웜홀 프로세서 1개 또는 2개를 장착할 수 있는 PCIe 카드 2개와 소프트웨어 개발자를 위한 TT-LoudBox 및 TT-QuietBox 워크스테이션을 추가로 제공하고 있습니다. 오늘 발표된 모든 제품은 상용 워크로드에 웜홀 보드를 사용하는 개발자를 위한 것이 아닙니다.
Tenstorrent의 CEO인 짐 켈러는 "개발자들에게 더 많은 제품을 제공할 수 있게 되어 항상 기쁩니다. Wormhole™ 카드를 사용하는 릴리스 개발 시스템은 개발자들이 멀티칩 AI 소프트웨어를 확장하고 개발하는 데 도움이 될 수 있습니다."라고 말했습니다.이번 출시와 더불어, 우리는 2세대 제품인 Blackhole의 테이프 아웃과 파워업이 얼마나 진전되었는지 보고 싶습니다."
각 웜홀 프로세서는 72개의 텐식스 코어(5개는 다양한 데이터 형식의 RISC-V 코어 지원)와 108MB SRAM을 탑재하여 1GHz에서 262 FP8 TFLOPS의 연산 성능과 160W의 열 설계 전력을 제공합니다. 단일 칩 웜홀 n150 카드는 12GB GDDR6 비디오 메모리를 탑재하고 있으며, 288GB/s의 대역폭을 제공합니다.
Wormhole 프로세서는 다양한 워크로드 요구 사항을 충족할 수 있는 유연한 확장성을 제공합니다. 4개의 Wormhole n300 카드를 사용하는 표준 워크스테이션 설정에서 프로세서는 소프트웨어에서 통합된 광범위한 Tensix 코어 네트워크로 나타나는 단일 장치로 결합될 수 있습니다. 이러한 구성을 통해 가속기는 동일한 워크로드를 처리하거나, 4명의 개발자에게 분산하거나, 최대 8개의 서로 다른 AI 모델을 동시에 실행할 수 있습니다. 이러한 확장성의 핵심 특징은 가상화 없이 로컬에서 실행할 수 있다는 것입니다. 데이터 센터 환경에서 Wormhole 프로세서는 시스템 내부 확장에는 PCIe를, 외부 확장에는 이더넷을 사용합니다.
성능 측면에서 Tenstorrent의 단일 칩 Wormhole n150 카드(72개 Tensix 코어, 1GHz 주파수, 108MB SRAM, 12GB GDDR6, 288GB/s 대역폭)는 160W에서 262 FP8 TFLOPS를 달성한 반면, 듀얼 칩 Wormhole n300 보드(128개 Tensix 코어, 1GHz 주파수, 192MB SRAM, 총 24GB GDDR6, 576GB/s 대역폭)는 300W에서 최대 466 FP8 TFLOPS를 제공합니다.
300W의 466 FP8 TFLOPS 성능을 이해하기 위해, AI 시장 선두주자인 엔비디아가 이 열 설계 전력으로 제공하는 성능과 비교해 보겠습니다. 엔비디아의 A100은 FP8은 지원하지 않지만 INT8은 지원하며, 최대 성능은 624 TOPS(스파스 모드에서 1,248 TOPS)입니다. 반면, 엔비디아의 H100은 FP8을 지원하고 300W에서 최대 성능 1,670 TFLOPS(스파스 모드에서 3,341 TFLOPS)를 달성하는데, 이는 텐스토렌트의 웜홀 n300과는 상당한 차이를 보입니다.
하지만 큰 문제가 하나 있습니다. 텐스토렌트의 웜홀 n150은 999달러에 판매되는 반면 n300은 1,399달러에 판매됩니다. 반면 엔비디아 H100 그래픽 카드는 수량에 따라 3만 달러에 판매됩니다. 물론 웜홀 프로세서 4개 또는 8개가 H300 1개만큼의 성능을 실제로 제공할 수 있는지는 알 수 없지만, TDP는 각각 600W와 1,200W입니다.
Tenstorrent는 카드 외에도 개발자를 위한 사전 구축된 워크스테이션을 제공하는데, 여기에는 액티브 냉각 기능을 갖춘 저렴한 Xeon 기반 TT-LoudBox에 포함된 4개의 n300 카드와 EPYC 기반 Xiaolong) 액체 냉각 기능을 갖춘 고급 TT-QuietBox가 포함됩니다.
게시 시간: 2024년 7월 29일