Jim Keller 주도의 칩 회사 인 Tenstorrent는 AI 워크로드 용 차세대 웜홀 프로세서를 출시했으며, 이는 저렴한 가격으로 우수한 성능을 제공 할 것으로 예상합니다.이 회사는 현재 하나 또는 두 개의 웜홀 프로세서를 수용 할 수있는 2 개의 추가 PCIE 카드와 소프트웨어 개발자를위한 TT-Loudbox 및 TT-Quietbox 워크 스테이션을 제공합니다. 오늘날의 모든 공지 사항은 상업용 워크로드에 웜홀 보드를 사용하는 개발자가 아니라 개발자를 대상으로합니다.
Tenstorrent의 CEO 인 Jim Keller는“Wormhole ™ 카드를 사용하는 개발 시스템 출시 시스템은 개발자가 개발자를 확장하고 멀티 치프 AI 소프트웨어를 개발하는 데 도움이 될 수 있습니다.이번 런칭 외에도 2 세대 제품인 Blackhole의 테이프를 사용하고 전원을 공급하면서 진행중인 진전을 보게되어 기쁩니다.”
각 웜홀 프로세서에는 72 개의 텐스 코어 (5 개는 다양한 데이터 형식의 RISC-V 코어를 지원)와 108MB의 SRAM을 포함하여 1GHz에서 262 FP8 TFLOP를 1GHz에서 160W의 열 설계 전력으로 전달합니다. 단일 칩 웜홀 N150 카드에는 12GB GDDR6 비디오 메모리가 장착되어 있으며 대역폭은 288GB/s입니다.
웜홀 프로세서는 다양한 워크로드 요구를 충족시키기 위해 유연한 확장 성을 제공합니다. 4 개의 Wormhole N300 카드가 장착 된 표준 워크 스테이션 설정에서 프로세서는 소프트웨어에 통합 된 광범위한 텐스 코어 네트워크로 나타나는 단일 장치로 결합 할 수 있습니다. 이 구성을 통해 가속기는 동일한 워크로드를 처리하거나 4 개의 개발자로 분할하거나 최대 8 개의 다른 AI 모델을 동시에 실행할 수 있습니다. 이 확장 성의 주요 특징은 가상화없이 로컬로 실행할 수 있다는 것입니다. 데이터 센터 환경에서 Wormhole 프로세서는 PCIE를 사용하여 기계 내부의 확장 또는 외부 확장을 위해 이더넷을 사용합니다.
성능 측면에서 Tenstorrent의 단일 칩 웜홀 N150 카드 (72 텐스 코어, 1GHz 주파수, 108MB SRAM, 12GB GDDR6, 288GB/S 대역폭)는 160W에서 262 FP8 TFLOPS를 달성 한 반면 Dual-CHIP WormHole N300 보드 (128 Tensix Cores, 1 GHZ 주파수) 집계 된 24GB GDDR6, 576 GB/S 대역폭)는 300W에서 최대 466 FP8 TFLOP를 제공합니다.
466 fp8 tflops의 300W를 컨텍스트에 넣으려면 AI 시장 리더 Nvidia 가이 열 설계력에서 제공하는 것과 비교할 수 없습니다. NVIDIA의 A100은 FP8을 지원하지 않지만 624 개의 상단 (1,248 개의 상단)의 피크 성능으로 INT8을 지원합니다. 이에 비해 NVIDIA의 H100은 FP8을 지원하고 300W (Sparse에서 3,341 TFLOP)에서 1,670 TFLOP의 최고 성능에 도달하며, 이는 TenStorrent의 Wormhole N300과 크게 다릅니다.
그러나 한 가지 주요 문제가 있습니다. Tenstorrent 's Wormhole N150은 999 달러에 판매되는 반면 N300은 $ 1,399에 판매됩니다. 이에 비해 단일 NVIDIA H100 그래픽 카드는 수량에 따라 $ 30,000에 판매됩니다. 물론, 우리는 4 ~ 8 개의 웜홀 프로세서가 실제로 단일 H300의 성능을 제공 할 수 있는지 알 수 없지만 TDP는 각각 600W와 1200W입니다.
Tenstorrent는 카드 외에도 능동 냉각 기능을 갖춘보다 저렴한 Xeon 기반 TT-Loudbox의 4 개의 N300 카드와 Epyc 기반 Xiaolong) 액체 냉각 기능을 갖춘 고급 TT-Quietbox를 포함하여 개발자에게 사전 구축 된 워크 스테이션을 제공합니다.
후 시간 : 7 월 -29-2024