Intel memperkenalkan akselerator AI terbaru mereka, Gaudi 3, pada acara Computex 2024. Gaudi 3 dirancang khusus untuk mempercepat proses komputasi yang intensif dalam bidang AI (Artificial Intelligence) dan ML (Machine Learning).
Spesifikasi dan Teknologi
Gaudi 3 dibangun dengan teknologi canggih:
- 64 inti tensor generasi kelima untuk performa AI yang luar biasa.
- Proses 5nm dari TSMC.
- 8 matrix math engine.
- 96MB SRAM.
- 128GB memori HBM2e.
Akselerator ini menawarkan performa 1,835 TFLOPS, yang merupakan lompatan signifikan dalam komputasi AI.
Keunggulan dan Peningkatan
Gaudi 3 menunjukkan peningkatan besar dibandingkan pendahulunya, Gaudi 2:
- Performa BF16 meningkat empat kali lipat.
- Performa FP8 meningkat dua kali lipat.
- Kemampuan jaringan meningkat dua kali lipat.
- Perbandingan dengan NVIDIA H100
Intel mengklaim bahwa Gaudi 3:
- Memiliki kecepatan pelatihan dan inferensi yang lebih tinggi dibandingkan NVIDIA H100.
- Memberikan waktu pelatihan lebih cepat hingga 40% untuk cluster 8.192 akselerator.
- Menawarkan throughput pelatihan 15% lebih cepat untuk cluster 64 akselerator pada model Llama2-70B.
- Memberikan rata-rata inferensi dua kali lebih cepat pada model Llama-70B dan Mistral-7B.
Ketersediaan dan Kolaborasi
Gaudi 3 akan tersedia pada paruh kedua tahun 2024 melalui Intel Dev Cloud. Developer dan perusahaan terpilih akan mendapatkan akses awal untuk menguji dan mengintegrasikan Gaudi 3.
Intel juga telah berkolaborasi dengan 10 penyedia sistem global terkemuka, termasuk enam penyedia baru seperti:
- Asus
- Foxconn
- Gigabyte
- Inventec
- Quanta
- Wistron
Mereka bergabung dengan penyedia yang sudah ada, yaitu:
- Dell
- Hewlett-Packard Enterprise
- Lenovo
- Supermicro
Harga dan Integrasi
Satu kit dengan 8 akselerator Intel Gaudi 3 ditawarkan seharga US$125.000, sekitar dua pertiga dari harga platform kompetitor yang sebanding. Integrasi dengan prosesor Xeon dan akselerator Gaudi 3 tidak hanya memberikan kinerja tinggi tetapi juga mengurangi biaya keseluruhan hingga sepertiga dibandingkan produk lainnya. Produk ini dapat diintegrasikan dengan mulus ke dalam satu sistem, memberikan keunggulan kompetitif dibandingkan dengan produk kompetitor.
Kesimpulan
Peluncuran Gaudi 3 oleh Intel menunjukkan langkah besar dalam perkembangan teknologi AI dan ML, dengan peningkatan performa yang signifikan dan biaya yang lebih rendah. Ini menawarkan solusi yang lebih efisien dan cepat untuk pelatihan dan inferensi model AI, menjadikannya pilihan menarik bagi perusahaan dan developer yang ingin mengoptimalkan kinerja komputasi mereka.
