KabarTifa.ID – Seorang insinyur dari Hugging Face, Matthew Carrigan, baru-baru ini mengungkapkan metode untuk menjalankan model AI canggih DeepSeek-R1 secara lokal dengan kuantisasi 8-bit, tanpa perlu menggunakan GPU mahal.
Metode ini diklaim hanya memerlukan biaya sekitar $6.000 dengan memanfaatkan kapasitas memori besar dibandingkan daya komputasi yang tinggi.
Mengenal DeepSeek-R1
DeepSeek-R1, yang diluncurkan pada 20 Januari 2025, adalah model Mixture-of-Experts (MoE) dengan 671 miliar parameter dan 37 miliar parameter aktif per token.
Baca Juga: OpenAI Rilis o3-mini, Model AI dengan Efisiensi Biaya Terbaik
Model ini dirancang untuk pemrosesan bahasa tingkat lanjut, mampu menangani hingga 128.000 token input dan menghasilkan hingga 32.000 token output.
Berkat arsitektur MoE, DeepSeek-R1 menawarkan performa tinggi dengan konsumsi daya yang lebih efisien dibandingkan model berbasis jaringan padat (dense models).
Pengujian independen menunjukkan bahwa model ini memiliki kinerja sebanding dengan OpenAI O1, menjadikannya alternatif yang kompetitif dalam aplikasi AI kelas atas.
Spesifikasi Hardware untuk Menjalankan DeepSeek-R1
Alih-alih menggunakan GPU kelas atas, sistem ini berpusat pada kombinasi dua prosesor AMD Epyc dan RAM besar hingga 768GB DDR5. Berikut adalah spesifikasi lengkapnya:
- Casing: Enthoo Pro 2 Server
- Motherboard: Gigabyte MZ73-LM0 atau MZ73-LM1 (memiliki dua soket CPU dan 24 slot RAM)
- Prosesor: 2x AMD Epyc 9004/9005 (9115 atau 9015 sebagai opsi yang lebih ekonomis)
- Pendingin: Arctic Freezer 4U-SP5
- RAM: 24x 32GB DDR5 RDIMM (total 768GB)
- Penyimpanan: SSD NVMe 1TB+ (untuk memuat bobot model sebesar 700GB dengan cepat)
- Daya: Corsair HX1000i (1000W, cukup untuk dua CPU)
Proses Instalasi dan Konfigurasi
Setelah perangkat keras siap, pengguna harus menginstal sistem operasi Linux dan perangkat lunak llama.cpp untuk menjalankan model.
Salah satu pengaturan penting di BIOS adalah mengatur NUMA groups ke 0, yang dapat meningkatkan efisiensi penggunaan RAM hingga dua kali lipat.
Bobot model sebesar 700GB dapat diunduh langsung dari Hugging Face sebelum dijalankan pada sistem ini.
Performa dan Efisiensi
Dengan konfigurasi ini, DeepSeek-R1 dapat menghasilkan 6-8 token per detik—angka yang cukup baik untuk model AI tingkat tinggi yang berjalan sepenuhnya secara lokal.
Tidak adanya GPU dalam sistem ini bukanlah kekurangan, melainkan strategi untuk menghindari biaya tinggi.
Baca Juga: Asus ROG Phone 9 FE Resmi Diluncurkan dengan Chipset Snapdragon 8 Gen 3
Jika model ini dijalankan dengan kuantisasi Q8 pada GPU, dibutuhkan lebih dari 700GB VRAM, yang bisa menghabiskan biaya lebih dari $100.000.
Menariknya, meskipun memiliki daya komputasi tinggi, sistem ini hanya mengonsumsi kurang dari 400W listrik, menjadikannya pilihan yang efisien.
Mengapa Ini Penting?
Bagi mereka yang ingin menjalankan model AI mutakhir tanpa ketergantungan pada layanan cloud, solusi ini menawarkan keuntungan besar.
Dengan menjalankan AI secara lokal, pengguna memiliki kendali penuh atas data mereka, mengurangi risiko kebocoran informasi, serta menghilangkan ketergantungan pada sistem eksternal.
Pendekatan ini membuktikan bahwa AI berperforma tinggi dapat dioperasikan secara mandiri dengan biaya yang lebih terjangkau, membuka peluang bagi lebih banyak orang untuk mengakses teknologi canggih ini.
