RAM, CPU, dan Storage

Pada sub-bab sebelumnya, kita sudah memuja VRAM (memori grafis) sebagai raja di singgasananya. Namun, sebuah kerajaan yang kuat tidak bisa ditopang oleh rajanya sendiri kelaparan. Jika GPU adalah mesin mobil balap V8, maka RAM sistem, CPU, dan SSD (*Solid State Drive*) bertindak sebagai tangki bensin, persneling, dan ban untuk mengalirkan tenaga balap itu ke aspal.

Banyak sekali arsitek pemula merakit mesin jutaan rupiah dengan RTX 4090, tapi AI-nya memakan waktu dua menit untuk memulai sekadar mengucapkan "Halo!". Hal ini akibat *bottleneck* (kemacetan transfer data) mengerikan di level *storage* dan memori sistem.

Disk Drive: SSD NVMe adalah Kewajiban, HDD adalah Sejarah

Langkah pertama saat proses menyalakan model bervolume 10GB adalah mentransfer data *weights file* raksasa tersebut dari Hardisk menuju VRAM kartu grafis.

Kalau ruang penyimpananmu menggunakan HDD (Hard Disk Drive) jadul, transfer baca (read speed) paling banter berkisar 100-150 MB/s. Model 10GB akan butuh waktu harafiah 1-2 menit untuk di-*load*. Selama menunggu, kamu hanya memandangi layar *loading* kosong sebelum instruksi paling dasar bisa dijalankan. Bagaimana jika kamu punya model jumbo sebesar 70GB? Bersiaplah merebus indomie terlebih dahulu.

"Tidak ada toleransi untuk HDD di server AI zaman now. Kamu meletakkan mesin waktu tercepat di dunia dalam rel kereta kuda kayu." - Server System Administrator

Ganti sepenuhnya dengan minimal SSD NVMe PCIe Gen 4 (atau Gen 3 jika hemat) dengan kecepatan baca minimal 3.000 MB per detik, hingga yang terbaru rata-rata menembus 7.000 MB/s. Proses *loading* 10GB tersebut akan disulap dari urusan menit menjadi hanya hitungan dua atau tiga *detik*. Kebebasan komputasi instan seketika tercapai.

RAM Sistem: Sang Jaring Pengaman (Offloading)

Ingat ketika kita menetapkan aturan "semua wajib muat di VRAM"? Dalam skenario nyata, kadang kamu sangat rakus dan mencoba memuat model spesifikasi parameter 30B (ukuran *file* 20 GB) padahal VRAM kamu *mentok* di 12 GB. Apakah AI akan menampilkan error dan mati (*Out of Memory Alert*)?

Tidak selalu. Disinilah fitur *CPU Offloading* dari *software* inferensi (seperti Ollama/llama.cpp) mengambil peran. Software secara cerdas mengakali dengan menjejalkan porsi memori model sebesar 12 GB ke VRAM, lalu sisa beban 8 GB-nya dilepas sementara (*Offload*) ke dalam RAM fisik komputer biasa agar mesin tetap jalan tak mogok.

Tapi bersiaplah, karena kecepatan membaca dari RAM Sistem akan jauh lebih tersendat (*lemot*) dibanding *bandwidth* memori grafis superkilat. Karena itu, formula standar wajib *Data scientist*: Kapasitas RAM Fisik kamu harus minimum Dua Kali Lipat jumlah VRAM GPU milikmu. (Contoh, punya GPU 12GB VRAM berarti rakitlah PC minimal 32 GB *RAM System* agar proses *offload* dan napas OS-mu leluasa).

Peran CPU: Jangan Habis Uang Di Sini

Banyak yang keliru menyisihkan *budget* mahal untuk membeli prosesor "Dewa" terbaru (seperti i9 atau Ryzen 9 Extreme). Padahal dalam lanskap arsitektur komputasi saraf, prosesor inti (*CPU*) kebanyakan menganggur (*idle*) saat "otak AI" sedang berkalkulasi berat memuntahkan jawaban karena tugas tersebut 100% dibebankan ke GPU.

Satu-satunya area di mana CPU bekerja ekstra adalah ketika menangani penguraian *Prompt* di detik pertama, atau saat mode *Offloading* di atas aktif mencari jalur kabel PCIe bus *bottleneck*.

Prioritaskan CPU *Mid-tier* atau rata-rata yang stabil dan tidak *overheating*. Core i5 atau Ryzen 5 generasi terbaru sudah sangat mumpuni. Sisihkan selisih jutaan budget tersebut untuk dialihkan demi menambah satu keping RAM atau memaksimalkan pembelian RTX dengan VRAM lebih badak!