GPU Server Mendukung Hingga 8 GPU

GPU server merupakan perangkat server yang dapat dipasang perangkat GPU yang umumnya berfungsi sebagai co-processor atau processor tambahan untuk membantu kerja processor utama dalam menjalankan tugas-tugas khusus seperti pemrosesan atau aritmatika. 

GPU server merupakan server yang sangat khusus karena server ini ditujukan untuk parallel tasking untuk mempercepat dan membuat perhitungan menjadi efisien. Server ini tidak cocok digunakan untuk web server, database server, file server, application server yg umum digunakan, hal ini bukan berarti GPU server tidak mampu menjalankan software client-server tersebut hanya saja software tersebut tidak dapat menggunakan performa yang dimiliki oleh GPU, sehingga percuma atau atau tidak cocok. Untuk aplikasi yang mendukung GPU adalah aplikasi yang memang memiliki fitur untuk mengakses atau menggunakan GPU, bisa dikatakan apliasi yang berhubungan dengan engineering, pengolahan gambar, aplikasi yang berhubungan dengan AI (Artificial Intelligent) seperti machine learning, deep learning, simulation dan sebagainya memiliki tool untuk menggunakan utilitas GPU

Secara fisik GPU server sama seperti server rackmount pada umumnya hanya saja ukuran panjang ke belakang (depth) lebih lebih panjang dibanding server pada umumnya. Salah satu contoh gambar perangkat GPU server yang dapat dipasang hingga 8 co-processor atau GPU ditunjukan pada Gambar 1 dimana merupakan produk dari ASUS dengan tipe ESC8000G4,

Gambar 1. GPU Server tampak depan

Gambar 1 merupakan contoh GPU server dari brand sserver ASUS tipe ESC8000G4. Server ini merupakan form factor rackmount 4U dana memiliki panajang kebelakang (depth) lebih panjang dibanding server pada umumnya. Meskipun ukuran server terbilang cukup besar server ini hanya memiliki 8 bay small form factor storage sehingga sudah dipastikan pengguna hanya dapat menggunakan hard disk 2.5 inch (Enterprise grade) atau SSD saja, sehingga server ini tidak dapat dipasang hard disk drive dengan kapasitas yang sangat besar karena hard disk 2.5 inch paling besar ukurannya adalah 2,4 TB. Satu satunya pilihan agar dapat menggunakan kapasitas besar adalah dengan menggunakan SSD data center dengan kapasitas 7,6TB atau atau sekitarnya. Server ini tidak ditujukan untuk menyimpandata kapasitas besar karena server ini dirancang untuk mengolah data yang sangat cepat dan banyak sehingga jika Anda membutuhkan kapasitas penyimpanan yang besar Anda dapat menggunakan external storage seperti NAS atau SAN. Perlu diingat bahwa ekternal storage ini hanya difungsikan sebagai penyimpanan data dimana data yang sudah selesai diolah dipindahkan ke external storage sehingga drive internal server dapat digunakan untuk keperluan lainnya

Pada halaman ini hanya memberikan penjelasan perangkat server dengan GPU yang berfungsi sebagai co-processor sehingga tidak berkaitan dengan GPU yang berfungsi untuk menampilkan gambar. Salah satu contoh GPU yang digunakan pada GPU server adalah NVIDIA T4 yang ditunjukan pada Gambar 1

Tidak semua perangkat server dapat dipasang GPU karena beberapa alasan dan jika ada salah satu alasan masuk dalam list di bawah yang cocok dengan perangkat server Anda, maka sudah dipastikan perangkat server Anda tidak dapat dipasang co-processor :

1. Server tidak memiliki slot PCI express x16 dengan x16 link dimana GPU harus menggunakan slot ini. Jika server tidak memiliki slot ini maka sudah pasti tidak bisa dipasang GPU.
2. Chassis server tidak memadai untuk dipasang GPU (secara fisik chassis tidak muat untuk dipasang perangkat GPU).
3. Perangkat server tidak mendukung GPU atau co-processor karena tidak tercantumnya kompatibilitas add on co-processor atau GPU dari vendor perangkat server tersebut. Sehingga jika pada list kompatibilitas tidak mencantumkan jenis co-processor seperti NVDIA T4 maka server tersebut sudah dipastikan tidak dapat dipasang co-processor seperti NVDIA T4.

GPU server ini juga sedikit berbeda mengenai sumber tegangan yang men-supply co-processor. Umumnya workstation atau server yang dapat dipasang graphic card menyediakan konektor tambahan dengan 6 atau 8 pin yang umum digunakan untuk graphic card yang memiliki daya besar sehingga sumber arus listrik besar diambil langsung dari power supply. 

Gambar 2. GPU server dipasang 8 co-processor

Co-processor umumnya memiliki daya yang lebih besar dibanding graphic card pada umumnya tetapi co-processor umumnya juga tidak memiliki soket 6 atau 8 pin untuk power tambahan. Dan hal ini lah yang paling utama dimana tidak sembarang server atau workstation dapat dipasang co-processor karena server dan workstation tidak dirancang untuk mengalirkan arus listrik berdaya besar melalui slot PCI express.

Storage pada GPU server

Internal storage yang digunakan pada perangkat GPU server sama seperti perangkat server pada umumnya seperti SAS , SATA SSD Enterprise atau PCIe SSD enterprise. GPU server pada Gambar 3 memiliki hotswap bays SFF (small form factor) yang hanya bisa dipasang drive dengan ukuran 2.5 inch.

Gambar 3. Hotswap bays pada GPU server

Pada papan backplane memiliki dua tipe konektor yaitu OcuLink untuk konektivitas NVMe U.2 dan mini SAS 8643 yang digunakan untuk konektivitas SATA atau SAS drive. Sehingga Anda hanya perlu memilih menggunakan storage NVMe U.2 atau menggunakan SATA/SAS.

Gambar 4. Storage backplane

Perlukah RAID controller pada GPU server ?

Jika Anda memilih menggunakan hard disk SATA atau SAS, maka menambahkan RAID controller Enterprise adalah sebuah rekomendasi yang perlu diperhatikan. GPU server umumnya memiliki spek yang cukup tinggi terutama pada clock speed CPU dengan tujuan semua proses dikerjakan dengan cepat sehingga memerlukan baca tulis yang cukup cepat pada drive, jika tidak maka membebani kinerja CPU dimana CPU menunggu lebih lama data selesai dibaca atau ditulis ke drive. Untuk itu Anda perlu menggunakan RAID controller Enterprise karena memiliki cache cukup besar minimal 2GB. Hal ini diperlukan untuk meningkatkan performa penulisan data pada hard disk dimana performa penulisan data mengikuti performa cache RAID controller bukan performa hard disk. 

Performa penulisan data menggunakan cache RAID controller sangat cepat mengingat cache RAID controller umumnya menggunakan tipe volatil dimana tidak terdapat proses flashing data ke memory sehingga jika server mati tiba-tiba karena motherboard rusak, atau sumber listrik hilang (listrik padam) maka data pada cache yang belum selesai ditulis pada hard disk hilang dan tentu saja data Anda akan rusak atau tidak utuh lagi. Maka perlu diperhatikan setiap menggunakan RAID controller Enterprise Anda perlu menambahkan battery backup unit. Untuk menjaga agar data pada cache tidak hilang saat server mati mendadak. Saat server dinyalakan kembali penulisan data dari cache ke hard disk dapat dilanjutkan sehingga data tetap utuh.  Gambar 5 menunjukan RAID controller ASUS PIKE 3108 dengan cache 2GB.

Gambar 5. RAID controller dan battery backup unit.

Selain untuk meningkatkan performa penulisan data RAID controller Enterprise juga menawarkan tipe RAID 5, 6, 50, 60 yang umumnya pada RAID controller standar hanya memiliki tipe RAID 0,1 dan 10.

Power Supply pada GPU server

GPU server menggunakan power supply dengan daya yang cukup besar dibanding dengan perangkat server lainnya, umumnya memiliki 2000 Watt atau lebih setiap perangkat GPU server, selian iut power supply sudah dipastikan memiliki fitur redundant dimana jika ada modul power supply mengalmai kerusakan maka modul power supply lainnya akan menggantikan secara penuh kinerja power supply yang mengalami masalah.  

Gambar 6. Modul power supply

Gambar 6 menunjukan GPU server memiliki 3 modul power supply dimana masing-masing modul memiliki daya maksimum 1600 Watt. Dari spesifikasi perangkat server biasanya disebutkan mode redundant power supply, sebagai contoh ESC8000G4 memiliki mode redundant 2+1 yang berarti power supply hanya memiliki satu modul backup saja dan dua modul power supply lainnya dapat digunakan seluruhnya sehingga penggunaan daya power supply maksimum hanya 3200 Watt saja.

Contoh co-processor

Berikut adalah contoh gambar fisik co-processor NVDIA Tesla T4 dan jika dilihat secara fisik mirip sekali dengan graphic card, akan tetapi jika dilihat secara detil sangat berbeda yang ditunjukan pada Gambar di bawah ini :

Gambar 7. NVDIA Tesla T4 tampak dari atas

Gambar 7 menunjukan secara fisik co-processor NVDIA T4 mirip sekali dengan graphic card dimana memiliki koneksi PCI-e x16 link. NVDIA Tesla T4 juga memiliki pengait dengan form factor low profle dan high profile. Saat membeli NVDIA T4 kemungkinan besar Anda akan mendapatkan dua besi pengait tersebut. Anda tingga memilih menggunakan yang sesuai dengan perangkat server Anda. Gambar 7 menggunakan besi pengait low profile.

Gambar 8. NVDIA Tesla T4 tampak dari belakang

Gambar 8 menunjukan bahwa dari belakang tidak terdapat konektor 6 atau 8 pin yang umumnya ada pada graphic card yang memiliki daya besar, hal inilah yang memastikan bahwa jika server Anda bukan kategori GPU server maka NVDIA Tesla tidak dapat digunakan pada server Anda. Jika co-processor tidak memiliki konektor power tambahan maka semua arus listrik diambil dari sumber power PCI-express. 

Menambahkan NVDIA T4 pada server bukan kategori GPU server tidak membuat server serta merta server tidak bekerja atau off, server tetap bekerja hanya saja akan ada peringatan bahwa arus atau power pada PCI express terlalu besar dan GPU tetap tidak akan berjalan. Jangan lupa membuka semua plastik yang menutupi co-processor sebelum dipasang pada server karena dapat menghambat pelepasan panas pada perangkat co-processor.

Gambar 9. NVDIA Tesla T4 tampak dari bawah

CPU GPU server

CPU pada GPU server tidak ada bedanya denga server pada umumnya yaitu menggunakan Intel Xeon atau AMD EPYC. Umumnya CPU untuk GPU server menggunakan CPU dengan speed yang lebih tinggi dibanding dengan yang umum digunakan untuk server yaitu 2.5GHz lebih.

Gambar 10. CPU pada GPU server

EoF