Dalam dunia kecerdasan buatan (AI) dan machine learning (ML), performa komputasi yang tinggi menjadi faktor utama dalam keberhasilan implementasi teknologi. NVIDIA, sebagai pemimpin dalam industri GPU, telah lama menjadi pilihan utama dalam akselerasi AI. Namun, akselerasi AI tidak hanya bergantung pada kekuatan GPU saja—koneksi jaringan yang cepat dan efisien juga menjadi kebutuhan krusial. Inilah alasan mengapa akuisisi Mellanox oleh NVIDIA pada tahun 2020 menjadi langkah strategis yang mengubah lanskap industri AI dan ML. Mellanox: Inovasi dalam Jaringan Berkecepatan Tinggi Mellanox Technologies adalah perusahaan yang terkenal dalam pengembangan teknologi jaringan berkecepatan tinggi, seperti InfiniBand dan Ethernet. Produk Mellanox banyak digunakan di pusat data, cloud computing, dan superkomputer untuk memastikan komunikasi data yang cepat dan efisien antar sistem. Teknologi Mellanox yang paling dikenal adalah: InfiniBand: Solusi jaringan dengan latensi ultra-rendah dan bandwidth tinggi yang sangat penting dalam pemrosesan data skala besar, seperti AI dan ML. High-Speed Ethernet: Digunakan dalam pusat data untuk meningkatkan performa transfer data antar server dan perangkat penyimpanan. DPU (Data Processing Unit): Unit pemrosesan data canggih yang membantu mengurangi beban kerja CPU dan meningkatkan efisiensi dalam pusat data modern. NVIDIA: Pemimpin dalam Akselerasi AI NVIDIA telah lama dikenal dengan teknologi GPU yang mampu mempercepat komputasi AI dan ML. Produk seperti NVIDIA A100, H100, dan arsitektur CUDA telah membawa revolusi dalam dunia deep learning dan analisis data. Namun, meskipun GPU NVIDIA sangat kuat dalam pemrosesan, komunikasi data antar GPU dan sistem menjadi tantangan yang harus diatasi. Dengan kombinasi GPU NVIDIA dan teknologi jaringan Mellanox, bottleneck dalam pemrosesan data dapat dikurangi secara signifikan. Ini memungkinkan model AI untuk dilatih lebih cepat dan dengan efisiensi yang lebih tinggi. Keunggulan Kombinasi Mellanox dan NVIDIA Akuisisi Mellanox oleh NVIDIA menciptakan sinergi yang sangat menguntungkan dalam ekosistem AI dan ML. Berikut adalah beberapa manfaat utama dari integrasi teknologi mereka: Kinerja AI yang Lebih Cepat Dengan jaringan InfiniBand dari Mellanox, transfer data antar GPU menjadi jauh lebih cepat, mengurangi latensi dan meningkatkan efisiensi model AI yang dilatih dalam skala besar. Efisiensi Pusat Data Teknologi DPU dari Mellanox dapat mengurangi beban CPU dan meningkatkan efisiensi pusat data, memungkinkan pemrosesan AI yang lebih hemat energi. Optimalisasi Cloud Computing Banyak penyedia layanan cloud menggunakan GPU NVIDIA dan jaringan Mellanox untuk memberikan layanan AI berbasis cloud yang lebih baik. Kombinasi ini memungkinkan pengguna untuk menjalankan workload AI dengan performa tinggi tanpa hambatan jaringan. Skalabilitas Superkomputer AI Superkomputer AI seperti NVIDIA DGX SuperPOD mengandalkan jaringan InfiniBand dari Mellanox untuk memastikan komunikasi data yang efisien di antara ribuan GPU. Ini memungkinkan pelatihan model AI yang lebih kompleks dalam waktu yang lebih singkat. Kesimpulan Akuisisi Mellanox oleh NVIDIA telah menciptakan kombinasi sempurna bagi industri AI dan ML. Dengan performa tinggi dari GPU NVIDIA yang didukung oleh jaringan berkecepatan tinggi Mellanox, para peneliti dan perusahaan dapat mengembangkan model AI lebih cepat, lebih efisien, dan lebih hemat energi. Bagi siapa pun yang ingin membangun infrastruktur AI yang canggih, kombinasi Mellanox dan NVIDIA adalah pilihan terbaik yang menawarkan performa optimal dalam skala besar. Masa depan AI semakin menjanjikan dengan adanya inovasi dari kedua perusahaan ini. Infrastruktur IT yang kuat adalah kunci produktivitas perusahaan. Dengan mellanox indonesia, Anda bisa mendapatkan solusi IT lengkap yang sesuai dengan kebutuhan Anda. iLogo Indonesia sebagai mitra terpercaya siap mengintegrasikan semuanya agar bisnis Anda tetap berjalan lancar dan aman. Hubungi kami sekarang atau kunjungi mellanox.ilogoindonesia.id untuk informasi lebih lanjut!
Tag: mellanox
Perbandingan Jaringan Mellanox dengan Kompetitor: Mana yang Lebih Unggul?
Pendahuluan Dalam dunia jaringan dan komputasi berperforma tinggi (HPC), Mellanox (sekarang bagian dari NVIDIA) telah menjadi pemimpin dalam solusi interkoneksi yang canggih. Teknologi mereka banyak digunakan di pusat data, artificial intelligence (AI), dan komputasi awan. Namun, Mellanox bukan satu-satunya pemain dalam industri ini. Beberapa pesaing utama seperti Cisco, Arista, dan Intel juga menawarkan solusi jaringan yang kompetitif. Artikel ini akan membandingkan Mellanox dengan para kompetitornya berdasarkan beberapa faktor utama, termasuk kinerja, latensi, skalabilitas, biaya, serta ekosistem dan kompatibilitasnya. Kinerja dan Latensi Salah satu keunggulan utama Mellanox adalah performa tinggi dan latensi yang sangat rendah. Mellanox menggunakan teknologi InfiniBand dan Ethernet yang dioptimalkan untuk memberikan throughput tinggi dengan latensi minimal. Produk-produk seperti NVIDIA Quantum-2 InfiniBand dan Spectrum Ethernet memberikan kecepatan hingga 400Gbps, yang menjadikannya pilihan ideal untuk pusat data dengan kebutuhan bandwidth besar. Sebagai perbandingan: Cisco: Lebih fokus pada jaringan enterprise dan solusi berbasis IP, dengan latensi yang lebih tinggi dibandingkan Mellanox. Arista: Menawarkan performa yang baik di jaringan Ethernet, namun tidak memiliki solusi InfiniBand. Intel: Lebih berfokus pada NIC (Network Interface Card) dan kurang kompetitif dalam hal interkoneksi HPC. Dari segi latensi dan throughput, Mellanox unggul terutama dalam lingkungan HPC dan AI yang membutuhkan komunikasi ultra-cepat antara node komputasi. Skalabilitas Mellanox dirancang untuk menangani skala besar dengan efisiensi tinggi. Teknologi InfiniBand mereka mendukung komunikasi skala besar dengan fabric yang efisien. Selain itu, jaringan Ethernet Mellanox menggunakan solusi Spectrum untuk menghadirkan skalabilitas yang lebih baik dengan latensi rendah. Kompetitor lain seperti Cisco dan Arista juga menawarkan skalabilitas yang baik, tetapi lebih berfokus pada jaringan enterprise dan cloud tradisional. Jika kebutuhan Anda lebih ke arah data center berbasis AI dan HPC, Mellanox memberikan solusi yang lebih sesuai. Kompatibilitas dan Ekosistem Mellanox memiliki ekosistem yang sangat luas, terutama setelah diakuisisi oleh NVIDIA. Integrasi dengan GPU NVIDIA dan perangkat lunak seperti NVIDIA DOCA membuatnya lebih menarik untuk aplikasi AI dan machine learning. Sebaliknya: Cisco: Memiliki ekosistem yang kuat di jaringan enterprise, tetapi kurang optimal dalam AI/HPC. Arista: Fokus pada jaringan berbasis cloud dan enterprise dengan keunggulan pada software-defined networking (SDN). Intel: Lebih terintegrasi dengan prosesor dan penyimpanan, tetapi kurang kompetitif dalam jaringan kelas HPC. Biaya dan ROI Mellanox menawarkan performa tinggi dengan harga yang relatif lebih tinggi dibandingkan beberapa kompetitor, tetapi memberikan nilai lebih dalam aplikasi yang membutuhkan latensi rendah dan bandwidth tinggi. Sebagai perbandingan: Cisco sering kali lebih mahal dalam solusi enterprise networking. Arista menawarkan solusi yang kompetitif dari segi harga untuk jaringan berbasis Ethernet. Intel lebih ekonomis tetapi tidak memiliki kapabilitas HPC yang kuat. Jika kebutuhan utama adalah jaringan HPC, Mellanox menawarkan nilai terbaik meskipun harga awalnya lebih tinggi. Kesimpulan Mellanox/NVIDIA unggul dalam bidang HPC, AI, dan pusat data dengan kebutuhan bandwidth tinggi dan latensi rendah. Teknologi mereka lebih cocok untuk skenario yang membutuhkan performa jaringan ekstrem. Namun, untuk kebutuhan jaringan enterprise atau cloud tradisional, pesaing seperti Cisco dan Arista mungkin menawarkan solusi yang lebih sesuai. Jika Anda mencari solusi jaringan terbaik untuk HPC dan AI, Mellanox adalah pilihan yang sulit dikalahkan. Namun, jika kebutuhan Anda lebih ke arah enterprise atau SDN, kompetitor lain mungkin lebih cocok. Pilihan terbaik tergantung pada kebutuhan spesifik bisnis dan infrastruktur Anda. Jadi, sebelum memutuskan, pastikan Anda mengevaluasi kebutuhan jaringan secara menyeluruh agar mendapatkan solusi yang paling optimal. Infrastruktur IT yang kuat adalah kunci produktivitas perusahaan. Dengan mellanox indonesia, Anda bisa mendapatkan solusi IT lengkap yang sesuai dengan kebutuhan Anda. iLogo Indonesia sebagai mitra terpercaya siap mengintegrasikan semuanya agar bisnis Anda tetap berjalan lancar dan aman. Hubungi kami sekarang atau kunjungi mellanox.ilogoindonesia.id untuk informasi lebih lanjut!
Mengapa Mellanox Menjadi Bagian Kunci dari Strategi NVIDIA?
Pendahuluan Pada tahun 2020, NVIDIA secara resmi mengakuisisi Mellanox Technologies, sebuah perusahaan yang dikenal dalam industri jaringan dan komputasi berkinerja tinggi (High-Performance Computing/HPC). Akuisisi ini bernilai sekitar $6,9 miliar dan menandai langkah strategis bagi NVIDIA untuk memperkuat posisinya di dunia komputasi pusat data dan kecerdasan buatan (AI). Artikel ini akan membahas mengapa Mellanox menjadi bagian kunci dalam strategi NVIDIA dan bagaimana teknologi mereka memperkuat ekosistem NVIDIA di berbagai industri. Siapa Mellanox? Mellanox Technologies adalah perusahaan yang berfokus pada solusi jaringan berperforma tinggi, terutama dalam pengembangan teknologi InfiniBand dan Ethernet untuk pusat data, superkomputer, dan lingkungan cloud. Produk mereka digunakan oleh berbagai perusahaan besar, termasuk penyedia layanan cloud, institusi penelitian, dan perusahaan keuangan. Sebelum diakuisisi oleh NVIDIA, Mellanox telah menjadi pemimpin dalam teknologi jaringan yang memungkinkan komunikasi berkecepatan tinggi antar server dan penyimpanan data. Dengan InfiniBand dan Ethernet berperforma tinggi, Mellanox memainkan peran penting dalam meningkatkan efisiensi dan kecepatan pusat data modern. Mengapa NVIDIA Mengakuisisi Mellanox? Ada beberapa alasan utama mengapa NVIDIA memutuskan untuk mengakuisisi Mellanox: Meningkatkan Performa dan Efisiensi Pusat Data NVIDIA dikenal dengan GPU-nya yang digunakan dalam AI dan HPC. Namun, untuk mendapatkan performa maksimal dari GPU, dibutuhkan jaringan yang cepat dan efisien. Mellanox menawarkan teknologi InfiniBand dan Ethernet yang memungkinkan komunikasi antar server dengan latensi rendah dan bandwidth tinggi. Dengan kombinasi GPU dan jaringan berkecepatan tinggi, NVIDIA dapat menawarkan solusi pusat data yang lebih terintegrasi dan optimal. Dominasi di Pasar AI dan HPC Superkomputer dan pusat data yang menjalankan AI memerlukan jaringan dengan latensi rendah dan throughput tinggi. Mellanox, dengan teknologi interkoneksinya, memungkinkan NVIDIA untuk membangun sistem AI yang lebih efisien. Dengan integrasi ini, NVIDIA bisa mengoptimalkan workload AI dalam pusat data, memberikan keuntungan signifikan dibandingkan kompetitor. Ekspansi ke Cloud dan Edge Computing Layanan cloud menjadi semakin penting, dengan perusahaan seperti Amazon, Google, dan Microsoft yang terus meningkatkan infrastruktur mereka. Mellanox menyediakan solusi yang mendukung jaringan berkinerja tinggi di lingkungan cloud dan edge computing, yang menjadi area strategis bagi NVIDIA untuk tumbuh lebih jauh. Memperkuat Posisi di Industri Data Center Sebelum akuisisi Mellanox, NVIDIA sudah memiliki pangsa pasar besar dalam komputasi AI. Dengan Mellanox, NVIDIA dapat mengendalikan lebih banyak elemen dalam ekosistem pusat data, termasuk jaringan dan interkoneksi server. Hal ini memungkinkan NVIDIA untuk menawarkan solusi menyeluruh, mulai dari GPU hingga jaringan berperforma tinggi. Bagaimana Mellanox Memperkuat Ekosistem NVIDIA? Akuisisi Mellanox bukan sekadar pembelian teknologi jaringan. Integrasi ini membawa sejumlah manfaat strategis bagi NVIDIA dalam berbagai aspek: Interkoneksi Superkomputer dan HPC Teknologi Mellanox telah digunakan dalam beberapa superkomputer tercepat di dunia, termasuk sistem yang digunakan untuk riset ilmiah dan simulasi kompleks. Dengan akuisisi ini, NVIDIA dapat menyediakan solusi terpadu untuk superkomputer, menggabungkan GPU dengan jaringan ultra-cepat untuk meningkatkan performa dan efisiensi komputasi skala besar. Infrastruktur Cloud dan Hyperscale Dengan semakin banyak perusahaan yang bergeser ke cloud, permintaan akan solusi jaringan berkinerja tinggi semakin meningkat. Mellanox menyediakan teknologi InfiniBand dan Ethernet yang memungkinkan transfer data lebih cepat di pusat data skala besar. Dengan dukungan dari NVIDIA, infrastruktur cloud bisa lebih optimal dalam menangani workload AI dan big data. Pengolahan Data AI dan Machine Learning AI memerlukan pemrosesan data dalam jumlah besar dengan kecepatan tinggi. GPU NVIDIA sudah menjadi standar industri untuk AI, tetapi tanpa jaringan yang cepat, potensi penuh dari AI tidak dapat dimanfaatkan. Teknologi Mellanox membantu mempercepat komunikasi antar node dalam klaster AI, meningkatkan efisiensi pelatihan model dan inferensi AI. Keamanan dan Efisiensi Data Center Mellanox memiliki berbagai fitur keamanan tingkat lanjut dalam produknya, seperti enkripsi dan proteksi terhadap serangan cyber. Ini memberikan nilai tambah bagi pusat data yang membutuhkan keamanan tinggi, seperti di sektor keuangan dan pemerintahan. Selain itu, kombinasi NVIDIA dan Mellanox memungkinkan peningkatan efisiensi energi dalam pusat data, mengurangi biaya operasional secara keseluruhan. Akselerasi Industri Keuangan dan Otomotif Industri keuangan dan otomotif adalah dua sektor yang semakin bergantung pada komputasi berkinerja tinggi. Dalam industri keuangan, latency rendah sangat penting untuk perdagangan algoritmik dan analisis data real-time. Dalam industri otomotif, AI dan machine learning digunakan dalam pengembangan kendaraan otonom. Teknologi Mellanox mempercepat proses ini dengan jaringan berkecepatan tinggi yang mengurangi waktu respons sistem AI. Dampak Akuisisi Mellanox terhadap Pasar dan Kompetitor Akuisisi Mellanox oleh NVIDIA mengubah lanskap pasar pusat data dan AI. Beberapa dampak utama yang terlihat antara lain: Meningkatnya Persaingan dengan Intel dan AMD Intel sebelumnya telah berusaha mengakuisisi Mellanox tetapi kalah dari NVIDIA. Akuisisi ini membuat NVIDIA semakin kuat dalam persaingan dengan Intel, yang juga memiliki ambisi besar dalam bidang pusat data. AMD, dengan akuisisi Xilinx, juga berusaha memperkuat posisinya dalam AI dan komputasi berkinerja tinggi. NVIDIA dan Mellanox kini memiliki keunggulan yang lebih kompetitif dalam hal jaringan dan akselerasi AI. Mendorong Inovasi dalam Infrastruktur Pusat Data Dengan kombinasi GPU, DPU (Data Processing Unit), dan jaringan berkinerja tinggi, NVIDIA menciptakan solusi yang lebih terpadu untuk pusat data. Hal ini mendorong inovasi lebih lanjut dalam AI, HPC, dan cloud computing. Percepatan Adopsi AI dalam Berbagai Industri Dengan integrasi antara GPU NVIDIA dan teknologi Mellanox, perusahaan-perusahaan di berbagai sektor dapat mengadopsi AI dengan lebih mudah dan efisien. Kesimpulan Akuisisi Mellanox oleh NVIDIA adalah langkah strategis yang memperkuat dominasi NVIDIA di dunia AI, HPC, dan pusat data. Dengan teknologi jaringan berperforma tinggi dari Mellanox, NVIDIA kini memiliki ekosistem yang lebih lengkap untuk menangani tantangan komputasi modern. Perpaduan antara GPU, jaringan berkecepatan tinggi, dan solusi cloud menjadikan NVIDIA pemimpin dalam revolusi AI dan komputasi masa depan. Dalam beberapa tahun ke depan, integrasi Mellanox dengan NVIDIA akan terus menghasilkan inovasi yang meningkatkan efisiensi dan performa pusat data, mempercepat adopsi AI, dan mengubah lanskap industri teknologi secara keseluruhan. Infrastruktur IT yang kuat adalah kunci produktivitas perusahaan. Dengan mellanox indonesia, Anda bisa mendapatkan solusi IT lengkap yang sesuai dengan kebutuhan Anda. iLogo Indonesia sebagai mitra terpercaya siap mengintegrasikan semuanya agar bisnis Anda tetap berjalan lancar dan aman. Hubungi kami sekarang atau kunjungi mellanox.ilogoindonesia.id untuk informasi lebih lanjut!
Keunggulan NVIDIA BlueField DPU dalam Meningkatkan Kinerja Cloud Computing
Pendahuluan Dalam dunia cloud computing yang terus berkembang, efisiensi, keamanan, dan kinerja jaringan menjadi faktor utama yang menentukan keberhasilan suatu infrastruktur. NVIDIA BlueField Data Processing Unit (DPU) hadir sebagai solusi canggih yang dapat meningkatkan performa komputasi cloud dengan mengurangi beban kerja pada CPU, meningkatkan keamanan, serta mempercepat berbagai proses yang berjalan di pusat data. Artikel ini akan membahas secara mendalam bagaimana NVIDIA BlueField DPU berkontribusi dalam meningkatkan efisiensi cloud computing serta membandingkannya dengan solusi tradisional. Apa Itu NVIDIA BlueField DPU? NVIDIA BlueField DPU adalah prosesor khusus yang dirancang untuk menangani tugas-tugas jaringan, keamanan, dan penyimpanan secara independen dari CPU utama. Dengan mengintegrasikan komponen seperti SmartNIC, akselerator AI, serta teknologi berbasis hardware lainnya, DPU ini mampu mengoptimalkan berbagai proses di dalam pusat data modern. BlueField DPU bekerja dengan cara memindahkan fungsi-fungsi jaringan dan keamanan dari CPU ke unit pemrosesan yang lebih efisien, sehingga membebaskan CPU untuk menangani beban kerja utama aplikasi. Keunggulan NVIDIA BlueField DPU dalam Cloud Computing Meningkatkan Kinerja dan Efisiensi CPU Salah satu tantangan utama dalam cloud computing adalah tingginya penggunaan sumber daya CPU untuk menangani proses-proses jaringan dan keamanan. Dengan BlueField DPU, tugas-tugas seperti enkripsi data, inspeksi paket jaringan, dan virtualisasi penyimpanan dapat diproses langsung oleh DPU, mengurangi beban CPU hingga 30-40%. Ini memungkinkan CPU untuk lebih fokus pada tugas utama, seperti menjalankan aplikasi dan layanan bisnis. Keamanan yang Lebih Tinggi Keamanan menjadi aspek krusial dalam cloud computing, terutama dengan meningkatnya ancaman siber. NVIDIA BlueField DPU dilengkapi dengan berbagai fitur keamanan tingkat tinggi, termasuk: Isolasi dan Enkripsi Data: DPU dapat mengenkripsi lalu lintas data tanpa perlu melibatkan CPU, mengurangi risiko pencurian data. Zero Trust Security Model: Dengan kemampuan inspeksi paket secara real-time, BlueField DPU memungkinkan model keamanan Zero Trust, di mana setiap akses harus diverifikasi sebelum diberikan izin. Firewall Berbasis Hardware: DPU dapat menangani firewall secara langsung, meningkatkan efisiensi dan mengurangi latensi dibandingkan solusi berbasis software. Akselerasi Jaringan dan Penyimpanan BlueField DPU menawarkan akselerasi signifikan dalam berbagai fungsi jaringan dan penyimpanan, seperti: SmartNIC Integration: Dengan integrasi SmartNIC, DPU ini mampu meningkatkan throughput jaringan hingga 200 Gbps, menjadikannya ideal untuk aplikasi cloud yang membutuhkan bandwidth tinggi. NVMe over Fabrics (NVMe-oF): BlueField DPU mempercepat akses penyimpanan dengan teknologi NVMe-oF, mengurangi latensi dan meningkatkan kecepatan transfer data dalam infrastruktur cloud. Mendukung Infrastruktur Cloud yang Fleksibel Dengan meningkatnya adopsi teknologi seperti Kubernetes, microservices, dan edge computing, fleksibilitas dalam pengelolaan jaringan dan sumber daya menjadi semakin penting. NVIDIA BlueField DPU mendukung berbagai model deployment, termasuk: Cloud Hybrid: DPU dapat digunakan dalam lingkungan cloud hybrid untuk memastikan kinerja dan keamanan yang optimal. Multi-Tenant Environments: Dengan teknologi isolasi yang kuat, BlueField DPU memungkinkan penyedia layanan cloud untuk mengelola beberapa tenant tanpa risiko kebocoran data atau konflik sumber daya. Efisiensi Energi dan Biaya Operasional Lebih Rendah Dengan mengurangi beban kerja CPU dan mengoptimalkan proses jaringan, BlueField DPU membantu menekan konsumsi energi secara signifikan. Hal ini tidak hanya mengurangi biaya operasional pusat data, tetapi juga mendukung upaya keberlanjutan dengan menurunkan jejak karbon infrastruktur cloud. Perbandingan NVIDIA BlueField DPU dengan Solusi Lain Fitur NVIDIA BlueField DPU SmartNIC Tradisional CPU Standar Offload Jaringan Ya Terbatas Tidak Keamanan Zero Trust Ya Tidak Tidak Akselerasi NVMe-oF Ya Tidak Tidak Isolasi Multi-Tenant Ya Terbatas Tidak Efisiensi CPU Tinggi Sedang Rendah Dukungan AI dan ML Ya Tidak Tidak Dari tabel di atas, terlihat jelas bahwa BlueField DPU memiliki keunggulan dibandingkan solusi tradisional, baik dalam hal performa, keamanan, maupun efisiensi sumber daya. Implementasi BlueField DPU dalam Cloud Computing Beberapa perusahaan besar telah mengadopsi NVIDIA BlueField DPU untuk meningkatkan efisiensi pusat data mereka. Implementasi yang umum meliputi: Penyedia Cloud Besar: Amazon AWS, Microsoft Azure, dan Google Cloud telah mulai menguji dan mengadopsi DPU untuk mengurangi beban CPU serta meningkatkan keamanan jaringan mereka. Perusahaan Keuangan: Lembaga keuangan menggunakan BlueField DPU untuk mempercepat transaksi, mengamankan data pelanggan, serta memastikan kepatuhan terhadap regulasi keuangan. Industri Otomotif: Dalam pengembangan kendaraan otonom, BlueField DPU membantu dalam pemrosesan data real-time dengan latensi rendah. Kesimpulan NVIDIA BlueField DPU menawarkan solusi inovatif yang dapat secara signifikan meningkatkan kinerja cloud computing dengan mengurangi beban CPU, meningkatkan keamanan, serta mempercepat proses jaringan dan penyimpanan. Dengan berbagai keunggulan yang dimilikinya, BlueField DPU tidak hanya mengoptimalkan infrastruktur cloud saat ini, tetapi juga membantu organisasi dalam mempersiapkan diri menghadapi tantangan masa depan. Bagi perusahaan yang ingin meningkatkan efisiensi, keamanan, dan skalabilitas cloud computing mereka, adopsi NVIDIA BlueField DPU adalah langkah strategis yang layak dipertimbangkan. Dengan teknologi ini, cloud computing dapat menjadi lebih cepat, aman, dan hemat biaya, membuka peluang baru bagi inovasi dan pertumbuhan bisnis di berbagai industri. Infrastruktur IT yang kuat adalah kunci pertumbuhan bisnis. mellanox indonesia menyediakan solusi terbaik, mulai dari jaringan, storage, cloud, hingga keamanan siber, yang diintegrasikan oleh iLogo Indonesia agar sesuai dengan kebutuhan bisnis Anda. Pelajari lebih lanjut di (NamaWebsiteBrandiLogo).com dan konsultasikan kebutuhan IT Anda dengan kami!
InfiniBand vs. Ethernet: Mana yang Lebih Baik untuk Data Center Modern?
Dalam dunia data center modern, performa jaringan memainkan peran penting dalam menentukan efisiensi dan kecepatan pemrosesan data. Dua teknologi utama yang sering dibandingkan adalah InfiniBand dan Ethernet. Keduanya memiliki keunggulan masing-masing, tetapi manakah yang lebih baik untuk kebutuhan data center masa kini? Artikel ini akan membahas perbedaan utama antara InfiniBand dan Ethernet serta membantu Anda menentukan teknologi yang paling sesuai. Sekilas tentang InfiniBand dan Ethernet InfiniBand InfiniBand adalah teknologi komunikasi berkecepatan tinggi yang awalnya dikembangkan untuk superkomputer dan lingkungan komputasi berkinerja tinggi (HPC). InfiniBand menawarkan latensi sangat rendah, kecepatan tinggi, dan efisiensi dalam transfer data. Saat ini, InfiniBand banyak digunakan dalam pusat data yang menangani AI, machine learning, big data, serta aplikasi yang memerlukan performa jaringan ekstrem. Ethernet Ethernet adalah teknologi jaringan yang paling umum digunakan dalam jaringan perusahaan, cloud, dan pusat data. Dengan kemajuan teknologi, Ethernet kini dapat menawarkan kecepatan hingga 400 Gbps, menjadikannya solusi fleksibel untuk banyak organisasi. Keunggulan utama Ethernet adalah biaya yang lebih rendah, kompatibilitas luas, dan kemudahan implementasi. Perbandingan InfiniBand dan Ethernet Faktor InfiniBand Ethernet Kecepatan Hingga 800 Gbps (NVIDIA Quantum-2) Hingga 400 Gbps Latensi Sangat rendah (~100 ns) Lebih tinggi (~1-10 µs) Efisiensi CPU Offload ke perangkat keras (RDMA) Membebani CPU lebih banyak Keandalan Lebih stabil dan dapat menangani lalu lintas berat Stabil, tetapi bisa mengalami bottleneck Kompleksitas Membutuhkan perangkat khusus Mudah diterapkan dengan perangkat standar Biaya Lebih mahal Lebih terjangkau Keunggulan dan Kelemahan Keunggulan InfiniBand ✅ Latensi rendah – Ideal untuk workload HPC dan AI. ✅ Bandwidth tinggi – Mampu menangani data dalam jumlah besar dengan cepat. ✅ Direct Memory Access (RDMA) – Mengurangi beban CPU dan meningkatkan efisiensi. ✅ Skalabilitas tinggi – Cocok untuk arsitektur superkomputer dan AI. Kelemahan InfiniBand ❌ Biaya tinggi – Perangkat keras dan infrastruktur lebih mahal dibandingkan Ethernet. ❌ Kompleksitas manajemen – Membutuhkan keahlian khusus dalam konfigurasi dan pengelolaan. Keunggulan Ethernet ✅ Lebih murah dan mudah diterapkan – Infrastruktur yang sudah umum dan mudah diadopsi. ✅ Kompatibel dengan berbagai sistem – Mendukung berbagai perangkat tanpa kebutuhan spesifik. ✅ Skalabilitas yang baik – Cocok untuk kebanyakan pusat data umum dan cloud computing. Kelemahan Ethernet ❌ Latensi lebih tinggi – Bisa menjadi hambatan dalam workload yang membutuhkan respons cepat. ❌ Kurang efisien dalam RDMA – Membutuhkan CPU lebih banyak dibandingkan InfiniBand. Kapan Harus Menggunakan InfiniBand atau Ethernet? Gunakan InfiniBand jika: Anda memiliki aplikasi HPC, AI, atau big data yang membutuhkan latensi sangat rendah dan bandwidth tinggi. Anda mengelola superkomputer atau pusat data dengan beban kerja intensif. Anda ingin mengurangi beban CPU melalui RDMA. Gunakan Ethernet jika: Anda memerlukan jaringan yang terjangkau, mudah diterapkan, dan fleksibel. Infrastruktur Anda tidak membutuhkan latensi super rendah. Anda mengoperasikan layanan cloud atau pusat data standar. Kesimpulan Baik InfiniBand maupun Ethernet memiliki keunggulan masing-masing. InfiniBand adalah pilihan terbaik untuk lingkungan yang membutuhkan performa jaringan ekstrem, seperti HPC dan AI, sementara Ethernet tetap menjadi solusi utama untuk kebanyakan perusahaan dan cloud karena kemudahan dan efisiensi biayanya. Pemilihan teknologi yang tepat bergantung pada kebutuhan spesifik dari pusat data Anda. Apakah Anda sedang mempertimbangkan untuk meningkatkan jaringan data center Anda? Pilihlah teknologi yang sesuai dengan kebutuhan bisnis dan workload Anda! Infrastruktur IT yang kuat adalah kunci pertumbuhan bisnis. mellanox indonesia menyediakan solusi terbaik, mulai dari jaringan, storage, cloud, hingga keamanan siber, yang diintegrasikan oleh iLogo Indonesia agar sesuai dengan kebutuhan bisnis Anda. Pelajari lebih lanjut di (NamaWebsiteBrandiLogo).com dan konsultasikan kebutuhan IT Anda dengan kami!
NVIDIA Blackwell Menetapkan Standar Baru untuk Generative AI dalam Debut MLPerf Inference
Performa hingga 4x lebih tinggi pada Llama 2 70B dengan GPU NVIDIA Blackwell, sementara arsitektur NVIDIA Hopper mendorong peningkatan besar di berbagai tolok ukur AI industri. Seiring meningkatnya adopsi Generative AI oleh perusahaan untuk menghadirkan layanan baru, kebutuhan infrastruktur data center juga semakin besar. Melatih model bahasa besar (LLM) memang menantang, tetapi menyediakan layanan real-time berbasis LLM juga merupakan tantangan tersendiri. Dalam pengujian terbaru MLPerf Inference v4.1, platform NVIDIA menunjukkan performa unggulan di semua kategori pengujian data center. Untuk pertama kalinya, platform NVIDIA Blackwell diuji dan menunjukkan performa hingga 4x lebih tinggi dibandingkan NVIDIA H100 Tensor Core GPU pada beban kerja LLM terbesar MLPerf, yaitu Llama 2 70B. Keunggulan ini didorong oleh Transformer Engine generasi kedua dan FP4 Tensor Cores yang meningkatkan efisiensi pemrosesan AI. Selain itu, NVIDIA H200 Tensor Core GPU juga mencetak hasil luar biasa di semua kategori pengujian data center, termasuk untuk model Mixtral 8x7B yang memiliki total 46,7 miliar parameter, dengan 12,9 miliar parameter aktif per token. Mengapa Model MoE (Mixture of Experts) Semakin Populer? Model MoE (Mixture of Experts) seperti Mixtral 8x7B semakin banyak digunakan karena kemampuannya dalam menangani berbagai pertanyaan dan tugas dalam satu deployment. MoE lebih efisien dibandingkan model AI biasa karena hanya mengaktifkan sebagian kecil dari total parameternya untuk setiap inferensi, sehingga hasilnya bisa lebih cepat dibandingkan model AI biasa dengan ukuran serupa. Meningkatnya Kebutuhan Komputasi untuk LLM Seiring berkembangnya LLM, kebutuhan daya komputasi untuk menangani inferensi juga meningkat. Untuk memenuhi kebutuhan respons real-time bagi lebih banyak pengguna, multi-GPU compute menjadi keharusan. Teknologi NVIDIA NVLink dan NVSwitch memungkinkan komunikasi berkecepatan tinggi antar-GPU berbasis arsitektur NVIDIA Hopper, sehingga memberikan keunggulan besar dalam pemrosesan inferensi model besar dengan biaya yang lebih efisien. Platform Blackwell akan lebih meningkatkan kemampuan NVLink Switch dengan dukungan hingga 72 GPU dalam satu sistem. Selain pengujian dari NVIDIA sendiri, 10 mitra NVIDIA seperti ASUS, Cisco, Dell Technologies, Fujitsu, HPE, Lenovo, dan Supermicro juga melakukan pengujian MLPerf Inference, menunjukkan bahwa platform NVIDIA telah tersedia secara luas di industri. Inovasi Perangkat Lunak yang Terus Berkembang NVIDIA terus mengembangkan perangkat lunaknya untuk meningkatkan performa dan fitur setiap bulan. Dalam pengujian terbaru ini, berbagai solusi seperti arsitektur NVIDIA Hopper, platform NVIDIA Jetson, dan NVIDIA Triton Inference Server menunjukkan lonjakan performa yang signifikan. GPU NVIDIA H200 mencatat peningkatan performa inferensi generative AI hingga 27% dibandingkan pengujian sebelumnya, yang membuktikan bahwa pelanggan mendapatkan nilai investasi jangka panjang dari platform NVIDIA. Triton Inference Server, bagian dari NVIDIA AI platform, adalah server inferensi open-source yang memudahkan organisasi dalam mengelola model AI dari berbagai framework dalam satu sistem terpadu. Dengan Triton, biaya operasional AI bisa ditekan, sementara waktu deployment model berkurang dari beberapa bulan menjadi hitungan menit. Dalam pengujian MLPerf terbaru, Triton Inference Server mencatat performa hampir setara dengan sistem bare-metal NVIDIA, membuktikan bahwa kini organisasi tidak perlu memilih antara server AI kaya fitur atau performa inferensi maksimal—karena mereka bisa mendapatkan keduanya. Generative AI di Edge Computing Generative AI yang dijalankan di edge computing dapat mengubah data sensor, seperti gambar dan video, menjadi analisis real-time dengan konteks yang lebih kaya. Platform NVIDIA Jetson memungkinkan pemrosesan model AI langsung di perangkat edge, termasuk LLM, Vision Transformers, dan Stable Diffusion. Dalam pengujian MLPerf terbaru, Jetson AGX Orin mencatat peningkatan throughput lebih dari 6,2x dan peningkatan latensi hingga 2,4x dibandingkan pengujian sebelumnya pada workload GPT-J LLM. Ini memungkinkan pengembang untuk menggunakan model AI dengan 6 miliar parameter yang dapat berinteraksi dengan bahasa manusia secara lebih efektif, membuka peluang baru bagi Generative AI di edge. Pemimpin Performa di Segala Lini Pengujian MLPerf Inference v4.1 menegaskan keunggulan NVIDIA dalam berbagai kategori, baik di data center maupun edge computing. NVIDIA terus mendorong inovasi di dunia AI, mendukung aplikasi dan layanan berbasis AI yang paling canggih di industri. Sistem berbasis GPU H200 sudah tersedia hari ini dari penyedia layanan cloud CoreWeave, serta dari ASUS, Dell Technologies, HPE, QCT, dan Supermicro. Apabila anda tertarik dengan Solusi dr Mellanox/NVIDIA dan ingin di presentasikan lebih detail mengenai Mellanox/NVIDIA bisa langsung hubungi Mellanox Indonesia
Mengungkap Era Baru AI Lokal dengan Microservices NIM NVIDIA dan AI Blueprints
Mengungkap Era Baru AI Lokal dengan Microservices NIM NVIDIA dan AI Blueprints Microservices NIM baru dan AI Blueprints membuka akses ke AI generatif di PC RTX AI dan workstation — ditambah dengan pengumuman lain dari CES yang dirangkum dalam bagian pertama dari seri RTX AI Garage ini. Selama setahun terakhir, AI generatif telah mengubah cara orang hidup, bekerja, dan bermain, meningkatkan berbagai hal mulai dari penulisan dan pembuatan konten hingga gaming, pembelajaran, dan produktivitas. Penggemar PC dan pengembang berada di garis depan untuk mendorong batasan teknologi inovatif ini. Berkali-kali, terobosan teknologi yang mendefinisikan industri ditemukan di satu tempat — sebuah garasi. Minggu ini menandai dimulainya seri RTX AI Garage, yang akan menawarkan konten rutin bagi pengembang dan penggemar yang ingin belajar lebih banyak tentang microservices NIM NVIDIA dan AI Blueprints, serta cara membangun agen AI, alur kerja kreatif, manusia digital, aplikasi produktivitas, dan banyak lagi di PC AI. Selamat datang di RTX AI Garage. Bagian pertama ini menyoroti pengumuman yang dibuat sebelumnya minggu ini di CES, termasuk model-model dasar AI baru yang tersedia di PC RTX AI NVIDIA yang membawa manusia digital, pembuatan konten, produktivitas, dan pengembangan ke level berikutnya. Model-model ini — yang ditawarkan sebagai microservices NIM NVIDIA — didorong oleh GPU GeForce RTX 50 Series yang baru. Dibangun di atas arsitektur NVIDIA Blackwell, GPU RTX 50 Series memberikan hingga 3.352 triliun operasi AI per detik, 32GB VRAM, dan memiliki komputasi FP4, yang menggandakan kinerja inferensi AI dan memungkinkan AI generatif berjalan secara lokal dengan jejak memori yang lebih kecil. NVIDIA juga memperkenalkan NVIDIA AI Blueprints — alur kerja siap pakai yang sudah dikonfigurasi sebelumnya, dibangun di atas microservices NIM, untuk aplikasi seperti manusia digital dan pembuatan konten. Microservices NIM dan AI Blueprints memberdayakan penggemar dan pengembang untuk membangun, mengiterasi, dan memberikan pengalaman bertenaga AI ke PC lebih cepat dari sebelumnya. Hasilnya adalah gelombang baru kemampuan yang menarik dan praktis untuk pengguna PC. Mempercepat AI dengan NVIDIA NIM Ada dua tantangan utama dalam menghadirkan kemajuan AI ke PC. Pertama, kecepatan penelitian AI yang sangat cepat, dengan model-model baru yang muncul setiap hari di platform seperti Hugging Face, yang kini menyimpan lebih dari satu juta model. Akibatnya, terobosan cepat menjadi usang. Kedua, menyesuaikan model-model ini untuk penggunaan PC adalah proses yang rumit dan membutuhkan sumber daya yang besar. Mengoptimalkan mereka untuk perangkat keras PC, mengintegrasikan mereka dengan perangkat lunak AI, dan menghubungkannya ke aplikasi memerlukan upaya rekayasa yang signifikan. NVIDIA NIM membantu mengatasi tantangan ini dengan menawarkan model AI terkini yang telah dikemas dan dioptimalkan untuk PC. Microservices NIM ini mencakup berbagai domain model, dapat dipasang dengan satu klik, memiliki antarmuka pemrograman aplikasi (API) untuk integrasi yang mudah, dan memanfaatkan perangkat lunak AI NVIDIA serta GPU RTX untuk kinerja yang dipercepat. Di CES, NVIDIA mengumumkan jalur microservices NIM untuk PC RTX AI, mendukung berbagai kasus penggunaan mulai dari model bahasa besar (LLM), model bahasa-visual, pembuatan gambar, suara, generasi berbantuan pencarian (RAG), ekstraksi PDF, dan visi komputer. Keluarga model open-source Llama Nemotron yang baru memberikan akurasi tinggi untuk berbagai tugas agen. Model Llama Nemotron Nano, yang akan ditawarkan sebagai microservice NIM untuk PC RTX AI dan workstation, unggul dalam tugas AI agen seperti mengikuti instruksi, pemanggilan fungsi, chat, pengkodean, dan matematika. Segera, pengembang akan dapat dengan cepat mengunduh dan menjalankan microservices ini di PC Windows 11 menggunakan Windows Subsystem for Linux (WSL). Menampilkan Bagaimana Penggemar dan Pengembang Bisa Menggunakan NIM untuk Membangun Agen dan Asisten AI Untuk menunjukkan bagaimana penggemar dan pengembang dapat menggunakan NIM untuk membangun agen dan asisten AI, NVIDIA mempratinjau Project R2X, sebuah avatar PC yang dilengkapi dengan visi yang dapat menyediakan informasi di ujung jari pengguna, membantu aplikasi desktop dan panggilan konferensi video, membaca dan merangkum dokumen, dan banyak lagi. Daftar untuk pembaruan Project R2X. Dengan menggunakan microservices NIM, penggemar AI dapat melewati kompleksitas kurasi model, optimisasi, dan integrasi backend, serta fokus pada menciptakan dan berinovasi dengan model AI terbaru. Apa itu API? API adalah cara sebuah aplikasi berkomunikasi dengan pustaka perangkat lunak. API mendefinisikan serangkaian “panggilan” yang dapat dilakukan aplikasi ke pustaka dan apa yang dapat diharapkan aplikasi sebagai respons. API AI tradisional membutuhkan banyak pengaturan dan konfigurasi, membuat kemampuan AI lebih sulit digunakan dan menghambat inovasi. Microservices NIM menyediakan API yang mudah digunakan dan intuitif, yang memungkinkan aplikasi untuk cukup mengirim permintaan dan menerima respons. Selain itu, API ini dirancang berdasarkan input dan output media untuk berbagai jenis model. Misalnya, LLM menerima teks sebagai input dan menghasilkan teks sebagai output, generator gambar mengubah teks menjadi gambar, pengenalan suara mengubah suara menjadi teks, dan seterusnya. Microservices ini dirancang untuk terintegrasi dengan mulus dengan kerangka kerja pengembangan AI dan agen terkemuka seperti AI Toolkit untuk VSCode, AnythingLLM, ComfyUI, Flowise AI, LangChain, Langflow, dan LM Studio. Pengembang dapat dengan mudah mengunduh dan menerapkannya dari build.nvidia.com. Dengan menghadirkan API ini ke RTX, NVIDIA NIM akan mempercepat inovasi AI di PC. Diharapkan, penggemar akan dapat merasakan berbagai microservices NIM menggunakan rilis demo teknis NVIDIA ChatRTX yang akan datang. Blueprint untuk Inovasi Dengan menggunakan model-model canggih, yang sudah dikemas dan dioptimalkan untuk PC, pengembang dan penggemar dapat dengan cepat membuat proyek-proyek bertenaga AI. Mengambil langkah lebih jauh, mereka dapat menggabungkan beberapa model AI dan fungsionalitas lainnya untuk membangun aplikasi kompleks seperti manusia digital, pembuat podcast, dan asisten aplikasi. NVIDIA AI Blueprints, yang dibangun di atas microservices NIM, adalah implementasi referensi untuk alur kerja AI yang kompleks. Blueprints ini membantu pengembang menghubungkan beberapa komponen, termasuk pustaka, perangkat lunak kit pengembangan, dan model AI, dalam satu aplikasi. Blueprint AI mencakup semua yang dibutuhkan pengembang untuk membangun, menjalankan, menyesuaikan, dan memperluas alur kerja referensi, yang mencakup aplikasi referensi dan kode sumber, data sampel, serta dokumentasi untuk penyesuaian dan orkestrasi berbagai komponen. Di CES, NVIDIA mengumumkan dua AI Blueprints untuk RTX: satu untuk mengubah PDF menjadi podcast, yang memungkinkan pengguna menghasilkan podcast dari PDF apa saja, dan satu lagi untuk AI generatif yang dipandu 3D, yang berbasis pada FLUX.1 [dev] dan diharapkan akan ditawarkan sebagai microservice NIM, memberikan seniman kontrol lebih besar dalam pembuatan gambar berbasis teks. Dengan AI Blueprints, pengembang…
Meningkatkan Kinerja untuk Infrastruktur NFV dan Pusat Data Cloud yang Agile
Pada Red Hat Summit 2018, NVIDIA Mellanox mengumumkan solusi open network functions virtualization infrastructure (NFVI) dan pusat data cloud. Solusi ini menggabungkan perangkat lunak Red Hat Enterprise Linux cloud dengan dukungan perangkat keras NVIDIA Mellanox NIC. Kolaborasi yang erat dan validasi bersama dengan Red Hat menghasilkan solusi terintegrasi sepenuhnya yang memberikan kinerja dan efisiensi tinggi, serta mudah untuk diterapkan. Solusi ini mencakup teknologi akselerasi datapath sumber terbuka, termasuk Data Plane Development Kit (DPDK) dan akselerasi Open vSwitch (OvS). Penyedia cloud pribadi dan layanan komunikasi sedang mentransformasi infrastruktur mereka untuk mencapai kelincahan dan efisiensi seperti penyedia cloud publik hyperscale. Transformasi ini didasarkan pada dua prinsip dasar: disaggregasi dan virtualisasi. Disaggregasi memisahkan perangkat lunak jaringan dari perangkat keras yang mendasarinya. Virtualisasi server dan jaringan meningkatkan efisiensi dengan membagikan server standar industri dan peralatan jaringan menggunakan hypervisor dan jaringan overlay. Kemampuan disruptif ini menawarkan manfaat seperti fleksibilitas, kelincahan, dan pemrograman perangkat lunak. Namun, mereka juga menyebabkan penurunan kinerja jaringan yang signifikan karena hypervisor berbasis kernel dan pengalihan virtual yang secara tidak efisien mengonsumsi siklus CPU host untuk pemrosesan paket jaringan. Penyediaan CPU core yang berlebihan untuk mengatasi kinerja jaringan yang buruk akan menyebabkan biaya modal yang tinggi (CapEx), yang bertentangan dengan tujuan untuk meningkatkan efisiensi perangkat keras melalui virtualisasi server. Untuk mengatasi tantangan ini, Red Hat dan NVIDIA Mellanox meluncurkan solusi NFVI dan pusat data cloud yang sangat efisien, dipercepat dengan perangkat keras, dan terintegrasi erat yang menggabungkan sistem operasi Red Hat Enterprise Linux dengan adaptor jaringan NVIDIA Mellanox ConnectX-5 yang menjalankan DPDK dan teknologi offload Accelerated Switching and Packet Processing (ASAP2) OvS. Akselerasi ASAP2 OvS offload Solusi offload perangkat keras OvS mempercepat kinerja paket switch virtual berbasis perangkat lunak yang lambat hingga sepuluh kali lebih cepat. Secara sederhana, offload perangkat keras OvS menawarkan yang terbaik dari kedua dunia: akselerasi perangkat keras dari jalur data dengan jalur kontrol OVS yang tidak dimodifikasi untuk fleksibilitas dan pemrograman aturan match-action. NVIDIA Mellanox adalah pelopor teknologi inovatif ini dan telah memimpin arsitektur terbuka yang dibutuhkan untuk mendukung inovasi ini di dalam OvS, kernel Linux, DPDK, dan komunitas open-source OpenStack. ASAP(2) sepenuhnya dan transparan memindahkan pemrosesan datapath switch virtual dan router OvS ke NIC. Gambar 1 menunjukkan teknologi offload NVIDIA Mellanox open ASAP2 OvS. Ini sepenuhnya dan transparan memindahkan pemrosesan datapath switch virtual dan router ke switch terintegrasi NIC (e-switch). NVIDIA Mellanox berkontribusi pada pengembangan framework inti dan API seperti TC Flower, yang tersedia di kernel Linux dan versi OvS. API ini secara dramatis mempercepat fungsi jaringan seperti overlay, switching, routing, keamanan, dan load balancing. Seperti yang diverifikasi dalam uji kinerja yang dilakukan di laboratorium Red Hat, teknologi ASAP2 NVIDIA Mellanox memberikan throughput hampir 100 G line rate untuk paket VXLAN besar tanpa mengonsumsi siklus CPU. Untuk paket kecil, ASAP2 meningkatkan laju paket VXLAN OvS hingga 10X, dari 5 juta paket per detik menggunakan 12 inti CPU menjadi 55 juta paket per detik tanpa mengonsumsi inti CPU. Penyedia layanan komunikasi cloud dan perusahaan dapat mencapai efisiensi infrastruktur total dari solusi berbasis ASAP2 dengan kinerja tinggi sambil membebaskan inti CPU untuk menambah lebih banyak virtual network function (VNF) dan aplikasi cloud-native pada server yang sama. Ini menguntungkan Anda dengan mengurangi jejak server dan mencapai penghematan CapEx yang substansial. ASAP2 telah tersedia sebagai tech preview mulai dari OSP 13 dan RHEL 7.5 dan tersedia secara umum mulai dari OSP 16.1 dan RHEL 8.2. Akselerasi OVS-DPDK Jika Anda ingin mempertahankan jalur data virtio OvS yang lebih lambat tetapi tetap membutuhkan beberapa akselerasi, Anda dapat menggunakan solusi DPDK NVIDIA Mellanox untuk meningkatkan kinerja OvS. Gambar 2 menunjukkan bahwa solusi OvS over DPDK menggunakan pustaka perangkat lunak DPDK dan driver mode polling (PMD) untuk meningkatkan laju paket secara substansial dengan mengorbankan konsumsi inti CPU. Figure 2. OVS-DPDK solution diagram. Solusi DPDK NVIDIA Mellanox untuk meningkatkan kinerja OvS meningkatkan laju paket untuk mempercepat jalur data virtio OvS yang ada. Gambar 2. Diagram solusi OVS-DPDK. Dengan teknologi DPDK sumber terbuka, NIC NVIDIA Mellanox ConnectX-5 memberikan laju paket terbaik di industri, yakni 139 juta paket per detik untuk menjalankan OvS, VNF, atau aplikasi cloud melalui DPDK. Solusi ini sepenuhnya didukung oleh Red Hat untuk RHEL 7.5. Arsitek jaringan sering kali dihadapkan dengan banyak pilihan saat memilih teknologi terbaik yang sesuai dengan kebutuhan infrastruktur TI mereka. Ketika memutuskan antara ASAP2 dan DPDK, keputusan menjadi lebih mudah berkat manfaat substansial dari teknologi ASAP2 dibandingkan DPDK. Karena jalur data SR-IOV, offload OvS ASAP2 mencapai kinerja yang jauh lebih tinggi daripada OvS over DPDK, yang menggunakan jalur data virtio tradisional yang lebih lambat. Selain itu, ASAP2 menghemat inti CPU dengan memindahkan aliran ke NIC, sementara DPDK mengonsumsi inti CPU untuk memproses paket secara sub-optimal. Seperti DPDK, offload OvS ASAP2 adalah teknologi sumber terbuka yang sepenuhnya didukung di komunitas sumber terbuka dan semakin diterima di industri. Ringkasan NVIDIA Mellanox adalah perusahaan jaringan terbuka dan salah satu kontributor terbesar di komunitas kernel Linux. Melalui teknologi NIC canggih kami dan inovasi bersama dengan pemimpin perangkat lunak terbuka seperti Red Hat, kami telah menghilangkan hambatan kinerja yang terkait dengan penerapan solusi pusat data cloud dan NFV modern. Angka kinerja terobosan ini dicapai tanpa mengorbankan sumber daya server yang berharga atau kesulitan dalam penerapan. Kemampuan pemrosesan aliran paralel dan kecerdasan dari keluarga Adaptor Ethernet NVIDIA Mellanox ConnectX memberikan beban minimal pada sumber daya CPU dan memori yang berharga, memungkinkan platform NFV untuk melakukan apa yang seharusnya dilakukan: layanan jaringan dan pemrosesan aplikasi, alih-alih menangani I/O paket.
NVIDIA dan F5 Tingkatkan Keamanan dan Efisiensi AI di Sovereign Cloud
Untuk meningkatkan efisiensi dan keamanan AI di lingkungan sovereign cloud, NVIDIA dan F5 mengintegrasikan NVIDIA BlueField-3 DPU dengan F5 BIG-IP Next untuk Kubernetes. Kolaborasi ini diumumkan hari ini di NVIDIA AI Summit di Mumbai, India. Solusi ini sangat cocok untuk industri dengan kebutuhan ketat terkait tata kelola data, privasi, atau kepatuhan, serta menjawab permintaan yang terus meningkat akan infrastruktur AI yang dapat diskalakan. “Kami bekerja sama dengan NVIDIA untuk memungkinkan industri mengimplementasikan solusi AI yang aman dan dapat diskalakan lebih cepat, dengan performa lebih baik, sambil memastikan data tetap terlindungi,” kata Ahmed Guetari, Wakil Presiden dan Manajer Umum, layanan penyedia di F5. Kolaborasi ini bertujuan membantu pemerintah dan industri dalam mengelola data sensitif sambil mempercepat pengiriman aplikasi AI. Menurut IDC, pasar sovereign cloud diproyeksikan mencapai $250 miliar pada tahun 2027. Sementara itu, ABI Research memperkirakan pasar untuk foundation models akan mencapai $30 miliar pada tahun 2027. Apa Itu Sovereign Cloud? Sovereign cloud dibangun untuk memenuhi persyaratan ketat terkait privasi dan lokalisasi data. Teknologi ini sangat penting bagi industri yang menangani data sensitif seperti telekomunikasi, layanan keuangan, serta lembaga pemerintah. Integrasi Teknologi NVIDIA dan F5 F5 BIG-IP Next untuk Kubernetes yang diimplementasikan pada NVIDIA BlueField-3 DPU menawarkan infrastruktur jaringan AI yang aman dan sesuai regulasi. Teknologi ini memungkinkan industri untuk mengadopsi kemampuan AI canggih tanpa mengorbankan privasi data. Dengan mengalihkan tugas seperti load balancing, routing, dan keamanan ke NVIDIA BlueField-3 DPU, F5 BIG-IP Next untuk Kubernetes dapat: Mengelola prompt AI dengan efisien untuk Large Language Model (LLM). Mengurangi penggunaan energi. Memastikan performa AI yang dapat diskalakan. Mengoptimalkan pemanfaatan sumber daya GPU. Layanan mikro NVIDIA NIM, yang mempercepat penerapan foundation models, juga akan mendapatkan manfaat dari pengelolaan beban kerja AI yang lebih efisien melalui kolaborasi ini. Keamanan dan Efisiensi untuk Industri yang Diatur Ketat Solusi gabungan dari NVIDIA dan F5 menjanjikan peningkatan keamanan dan efisiensi—faktor kunci bagi industri yang beralih ke infrastruktur berbasis cloud-native. Dengan inovasi ini, industri di sektor yang sangat diatur dapat mengembangkan aplikasi AI secara aman dan percaya diri, sekaligus memenuhi standar tertinggi untuk perlindungan data.
Mempercepat dengan XDP di atas NIC Mellanox ConnectX
XDP (eXpress Data Path) adalah jalur data yang dapat diprogram dalam tumpukan jaringan kernel Linux. XDP menyediakan kerangka kerja untuk BPF (Berkeley Packet Filter) dan dapat memungkinkan pemrosesan paket dengan kinerja tinggi secara runtime. XDP bekerja bersama dengan tumpukan jaringan Linux dan bukan merupakan bypass kernel. Karena XDP berjalan di driver jaringan kernel, ia dapat membaca frame Ethernet dari RX ring NIC dan langsung mengambil tindakan. XDP terhubung dengan infrastruktur eBPF melalui hook RX yang diimplementasikan di driver. Sebagai aplikasi dari eBPF, XDP dapat memicu tindakan menggunakan kode pengembalian (return codes), mengubah konten paket, dan menambah/mengurangi header. XDP memiliki berbagai kasus penggunaan, seperti penyaringan paket, penerusan paket, load balancing, mitigasi DDOS, dan lainnya. Salah satu kasus penggunaan yang umum adalah XDP_DROP, yang memberi instruksi pada driver untuk membuang paket. Ini dapat dilakukan dengan menjalankan program BPF kustom untuk mem-parsing paket yang masuk yang diterima di driver. Program ini mengembalikan sebuah keputusan atau kode pengembalian (XDP_DROP), di mana paket dibuang langsung di tingkat driver tanpa membuang sumber daya lebih lanjut. Penghitung Ethtool dapat digunakan untuk memverifikasi tindakan program XDP. Menjalankan XDP_DROP Program XDP dijalankan segera setelah paket masuk ke driver jaringan, yang menghasilkan kinerja jaringan yang lebih tinggi. Ini juga meningkatkan pemanfaatan CPU. Keluarga NIC Mellanox ConnectX memungkinkan metadata dipersiapkan oleh perangkat keras NIC. Metadata ini dapat digunakan untuk melakukan akselerasi perangkat keras bagi aplikasi yang menggunakan XDP. Berikut adalah contoh cara menjalankan XDP_DROP menggunakan Mellanox ConnectX-5. Periksa apakah kernel saat ini mendukung bpf dan xdp: sysctl net/core/bpf_jit_enable Jika tidak ditemukan, kompilasi dan jalankan kernel dengan BPF diaktifkan. Anda dapat menggunakan kernel upstream versi 5.0 ke atas. Aktifkan flag kconfig berikut: BPF BPF_SYSCALL BPF_JIT HAVE_BPF_JIT BPF_EVENTS Kemudian, reboot ke kernel yang baru. Pasang clang dan llvm: yum install -y llvm clang libcap-devel Kompilasi sampel dengan langkah-langkah berikut: cd <linux src code> make samples/bpf/ Ini akan mengompilasi semua aplikasi XDP yang tersedia. Setelah kompilasi selesai, Anda akan melihat semua aplikasi XDP di bawah /samples/bpf (Gambar 1). Figure 1. XDP applications under /sample/bpf. Dengan instalasi yang telah dilakukan sebelumnya, Anda sekarang siap untuk menjalankan aplikasi XDP. Aplikasi XDP dapat dijalankan dalam dua mode: Driver path — Harus memiliki implementasi di driver. Bekerja dengan resolusi halaman dan tidak membuat SKB. Kinerja secara signifikan lebih baik. NIC Mellanox mendukung mode ini. Generic path — Bekerja dengan perangkat jaringan apa pun. Bekerja dengan SKB, namun kinerjanya lebih buruk. Jalankan XDP_DROP di driver path. XDP_DROP adalah salah satu cara paling sederhana dan tercepat untuk membuang paket di Linux. Di sini, perintah ini memberi instruksi pada driver untuk membuang paket pada tahap RX paling awal di driver. Ini berarti paket tersebut didaur ulang kembali ke antrean RX ring dari mana paket itu baru saja tiba. Aplikasi xdp1 yang terletak di <linux_source>/samples/bpf/ mengimplementasikan XDP Drop. Pilih generator trafik sesuai pilihan Anda. Kami menggunakan Cisco TRex. Di sisi RX, jalankan xdp1 di driver path menggunakan perintah berikut: <PATH_TO_LINUX_SOURCE>/samples/bpf/xdp1 -N <INTERFACE> # -N can be omitted Tingkat penurunan XDP dapat ditampilkan menggunakan output aplikasi serta penghitung ethtool: ethtool -S <intf> | grep -iE rx[0-9]*_xdp_drop Figure 2. Verify XDP drop counter using ethtool counters.
