Pada Red Hat Summit 2018, NVIDIA Mellanox mengumumkan solusi open network functions virtualization infrastructure (NFVI) dan pusat data cloud. Solusi ini menggabungkan perangkat lunak Red Hat Enterprise Linux cloud dengan dukungan perangkat keras NVIDIA Mellanox NIC. Kolaborasi yang erat dan validasi bersama dengan Red Hat menghasilkan solusi terintegrasi sepenuhnya yang memberikan kinerja dan efisiensi tinggi, serta mudah untuk diterapkan. Solusi ini mencakup teknologi akselerasi datapath sumber terbuka, termasuk Data Plane Development Kit (DPDK) dan akselerasi Open vSwitch (OvS). Penyedia cloud pribadi dan layanan komunikasi sedang mentransformasi infrastruktur mereka untuk mencapai kelincahan dan efisiensi seperti penyedia cloud publik hyperscale. Transformasi ini didasarkan pada dua prinsip dasar: disaggregasi dan virtualisasi. Disaggregasi memisahkan perangkat lunak jaringan dari perangkat keras yang mendasarinya. Virtualisasi server dan jaringan meningkatkan efisiensi dengan membagikan server standar industri dan peralatan jaringan menggunakan hypervisor dan jaringan overlay. Kemampuan disruptif ini menawarkan manfaat seperti fleksibilitas, kelincahan, dan pemrograman perangkat lunak. Namun, mereka juga menyebabkan penurunan kinerja jaringan yang signifikan karena hypervisor berbasis kernel dan pengalihan virtual yang secara tidak efisien mengonsumsi siklus CPU host untuk pemrosesan paket jaringan. Penyediaan CPU core yang berlebihan untuk mengatasi kinerja jaringan yang buruk akan menyebabkan biaya modal yang tinggi (CapEx), yang bertentangan dengan tujuan untuk meningkatkan efisiensi perangkat keras melalui virtualisasi server. Untuk mengatasi tantangan ini, Red Hat dan NVIDIA Mellanox meluncurkan solusi NFVI dan pusat data cloud yang sangat efisien, dipercepat dengan perangkat keras, dan terintegrasi erat yang menggabungkan sistem operasi Red Hat Enterprise Linux dengan adaptor jaringan NVIDIA Mellanox ConnectX-5 yang menjalankan DPDK dan teknologi offload Accelerated Switching and Packet Processing (ASAP2) OvS. Akselerasi ASAP2 OvS offload Solusi offload perangkat keras OvS mempercepat kinerja paket switch virtual berbasis perangkat lunak yang lambat hingga sepuluh kali lebih cepat. Secara sederhana, offload perangkat keras OvS menawarkan yang terbaik dari kedua dunia: akselerasi perangkat keras dari jalur data dengan jalur kontrol OVS yang tidak dimodifikasi untuk fleksibilitas dan pemrograman aturan match-action. NVIDIA Mellanox adalah pelopor teknologi inovatif ini dan telah memimpin arsitektur terbuka yang dibutuhkan untuk mendukung inovasi ini di dalam OvS, kernel Linux, DPDK, dan komunitas open-source OpenStack. ASAP(2) sepenuhnya dan transparan memindahkan pemrosesan datapath switch virtual dan router OvS ke NIC. Gambar 1 menunjukkan teknologi offload NVIDIA Mellanox open ASAP2 OvS. Ini sepenuhnya dan transparan memindahkan pemrosesan datapath switch virtual dan router ke switch terintegrasi NIC (e-switch). NVIDIA Mellanox berkontribusi pada pengembangan framework inti dan API seperti TC Flower, yang tersedia di kernel Linux dan versi OvS. API ini secara dramatis mempercepat fungsi jaringan seperti overlay, switching, routing, keamanan, dan load balancing. Seperti yang diverifikasi dalam uji kinerja yang dilakukan di laboratorium Red Hat, teknologi ASAP2 NVIDIA Mellanox memberikan throughput hampir 100 G line rate untuk paket VXLAN besar tanpa mengonsumsi siklus CPU. Untuk paket kecil, ASAP2 meningkatkan laju paket VXLAN OvS hingga 10X, dari 5 juta paket per detik menggunakan 12 inti CPU menjadi 55 juta paket per detik tanpa mengonsumsi inti CPU. Penyedia layanan komunikasi cloud dan perusahaan dapat mencapai efisiensi infrastruktur total dari solusi berbasis ASAP2 dengan kinerja tinggi sambil membebaskan inti CPU untuk menambah lebih banyak virtual network function (VNF) dan aplikasi cloud-native pada server yang sama. Ini menguntungkan Anda dengan mengurangi jejak server dan mencapai penghematan CapEx yang substansial. ASAP2 telah tersedia sebagai tech preview mulai dari OSP 13 dan RHEL 7.5 dan tersedia secara umum mulai dari OSP 16.1 dan RHEL 8.2. Akselerasi OVS-DPDK Jika Anda ingin mempertahankan jalur data virtio OvS yang lebih lambat tetapi tetap membutuhkan beberapa akselerasi, Anda dapat menggunakan solusi DPDK NVIDIA Mellanox untuk meningkatkan kinerja OvS. Gambar 2 menunjukkan bahwa solusi OvS over DPDK menggunakan pustaka perangkat lunak DPDK dan driver mode polling (PMD) untuk meningkatkan laju paket secara substansial dengan mengorbankan konsumsi inti CPU. Figure 2. OVS-DPDK solution diagram. Solusi DPDK NVIDIA Mellanox untuk meningkatkan kinerja OvS meningkatkan laju paket untuk mempercepat jalur data virtio OvS yang ada. Gambar 2. Diagram solusi OVS-DPDK. Dengan teknologi DPDK sumber terbuka, NIC NVIDIA Mellanox ConnectX-5 memberikan laju paket terbaik di industri, yakni 139 juta paket per detik untuk menjalankan OvS, VNF, atau aplikasi cloud melalui DPDK. Solusi ini sepenuhnya didukung oleh Red Hat untuk RHEL 7.5. Arsitek jaringan sering kali dihadapkan dengan banyak pilihan saat memilih teknologi terbaik yang sesuai dengan kebutuhan infrastruktur TI mereka. Ketika memutuskan antara ASAP2 dan DPDK, keputusan menjadi lebih mudah berkat manfaat substansial dari teknologi ASAP2 dibandingkan DPDK. Karena jalur data SR-IOV, offload OvS ASAP2 mencapai kinerja yang jauh lebih tinggi daripada OvS over DPDK, yang menggunakan jalur data virtio tradisional yang lebih lambat. Selain itu, ASAP2 menghemat inti CPU dengan memindahkan aliran ke NIC, sementara DPDK mengonsumsi inti CPU untuk memproses paket secara sub-optimal. Seperti DPDK, offload OvS ASAP2 adalah teknologi sumber terbuka yang sepenuhnya didukung di komunitas sumber terbuka dan semakin diterima di industri. Ringkasan NVIDIA Mellanox adalah perusahaan jaringan terbuka dan salah satu kontributor terbesar di komunitas kernel Linux. Melalui teknologi NIC canggih kami dan inovasi bersama dengan pemimpin perangkat lunak terbuka seperti Red Hat, kami telah menghilangkan hambatan kinerja yang terkait dengan penerapan solusi pusat data cloud dan NFV modern. Angka kinerja terobosan ini dicapai tanpa mengorbankan sumber daya server yang berharga atau kesulitan dalam penerapan. Kemampuan pemrosesan aliran paralel dan kecerdasan dari keluarga Adaptor Ethernet NVIDIA Mellanox ConnectX memberikan beban minimal pada sumber daya CPU dan memori yang berharga, memungkinkan platform NFV untuk melakukan apa yang seharusnya dilakukan: layanan jaringan dan pemrosesan aplikasi, alih-alih menangani I/O paket.
Category: Uncategorized
NVIDIA dan F5 Tingkatkan Keamanan dan Efisiensi AI di Sovereign Cloud
Untuk meningkatkan efisiensi dan keamanan AI di lingkungan sovereign cloud, NVIDIA dan F5 mengintegrasikan NVIDIA BlueField-3 DPU dengan F5 BIG-IP Next untuk Kubernetes. Kolaborasi ini diumumkan hari ini di NVIDIA AI Summit di Mumbai, India. Solusi ini sangat cocok untuk industri dengan kebutuhan ketat terkait tata kelola data, privasi, atau kepatuhan, serta menjawab permintaan yang terus meningkat akan infrastruktur AI yang dapat diskalakan. “Kami bekerja sama dengan NVIDIA untuk memungkinkan industri mengimplementasikan solusi AI yang aman dan dapat diskalakan lebih cepat, dengan performa lebih baik, sambil memastikan data tetap terlindungi,” kata Ahmed Guetari, Wakil Presiden dan Manajer Umum, layanan penyedia di F5. Kolaborasi ini bertujuan membantu pemerintah dan industri dalam mengelola data sensitif sambil mempercepat pengiriman aplikasi AI. Menurut IDC, pasar sovereign cloud diproyeksikan mencapai $250 miliar pada tahun 2027. Sementara itu, ABI Research memperkirakan pasar untuk foundation models akan mencapai $30 miliar pada tahun 2027. Apa Itu Sovereign Cloud? Sovereign cloud dibangun untuk memenuhi persyaratan ketat terkait privasi dan lokalisasi data. Teknologi ini sangat penting bagi industri yang menangani data sensitif seperti telekomunikasi, layanan keuangan, serta lembaga pemerintah. Integrasi Teknologi NVIDIA dan F5 F5 BIG-IP Next untuk Kubernetes yang diimplementasikan pada NVIDIA BlueField-3 DPU menawarkan infrastruktur jaringan AI yang aman dan sesuai regulasi. Teknologi ini memungkinkan industri untuk mengadopsi kemampuan AI canggih tanpa mengorbankan privasi data. Dengan mengalihkan tugas seperti load balancing, routing, dan keamanan ke NVIDIA BlueField-3 DPU, F5 BIG-IP Next untuk Kubernetes dapat: Mengelola prompt AI dengan efisien untuk Large Language Model (LLM). Mengurangi penggunaan energi. Memastikan performa AI yang dapat diskalakan. Mengoptimalkan pemanfaatan sumber daya GPU. Layanan mikro NVIDIA NIM, yang mempercepat penerapan foundation models, juga akan mendapatkan manfaat dari pengelolaan beban kerja AI yang lebih efisien melalui kolaborasi ini. Keamanan dan Efisiensi untuk Industri yang Diatur Ketat Solusi gabungan dari NVIDIA dan F5 menjanjikan peningkatan keamanan dan efisiensi—faktor kunci bagi industri yang beralih ke infrastruktur berbasis cloud-native. Dengan inovasi ini, industri di sektor yang sangat diatur dapat mengembangkan aplikasi AI secara aman dan percaya diri, sekaligus memenuhi standar tertinggi untuk perlindungan data.
Mempercepat dengan XDP di atas NIC Mellanox ConnectX
XDP (eXpress Data Path) adalah jalur data yang dapat diprogram dalam tumpukan jaringan kernel Linux. XDP menyediakan kerangka kerja untuk BPF (Berkeley Packet Filter) dan dapat memungkinkan pemrosesan paket dengan kinerja tinggi secara runtime. XDP bekerja bersama dengan tumpukan jaringan Linux dan bukan merupakan bypass kernel. Karena XDP berjalan di driver jaringan kernel, ia dapat membaca frame Ethernet dari RX ring NIC dan langsung mengambil tindakan. XDP terhubung dengan infrastruktur eBPF melalui hook RX yang diimplementasikan di driver. Sebagai aplikasi dari eBPF, XDP dapat memicu tindakan menggunakan kode pengembalian (return codes), mengubah konten paket, dan menambah/mengurangi header. XDP memiliki berbagai kasus penggunaan, seperti penyaringan paket, penerusan paket, load balancing, mitigasi DDOS, dan lainnya. Salah satu kasus penggunaan yang umum adalah XDP_DROP, yang memberi instruksi pada driver untuk membuang paket. Ini dapat dilakukan dengan menjalankan program BPF kustom untuk mem-parsing paket yang masuk yang diterima di driver. Program ini mengembalikan sebuah keputusan atau kode pengembalian (XDP_DROP), di mana paket dibuang langsung di tingkat driver tanpa membuang sumber daya lebih lanjut. Penghitung Ethtool dapat digunakan untuk memverifikasi tindakan program XDP. Menjalankan XDP_DROP Program XDP dijalankan segera setelah paket masuk ke driver jaringan, yang menghasilkan kinerja jaringan yang lebih tinggi. Ini juga meningkatkan pemanfaatan CPU. Keluarga NIC Mellanox ConnectX memungkinkan metadata dipersiapkan oleh perangkat keras NIC. Metadata ini dapat digunakan untuk melakukan akselerasi perangkat keras bagi aplikasi yang menggunakan XDP. Berikut adalah contoh cara menjalankan XDP_DROP menggunakan Mellanox ConnectX-5. Periksa apakah kernel saat ini mendukung bpf dan xdp: sysctl net/core/bpf_jit_enable Jika tidak ditemukan, kompilasi dan jalankan kernel dengan BPF diaktifkan. Anda dapat menggunakan kernel upstream versi 5.0 ke atas. Aktifkan flag kconfig berikut: BPF BPF_SYSCALL BPF_JIT HAVE_BPF_JIT BPF_EVENTS Kemudian, reboot ke kernel yang baru. Pasang clang dan llvm: yum install -y llvm clang libcap-devel Kompilasi sampel dengan langkah-langkah berikut: cd <linux src code> make samples/bpf/ Ini akan mengompilasi semua aplikasi XDP yang tersedia. Setelah kompilasi selesai, Anda akan melihat semua aplikasi XDP di bawah /samples/bpf (Gambar 1). Figure 1. XDP applications under /sample/bpf. Dengan instalasi yang telah dilakukan sebelumnya, Anda sekarang siap untuk menjalankan aplikasi XDP. Aplikasi XDP dapat dijalankan dalam dua mode: Driver path — Harus memiliki implementasi di driver. Bekerja dengan resolusi halaman dan tidak membuat SKB. Kinerja secara signifikan lebih baik. NIC Mellanox mendukung mode ini. Generic path — Bekerja dengan perangkat jaringan apa pun. Bekerja dengan SKB, namun kinerjanya lebih buruk. Jalankan XDP_DROP di driver path. XDP_DROP adalah salah satu cara paling sederhana dan tercepat untuk membuang paket di Linux. Di sini, perintah ini memberi instruksi pada driver untuk membuang paket pada tahap RX paling awal di driver. Ini berarti paket tersebut didaur ulang kembali ke antrean RX ring dari mana paket itu baru saja tiba. Aplikasi xdp1 yang terletak di <linux_source>/samples/bpf/ mengimplementasikan XDP Drop. Pilih generator trafik sesuai pilihan Anda. Kami menggunakan Cisco TRex. Di sisi RX, jalankan xdp1 di driver path menggunakan perintah berikut: <PATH_TO_LINUX_SOURCE>/samples/bpf/xdp1 -N <INTERFACE> # -N can be omitted Tingkat penurunan XDP dapat ditampilkan menggunakan output aplikasi serta penghitung ethtool: ethtool -S <intf> | grep -iE rx[0-9]*_xdp_drop Figure 2. Verify XDP drop counter using ethtool counters.
