NVIDIA Mellanox MCX556A-ECAT सर्वर एडाप्टर एक्शन मेंः आरडीएमए/आरओसीई कम विलंबता प्रदर्शन को अनलॉक करना और एआई को तेज करना

NVIDIA Mellanox MCX556A-ECAT सर्वर एडॉप्टर एक्शन में: RDMA/RoCE लो-लेटेंसी परफॉरमेंस को अनलॉक करना और AI और डिस्ट्रीब्यूटेड स्टोरेज वर्कलोड को तेज करना

मॉडल: | ब्रांड: NVIDIA Mellanox | श्रेणी: हाई-परफॉरमेंस ईथरनेट एडॉप्टर | मुख्य क्षमताएं: RDMA/RoCE लो-लेटेंसी ट्रांसपोर्ट और सर्वर थ्रूपुट ऑप्टिमाइजेशन

पृष्ठभूमि और चुनौतियाँ: बड़े पैमाने पर AI ट्रेनिंग में नेटवर्क बॉटलनेक

एक प्रमुख स्वायत्त ड्राइविंग प्रौद्योगिकी कंपनी में डेटा इंफ्रास्ट्रक्चर टीम के लिए, AI मॉडल ट्रेनिंग वर्कलोड की तीव्र वृद्धि ने उनके मौजूदा नेटवर्क इंफ्रास्ट्रक्चर की क्षमताओं को पीछे छोड़ दिया था। उनके कंप्यूट क्लस्टर में 200 से अधिक GPU सर्वर शामिल थे, जिनमें से प्रत्येक 25GbE एडॉप्टर से लैस था, जो पेटबाइट्स सेंसर और सिमुलेशन डेटा वाले डिस्ट्रीब्यूटेड स्टोरेज सिस्टम से जुड़ा था। बड़े पैमाने पर ट्रेनिंग जॉब्स के दौरान, टीम ने लगातार दो महत्वपूर्ण मुद्दों का अवलोकन किया: डेटा लोडिंग बॉटलनेक के कारण GPU उपयोग शायद ही कभी 70% से अधिक होता था, और चेकपॉइंट सेविंग ऑपरेशंस - मॉडल रिकवरी के लिए आवश्यक - 40 सेकंड से अधिक समय लेते थे, जिससे पुनरावृत्त ट्रेनिंग चक्र काफी धीमे हो जाते थे।

मूल कारण नेटवर्क एक्सेस लेयर तक ट्रेस किया गया था: मौजूदा एडॉप्टर में मजबूत RDMA ऑफलोड क्षमताओं की कमी थी, जिससे स्टोरेज I/O को TCP/IP स्टैक से गुजरना पड़ता था और अत्यधिक CPU चक्रों का उपभोग करना पड़ता था। इसके परिणामस्वरूप उच्च टेल लेटेंसी, GPU संसाधनों का अक्षम उपयोग और भविष्य के क्लस्टर विस्तार के लिए सीमित स्केलेबिलिटी हुई। टीम को तुरंत एक हाई-परफॉरमेंस एडॉप्टर की आवश्यकता थी जो उनके NVMe-oF स्टोरेज फैब्रिक की क्षमता को अनलॉक करने के लिए सब-5µs RDMA लेटेंसी और फुल लाइन-रेट थ्रूपुट प्रदान कर सके। यहीं पर मूल्यांकन प्रक्रिया में प्रवेश किया।

समाधान और परिनियोजन: MCX556A-ECAT के आसपास एक RDMA-ऑप्टिमाइज़्ड फैब्रिक का निर्माण

MCX556A-ECAT डेटाशीट की गहन समीक्षा और आंतरिक प्रदर्शन बेंचमार्क के मुकाबले इसके MCX556A-ECAT विनिर्देशों के सत्यापन के बाद, आर्किटेक्चर टीम ने एक चरणबद्ध परिनियोजन रणनीति तैयार की। MCX556A-ECAT कनेक्टएक्स एडॉप्टर PCIe नेटवर्क कार्ड को इसकी डुअल-पोर्ट 50GbE क्षमता और परिपक्व कनेक्टएक्स-5 ASIC के लिए चुना गया था, जिसने प्रदर्शन, बिजली दक्षता और पारिस्थितिकी तंत्र की परिपक्वता का आदर्श संतुलन प्रदान किया।चरण 1 – पायलट परिनियोजन (16 GPU नोड्स):चरण 2 – स्टोरेज फैब्रिक एकीकरण:चरण 3 – प्रोडक्शन विस्तार (सभी 200 GPU नोड्स):

सकारात्मक पायलट परिणामों के आधार पर, परिनियोजन को पूरे क्लस्टर में बढ़ाया गया था। MCX556A-ECAT संगत पारिस्थितिकी तंत्र ने मौजूदा सर्वर प्लेटफॉर्म, स्टोरेज एरे और स्विच इंफ्रास्ट्रक्चर के साथ निर्बाध एकीकरण सुनिश्चित किया।

• पूरे परिनियोजन के दौरान, MCX556A-ECAT ईथरनेट एडॉप्टर कार्ड ने असाधारण प्लग-एंड-प्ले सरलता का प्रदर्शन किया। टीम ने GPU-से-GPU और GPU-से-स्टोरेज संचार पैटर्न के लिए RDMA प्रदर्शन को अनुकूलित करने के लिए NVIDIA कलेक्टिव कम्युनिकेशंस लाइब्रेरी (NCCL) के साथ MLNX_OFED ड्राइवर स्टैक का लाभ उठाया।मापने योग्य परिणाम: महत्वपूर्ण प्रदर्शन लाभ और संसाधन मुक्ति
• पूर्ण-पैमाने पर उत्पादन परिनियोजन के बाद, टीम ने कई महत्वपूर्ण मेट्रिक्स में पर्याप्त सुधार दर्ज किए। नीचे दी गई तालिका NVIDIA Mellanox MCX556A-ECAT की शुरुआत से पहले और बाद में प्रदर्शन की तुलना का सारांश प्रस्तुत करती है:मीट्रिक
• पहले (25GbE / TCP)बाद में (MCX556A-ECAT / RoCE)सुधारस्टोरेज रीड लेटेंसी (P99)

~18 µs~4.2 µs76% कमी

चेकपॉइंट सेव टाइम (200GB मॉडल)

~41 सेकंड73% तेज