NVIDIA Mellanox MCX653106A-HDAT एक्शन मेंः आरडीएमए/आरओसीई कम विलंबता परिवहन और सर्वर थ्रूपुट अनुकूलन

वितरित AI प्रशिक्षण और रीयल-टाइम एनालिटिक्स के लिए 256-नोड क्लस्टर संचालित करने वाले एक प्रमुख हाइपरस्केल क्लाउड प्रदाता ने अपने इंफ्रास्ट्रक्चर के स्केल होने पर गंभीर नेटवर्क प्रदर्शन गिरावट का अनुभव करना शुरू कर दिया। मौजूदा 25GbE TCP/IP-आधारित फ़ैब्रिक ने 128 नोड्स में 6 मिलीसेकंड से अधिक के ऑल-रिड्यूस लेटेंसी का प्रदर्शन किया, जबकि नेटवर्क प्रोसेसिंग के लिए CPU उपयोग प्रत्येक सर्वर की कंप्यूट क्षमता का 40% से अधिक ले रहा था। इस बॉटलनेक ने GPU उपयोग को केवल 55% तक सीमित कर दिया, जिससे प्रशिक्षण चक्र नाटकीय रूप से बढ़ गया और राजस्व-उत्पादक क्षमता कम हो गई। टीम को एक ऐसे समाधान की आवश्यकता थी जो माइक्रोसेकंड-स्केल लेटेंसी और भारी बैंडविड्थ दोनों प्रदान कर सके, साथ ही वर्कलोड-विशिष्ट ट्रैफ़िक ऑप्टिमाइज़ेशन के लिए आवश्यक प्रोग्रामेबिलिटी भी प्रदान कर सके।

एक व्यापक तकनीकी मूल्यांकन के बाद, प्रदाता ने अपने नेटवर्क परिवर्तन के आधार के रूप में NVIDIA Mellanox MCX653106A-HDAT को चुना। प्रत्येक सर्वर नोड को एक MCX653106A-HDAT ConnectX एडॉप्टर PCIe नेटवर्क कार्ड से सुसज्जित किया गया था, जिसे प्रति नोड 200 Gb/s का कुल बैंडविड्थ प्रदान करने के लिए डुअल-पोर्ट 100GbE कनेक्टिविटी के साथ कॉन्फ़िगर किया गया था।

• चरण 1 — पायलट (8 नोड्स): टीम ने GPU सर्वर के एक सबसेट पर MCX653106A-HDAT ईथरनेट एडॉप्टर कार्ड स्थापित किया, एक लॉसलेस ईथरनेट फ़ैब्रिक स्थापित करने के लिए PFC और ECN के साथ RoCEv2 को कॉन्फ़िगर किया। एडॉप्टर को एंड-टू-एंड कंजेशन मैनेजमेंट के लिए NVIDIA स्पेक्ट्रम-4 स्विच के साथ जोड़ा गया था।
• चरण 2 — सत्यापन और ट्यूनिंग: MCX653106A-HDAT डेटाशीट में प्रलेखित टेलीमेट्री डेटा का उपयोग करके, टीम ने कॉन्फ़िगरेशन को मान्य किया, DCB पैरामीटर को फाइन-ट्यून किया, और NCCL कलेक्टिव कम्युनिकेशन सेटिंग्स को ऑप्टिमाइज़ किया। एडॉप्टर की उन्नत प्रोग्रामेबिलिटी सुविधाओं ने वर्कलोड के विशिष्ट ऑल-रिड्यूस पैटर्न के लिए कस्टम ट्रैफ़िक स्टीयरिंग को सक्षम किया।
• चरण 3 — पूर्ण उत्पादन रोलआउट (256 नोड्स): सफल सत्यापन के बाद, पूरे क्लस्टर को नए एडॉप्टर में माइग्रेट कर दिया गया। समाधान की MCX653106A-HDAT संगतता ने मौजूदा सर्वर और लिनक्स वितरण के साथ निर्बाध एकीकरण सुनिश्चित किया।
• चरण 4 — निरंतर ऑप्टिमाइज़ेशन: टीम ने AI प्रशिक्षण नौकरियों के लिए प्रदर्शन को और ऑप्टिमाइज़ करने के लिए वर्कलोड-जागरूक रूटिंग नीतियों को लागू करने के लिए एडॉप्टर की इन-लाइन टेलीमेट्री और प्रोग्रामेबल डेटा-पाथ का लाभ उठाया।

टीम ने नोट किया कि MCX653106A-HDAT ईथरनेट एडॉप्टर कार्ड समाधान ने एक सीधा माइग्रेशन पथ प्रदान किया, क्योंकि QSFP56 पोर्ट ने 100GbE और 25GbE दोनों ऑप्टिक्स का समर्थन किया, जिससे मौजूदा कनेक्टिविटी को बाधित किए बिना एक सहज संक्रमण संभव हुआ।

इन मात्रात्मक लाभों से परे, प्रदाता ने महत्वपूर्ण परिचालन लाभ देखे। प्रशिक्षण रन जिन्हें पहले 14 दिनों की आवश्यकता थी, वे केवल 4.5 दिनों में पूरे हो गए, जिससे नई AI सेवाओं के लिए बाज़ार में आने का समय नाटकीय रूप से बढ़ गया। एडॉप्टर के प्रोग्रामेबल डेटा-पाथ ने प्राथमिकता प्रवाह के लिए कस्टम ट्रैफ़िक शेपिंग को सक्षम किया, यह सुनिश्चित करते हुए कि महत्वपूर्ण कलेक्टिव कम्युनिकेशन ट्रैफ़िक को कभी भी विवाद का अनुभव न हो। निवेश पर रिटर्न का मूल्यांकन करने वाले संगठनों के लिए, MCX653106A-HDAT की कीमत 3* थ्रूपुट लाभ और 18 महीने से अधिक के लिए अतिरिक्त सर्वर अधिग्रहण को स्थगित करने की क्षमता से पूरी तरह से उचित साबित हुई। टीम ने यह भी नोट किया कि MCX653106A-HDAT बिक्री के लिए NVIDIA स्पेक्ट्रम-4 स्विच के साथ बंडल ने बड़े पैमाने पर परिनियोजन के लिए सबसे अनुकूल अर्थशास्त्र की पेशकश की।

प्रदाता ने MCX653106A-HDAT विनिर्देशों में विस्तृत व्यापक टेलीमेट्री क्षमताओं का भी लाभ उठाया ताकि भविष्य कहनेवाला प्रदर्शन मॉडल और स्वचालित कंजेशन शमन रणनीतियों का निर्माण किया जा सके, जिससे परिचालन दक्षता में और वृद्धि हुई।

यह उत्पादन-स्केल परिनियोजन दर्शाता है कि NVIDIA Mellanox MCX653106A-HDAT आधुनिक AI और क्लाउड इंफ्रास्ट्रक्चर के लिए एक परिवर्तनकारी घटक है। 200 Gb/s कुल बैंडविड्थ, सब-0.3 मिलीसेकंड कलेक्टिव कम्युनिकेशन लेटेंसी, और व्यापक हार्डवेयर ऑफ़लोड का संयोजन GPU-त्वरित वर्कलोड के लिए लगभग रैखिक स्केलिंग को सक्षम बनाता है। एक एंड-टू-एंड MCX653106A-HDAT ईथरनेट एडॉप्टर कार्ड समाधान के रूप में, यह नेटवर्क बॉटलनेक को समाप्त करता है जिसने ऐतिहासिक रूप से वितरित प्रशिक्षण दक्षता और क्लाउड सेवा वितरण को सीमित किया है।

आगे देखते हुए, क्लाउड प्रदाता कई टेनेंट वातावरणों में वर्कलोड-विशिष्ट ऑप्टिमाइज़ेशन के लिए अतिरिक्त डेटा-पाथ प्रोग्रामेबिलिटी लागू करने के लिए NVIDIA DOCA के साथ विस्तारित एकीकरण की खोज कर रहा है। वे अगली पीढ़ी के स्वचालित प्रदर्शन प्रबंधन प्रणालियों को विकसित करने के लिए एडॉप्टर की इन-लाइन टेलीमेट्री का भी लाभ उठा रहे हैं — जो MCX653106A-HDAT डेटाशीट में बड़े पैमाने पर प्रलेखित है। NVIDIA Mellanox MCX653106A-HDAT उनके AI इंफ्रास्ट्रक्चर रोडमैप का आधार बन गया है, जो अगली पीढ़ी के फाउंडेशन मॉडल प्रशिक्षण और रीयल-टाइम एनालिटिक्स सेवाओं के लिए एक मजबूत, स्केलेबल प्लेटफ़ॉर्म प्रदान करता है।