NVIDIA Mellanox MQM9790-NS2F एक्शन मेंः एआई और एचपीसी क्लस्टर के लिए कम विलंबता आरडीएमए फैब्रिक का निर्माण

NVIDIA Mellanox MQM9790-NS2F एक्शन में: AI और HPC क्लस्टर के लिए लो-लेटेंसी RDMA फैब्रिक का निर्माण

पृष्ठभूमि और चुनौती: जब स्केल-आउट बॉटलनेक बन जाता है

जैसे-जैसे बड़े भाषा मॉडल हजारों से दसियों हजार जीपीयू तक स्केल करते हैं, और मौसम सिमुलेशन किलोमीटर-स्केल रिज़ॉल्यूशन की ओर बढ़ते हैं, पारंपरिक ईथरनेट फैब्रिक की सीमाएं स्पष्ट रूप से दिखाई देने लगती हैं। इन वातावरणों में, MPI कलेक्टिव कम्युनिकेशन पैटर्न - जैसे ऑल-रिड्यूस और ऑल-टू-ऑल - नेटवर्क लेटेंसी और कंजेशन कंट्रोल पर अत्यधिक मांग डालते हैं। एक उद्देश्य-निर्मित इंटरकनेक्ट के बिना, सबसे शक्तिशाली कंप्यूट नोड्स भी डेटा की प्रतीक्षा में अपने चक्रों का एक महत्वपूर्ण हिस्सा खर्च करते हैं, प्रभावी रूप से महंगे जीपीयू संसाधनों को बर्बाद करते हैं।

यह ठीक वही चुनौती है जिसका सामना NVIDIA Mellanox MQM9790-NS2F करता है। 64 OSFP पोर्ट वाले 400Gb/s NDR InfiniBand स्विच के रूप में, इसे हजारों एंडपॉइंट्स पर सब-माइक्रोसेकंड लेटेंसी प्रदान करने के लिए डिज़ाइन किया गया है, जो वितरित वर्कलोड के लिए वास्तविक लीनियर स्केलिंग को सक्षम करता है।

समाधान और परिनियोजन: RDMA के लिए निर्मित लीफ-स्पाइन फैब्रिक

एक बड़े AI अनुसंधान प्रयोगशाला के लिए एक विशिष्ट परिनियोजन परिदृश्य में, MQM9790-NS2F InfiniBand स्विच एक दो-स्तरीय लीफ-स्पाइन टोपोलॉजी का मूल बनता है। लीफ लेयर पर, प्रत्येक कंप्यूट रैक एक या दो MQM9790-NS2F इकाइयों से सुसज्जित होता है, जो OSFP-to-OSFP डायरेक्ट-अटैच कॉपर केबल या एक्टिव ऑप्टिकल केबल के माध्यम से जीपीयू सर्वर तक 400Gb/s कनेक्टिविटी के 64 पोर्ट प्रदान करता है। स्पाइन लेयर पर, अतिरिक्त MQM9790-NS2F स्विच लीफ को इंटरकनेक्ट करते हैं, जिससे पूर्ण बिसेक्शन बैंडविड्थ के साथ एक नॉन-ब्लॉकिंग फैट-ट्री फैब्रिक बनता है।

जो बात इस समाधान को विशेष रूप से आकर्षक बनाती है, वह है InfiniBand मोड में काम करते समय स्विच का RDMA over Converged Ethernet (RoCE) के लिए मूल समर्थन - हालांकि यहां यह और भी कम लेटेंसी और सीपीयू ऑफलोड के लिए InfiniBand की मूल RDMA क्षमताओं का लाभ उठाता है। MQM9790-NS2F 400Gb/s NDR 64-पोर्ट OSFP NVIDIA के SHARPv3 (स्केलेबल हायरार्किकल एग्रीगेशन एंड रिडक्शन प्रोटोकॉल) तकनीक को एकीकृत करता है, जो सीधे स्विच फैब्रिक पर कलेक्टिव ऑपरेशंस को ऑफलोड करता है। व्यवहार में, इसका मतलब है कि एक ऑल-रिड्यूस ऑपरेशन जो सामान्य रूप से नेटवर्क पर कई बार यात्रा करता था, अब एक ही पास में पूरा हो जाता है, जिससे संचार-गहन वर्कलोड के लिए जॉब पूर्णता समय 30% तक कम हो जाता है।

नेटवर्क आर्किटेक्ट्स के लिए जो MQM9790-NS2F InfiniBand स्विच समाधान का मूल्यांकन कर रहे हैं, NVIDIA के यूनिफाइड फैब्रिक मैनेजर (UFM) द्वारा परिनियोजन प्रक्रिया को सुव्यवस्थित किया गया है। UFM फैब्रिक स्वास्थ्य में केंद्रीकृत दृश्यता, स्वचालित टोपोलॉजी खोज और सक्रिय कंजेशन मॉनिटरिंग प्रदान करता है - 2,000 से अधिक पोर्ट वाले फैब्रिक के प्रबंधन के लिए महत्वपूर्ण क्षमताएं। शुरुआती अपनाने वालों ने बताया है कि MQM9790-NS2F संगत इकोसिस्टम, जिसमें NVIDIA-प्रमाणित केबल और ट्रांसीवर की एक विस्तृत श्रृंखला शामिल है, खरीद को सरल बनाता है और परिनियोजन जोखिम को कम करता है।

परिणाम और मापने योग्य लाभ: सिद्धांत से उत्पादन वास्तविकता तक

बड़े पैमाने पर ट्रांसफार्मर मॉडल प्रशिक्षण के लिए समर्पित 2,048-जीपीयू क्लस्टर के लिए हाल ही में एक उत्पादन परिनियोजन में, HDR (200Gb/s) से NDR (400Gb/s) इन्फ्रास्ट्रक्चर में अपग्रेड - जिसके केंद्र में NVIDIA Mellanox MQM9790-NS2F है - ने कई आयामों में मापने योग्य सुधार किए:

• जॉब पूर्णता समय में कमी: 175B-पैरामीटर मॉडल के लिए एंड-टू-एंड प्रशिक्षण पुनरावृति 28% कम हो गई, जिसका श्रेय काफी हद तक SHARPv3 ऑफलोडिंग और कम टेल लेटेंसी को जाता है।
• नेटवर्क उपयोग: स्विच के उन्नत अनुकूली रूटिंग और कंजेशन कंट्रोल तंत्र के कारण, औसत फैब्रिक उपयोग 62% से बढ़कर 89% हो गया, बिना कंजेशन कोलैप्स को ट्रिगर किए।
• परिचालन सरलता: प्रति स्विच 64 पोर्ट के साथ, 32-पोर्ट HDR डिज़ाइन की तुलना में आवश्यक स्पाइन स्विच की संख्या आधी कर दी गई, जिससे प्रति रैक केबलिंग जटिलता और बिजली की खपत में काफी कमी आई।

MQM9790-NS2F विनिर्देशों के अनुसार, स्विच सब-100ns पोर्ट-टू-पोर्ट लेटेंसी प्रदान करता है और 51.2Tb/s तक के कुल स्विचिंग क्षमता का समर्थन करता है - ये आंकड़े इस परिनियोजन में देखे गए प्रदर्शन के करीब हैं। नेटवर्क इंजीनियरों ने यह भी नोट किया कि MQM9790-NS2F डेटाशीट ने वास्तविक दुनिया के प्रदर्शन को सटीक रूप से दर्शाया, सत्यापन चरण के दौरान कोई आश्चर्य नहीं हुआ।

TCO दृष्टिकोण से, प्रति स्विच टियर अधिक एंडपॉइंट्स को समेकित करने की क्षमता ने सीधे पूंजीगत व्यय को कम कर दिया। जबकि प्रारंभिक MQM9790-NS2F मूल्य बिंदु समकक्ष 200Gb/s समाधानों से अधिक हैं, उच्च रेडिक्स और स्विच परतों की कम संख्या के कारण प्रति-जीपीयू नेटवर्किंग लागत वास्तव में कम हो गई। यह आर्थिक लाभ, प्रदर्शन लाभ के साथ मिलकर, प्रयोगशाला की स्टीयरिंग कमेटी के लिए व्यावसायिक मामला स्पष्ट कर दिया।

सारांश और आउटलुक: एक्सस्केल कंप्यूटिंग के लिए NDR फाउंडेशन

NVIDIA Mellanox MQM9790-NS2F एक वृद्धिशील अपग्रेड से कहीं अधिक है - यह HPC और AI क्लस्टर के डिजाइन के तरीके में एक मौलिक बदलाव का प्रतिनिधित्व करता है। 400Gb/s NDR बैंडविड्थ, 64-पोर्ट घनत्व, और इन-नेटवर्क कंप्यूट एक्सेलेरेशन को एक ही 1U फॉर्म फैक्टर में प्रदान करके, यह आर्किटेक्ट्स को प्रदर्शन या प्रबंधन क्षमता से समझौता किए बिना दसियों हजार एंडपॉइंट्स तक स्केल करने वाले फैब्रिक बनाने में सक्षम बनाता है।

आगे देखते हुए, जैसे-जैसे वर्कलोड उच्च बैंडविड्थ और कम लेटेंसी की मांग करते रहेंगे, MQM9790-NS2F InfiniBand स्विच अगली पीढ़ी के एक्सस्केल सिस्टम के लिए मूलभूत बिल्डिंग ब्लॉक के रूप में काम करेगा। मौजूदा NVIDIA Quantum-2 प्लेटफार्मों के साथ इसकी संगतता और UFM के साथ निर्बाध एकीकरण HDR फैब्रिक से अपग्रेड करने वाले संगठनों के लिए एक सुचारू प्रवासन पथ सुनिश्चित करता है। अपने अगले-जेनरेशन नेटवर्किंग निवेशों का मूल्यांकन करने वाले आईटी प्रबंधकों और आर्किटेक्ट्स के लिए, MQM9790-NS2F एक सिद्ध, उत्पादन-तैयार समाधान प्रदान करता है जो लो-लेटेंसी RDMA इंटरकनेक्ट ऑप्टिमाइज़ेशन के वादे को पूरा करता है।