NVIDIA Mellanox MQM8790-HS2F InfiniBand स्विच उत्पादन में | आरडीएमए/एचपीसी/एआई के लिए कम विलंबता इंटरकनेक्ट का अनुकूलन

चूंकि बड़े भाषा मॉडल प्रशिक्षण और एक्सास्केल एचपीसी सिमुलेशन जीपीयू क्लस्टर को हजारों नोड्स की ओर ले जाते हैं, पारंपरिक ईथरनेट फैब्रिक टेल विलंबता और इनकास्ट कंजेशन के साथ संघर्ष करते हैं। एक राष्ट्रीय एआई कंप्यूटिंग केंद्र ने हाल ही में इसे तैनात करके इस चुनौती से निपटाNVIDIA मेलानॉक्स MQM8790-HS2FInfiniBand उनके 800‑नोड GPU विस्तार की रीढ़ के रूप में स्विच करता है। यह आलेख क्लस्टर इंटरकनेक्ट प्रदर्शन को अनुकूलित करने के लिए आरडीएमए और इन-नेटवर्क कंप्यूटिंग का उपयोग करते हुए बाधाओं से मापने योग्य लाभ तक - उनकी वास्तविक दुनिया की यात्रा पर चलता है।

पृष्ठभूमि और चुनौती: जब नेटवर्क एआई बाधा बन जाता है

केंद्र का पुराना 400‑नोड क्लस्टर 100Gb/s RoCEv2 ईथरनेट पर चलता है। जैसे-जैसे कार्यभार सीएनएन मॉडल से ट्रिलियन-पैरामीटर एलएलएम में स्थानांतरित हुआ, क्रॉस-नोड संचार विलंबता आसमान छू गई। ऑल-रिड्यूस ऑपरेशन के दौरान, नेटवर्क प्रतीक्षा समय कुल पुनरावृत्ति समय का 40% से अधिक खर्च हुआ। आर्किटेक्ट्स को मौजूदा QSFP56 ऑप्टिक्स का पुन: उपयोग करते समय सब-माइक्रोसेकंड विलंबता, दोषरहित प्रवाह नियंत्रण और मूल आरडीएमए समर्थन प्रदान करने वाले प्लेटफ़ॉर्म की आवश्यकता थी। कई विकल्पों का मूल्यांकन करने के बाद,MQM8790-HS2F इनफिनीबैंड स्विचयह अपने 200Gb/s HDR बैंडविड्थ और 40‑पोर्ट उच्च-घनत्व डिज़ाइन के साथ सबसे अलग है।

समाधान और परिनियोजन: एचडीआर फैट-ट्री MQM8790-HS2F पर निर्मित

नया इंटरकनेक्ट दो-परत फैट-ट्री टोपोलॉजी को अपनाता है, जो 24 इकाइयों को तैनात करता हैNVIDIA मेलानॉक्स MQM8790-HS2Fकोर और पत्ती की परतों में। प्रत्येक स्विच 200Gb/s प्रति दिशा पर चलने वाले 40 QSFP56 पोर्ट प्रदान करता है, जो 16Tb/s की नॉन-ब्लॉकिंग स्विचिंग क्षमता प्रदान करता है। इंजीनियरों ने इसका पालन कियाMQM8790-HS2F डेटाशीटऔरMQM8790-HS2F विशिष्टताएँअनुकूली रूटिंग और उन्नत भीड़ नियंत्रण को सक्षम करने के लिए। प्रत्येक GPU नोड HDR ConnectX‑6 एडेप्टर के माध्यम से जुड़ता है, शून्य-कॉपी डेटा ट्रांसफर के लिए देशी InfiniBand RDMA का लाभ उठाता है - संचार में 95% से अधिक CPU भागीदारी को ऑफलोड करता है।

केंद्र ने कई को आरक्षित भी कियाMQM8790-HS2F 200Gb/s HDR 40-पोर्ट QSFP56इन-सीटू कंप्यूटिंग ज़ोन के लिए इकाइयाँ। SHARP (स्केलेबल पदानुक्रमित एकत्रीकरण और कटौती प्रोटोकॉल) के साथ, ऑल-रिड्यूस जैसे सामूहिक संचालन को सर्वर से सीधे स्विच नेटवर्क पर लोड किया जाता है। 128-जीपीयू प्रशिक्षण में, एआई ढांचे में किसी भी कोड परिवर्तन के बिना संचार समय में 32% की कटौती हुई।

परिणाम और लाभ: कम विलंबता, उच्च थ्रूपुट, नियंत्रित टीसीओ

पोस्ट-परिनियोजन मेट्रिक्स ने नाटकीय सुधार दिखाया:

• पॉइंट-टू-पॉइंट विलंबता:MPI पिंगपोंग परीक्षण 200Gb/s HDR लिंक पर ~0.9μs मापा गया - जो पुराने RoCE सेटअप से 65% कम है।
• सामूहिक संचार दक्षता:512‑GPU स्केल पर, ऑल‑Reduce केवल 18.3ms में पूरा हुआ, जो पिछली बेसलाइन की तुलना में 52% की कमी है।
• नेटवर्क का उपयोग करना:अनुकूली रूटिंग ने लिंक लोड संतुलन को 92% से ऊपर रखा, लगभग कोई भीड़-भाड़ वाले हॉटस्पॉट नहीं थे।
• खरीद एवं संचालन:MQM8790-HS2F कीमतप्रति पोर्ट प्रतिस्पर्धी 200G समाधानों की तुलना में लगभग 12% कम था। इसके अतिरिक्त,MQM8790-HS2F संगतऑप्टिक्स मानक QSFP56 मॉड्यूल हैं, जो मौजूदा केबलिंग के पूर्ण पुन: उपयोग की अनुमति देते हैं।

“में जाने के बादMQM8790-HS2F InfiniBand स्विच समाधानकेंद्र के प्रमुख वास्तुकार ने कहा, "हमने अंततः ट्रिलियन-पैरामीटर मॉडल प्रशिक्षण पर लगभग-रैखिक स्केलिंग (0.9 दक्षता) हासिल की।" नेटवर्क अब बाधा नहीं है - हम संचार शेड्यूलिंग के बजाय मॉडल आर्किटेक्चर नवाचार पर ध्यान केंद्रित कर सकते हैं।

निष्कर्ष और आउटलुक: एक्सास्केल इंटरकनेक्ट्स के लिए कोर बिल्डिंग ब्लॉक

यह वास्तविक दुनिया का मामला दर्शाता है किएमक्यूएम8790-एचएस2एफउच्च बंदरगाह घनत्व से कहीं अधिक है। 200 जीबी/एस एचडीआर, देशी आरडीएमए, शार्प इन-नेटवर्क कंप्यूट और अनुकूली रूटिंग के साथ, यह आज के एआई/एचपीसी क्लस्टर में कम विलंबता इंटरकनेक्ट समस्या बिंदुओं को सीधे संबोधित करता है। चाहे आप यूनिवर्सिटी सुपरकंप्यूटिंग सेंटर की योजना बना रहे हों या एंटरप्राइज एआई क्लाउड को अपग्रेड कर रहे होंNVIDIA मेलानॉक्स MQM8790-HS2Fप्रदर्शन, अनुकूलता और लागत पूर्वानुमान को मिलाकर एक संतुलित मार्ग प्रदान करता है। स्विच अब बड़े पैमाने पर उत्पादन में है। विस्तृत डिज़ाइन संदर्भों के लिए, अधिकारी से अनुरोध करेंMQM8790-HS2F डेटाशीटNVIDIA के भागीदार पोर्टल से। वास्तविक समय सूची के लिए याबिक्री के लिए MQM8790-HS2Fपूछताछ, मूल्य निर्धारण और तकनीकी सहायता के लिए अधिकृत समाधान प्रदाताओं से संपर्क करें।