NVIDIA Mellanox MQM8790-HS2F InfiniBand स्विच तकनीकी संदर्भ

यह तकनीकी श्वेत पत्र नेटवर्क आर्किटेक्ट्स, प्री-सेल्स इंजीनियरों और ऑपरेशंस लीड के लिए है। पर केन्द्रित हैNVIDIA मेलानॉक्स MQM8790-HS2Fइनफिनीबैंड स्विच, यह उच्च-प्रदर्शन वाले फैब्रिक के डिजाइन, तैनाती और संचालन के लिए एक विस्तृत संदर्भ प्रदान करता है जो बड़े पैमाने पर एआई प्रशिक्षण और एचपीसी सिमुलेशन प्रदान करता है - आरडीएमए त्वरण और नियतात्मक कम-विलंबता संचार पर ध्यान देने के साथ।

आधुनिक एआई और एचपीसी वर्कलोड जीपीयू क्लस्टर को हजारों नोड्स की ओर ले जा रहे हैं। पारंपरिक ईथरनेट कपड़े, आरओसीई के साथ भी, इनकास्ट पैटर्न के तहत प्रदर्शन विसंगतियों को प्रदर्शित करते हैं और उच्च सीपीयू ओवरहेड से पीड़ित होते हैं। अगली पीढ़ी के क्लस्टर इंटरकनेक्ट के लिए मुख्य आवश्यकताओं में शामिल हैं:

• सिंक्रनाइज़ सामूहिक संचालन के लिए उप-माइक्रोसेकंड पॉइंट-टू-पॉइंट विलंबता
• टेल-टाइमआउट स्ट्रगलर्स को रोकने के लिए दोषरहित, भीड़-भाड़-मुक्त परिवहन
• सीपीयू/जीपीयू कोर से संचार प्रसंस्करण का पूरा भार
• नॉन-ब्लॉकिंग बैंडविड्थ के साथ स्केलेबल फैट-ट्री या ड्रैगनफ्लाई+ टोपोलॉजी
• मौजूदा 100G/200G ऑप्टिक्स से लागत प्रभावी माइग्रेशन पथ

इन मांगों को संबोधित करते हुए,MQM8790-HS2F इनफिनीबैंड स्विचप्रति पोर्ट 200 जीबी/एस एचडीआर, प्रति यूनिट 40 क्यूएसएफपी56 पोर्ट और आरडीएमए और इन-नेटवर्क कंप्यूटिंग के लिए मूल समर्थन प्रदान करता है। यह समाधान ऐसे वातावरण के लिए बनाया गया है जहां इंटरकनेक्ट दक्षता सीधे काम पूरा होने के समय और टीसीओ में तब्दील हो जाती है।

का उपयोग करते हुए AI/HPC क्लस्टर के लिए अनुशंसित भौतिक टोपोलॉजीNVIDIA मेलानॉक्स MQM8790-HS2Fएक दो-स्तरीय या तीन-स्तरीय वसा-वृक्ष है (जिसे पत्ती-रीढ़ के रूप में भी जाना जाता है)। प्रत्येक लीफ स्विच एचडीआर या एचडीआर100 लिंक के माध्यम से जीपीयू सर्वर से जुड़ता है, जबकि स्पाइन स्विच पत्तियों के बीच पूर्ण-मेष कनेक्टिविटी प्रदान करता है। एक सामान्य 800‑GPU कॉन्फ़िगरेशन निम्न को नियोजित करता है:

• 20 लीफ स्विच: प्रत्येकMQM8790-HS2F 200Gb/s HDR 40-पोर्ट QSFP5620 सर्वर तक सेवा (दोहरी रेल कनेक्शन)
• 4 स्पाइन स्विच: 200 जीबी/एस अपलिंक का उपयोग करके पत्तियों के साथ पूरी तरह से जुड़े हुए
• प्रत्येक स्तर पर 1:1 का गैर-अवरुद्ध अनुपात

बड़े समूहों (2,000+ जीपीयू) के लिए, एक तीन-स्तरीय आर्किटेक्चर एक सुपर-स्पाइन परत जोड़ता है। सभी फैब्रिक प्रबंधन को सबनेट मैनेजर (एसएम) द्वारा नियंत्रित किया जाता है - या तो एक समर्पित नियंत्रक पर चल रहा है या छोटे फैब्रिक के लिए स्विच फर्मवेयर में एम्बेडेड है।

इस वास्तुकला के भीतर,एमक्यूएम8790-एचएस2एफपत्ती और रीढ़ तत्व दोनों के रूप में कार्य करता है। इसके मुख्य विभेदकों में शामिल हैं:

• प्रति पोर्ट 200 जीबी/एस एचडीआर:16Tb/s समग्र गैर-अवरुद्ध स्विचिंग क्षमता के साथ पूर्ण द्विदिश थ्रूपुट
• अनुकूली रूटिंग (एआर):फैट-ट्री दक्षता के लिए महत्वपूर्ण हॉटस्पॉट से बचने के लिए ट्रैफ़िक को कई पथों पर गतिशील रूप से वितरित करता है
• SHARPv2 (स्केलेबल पदानुक्रमित एकत्रीकरण और न्यूनीकरण प्रोटोकॉल):सामूहिक संचालन (ऑल‑रिड्यूस, रिड्यूस‑स्कैटर) को सीधे स्विच नेटवर्क में ऑफ़लोड करता है, जिससे GPU निष्क्रिय समय कम हो जाता है
• भीड़भाड़ नियंत्रण:एफईसीएन/बीईसीएन तंत्र के साथ महीन दाने वाला प्रवाह नियंत्रण दोषरहित कपड़े को सुनिश्चित करता है
• उच्च बंदरगाह घनत्व:प्रति 1U चेसिस में 40 QSFP56 पोर्ट, रैक लेआउट को सरल बनाना और इंटर-रैक केबलिंग जटिलता को कम करना

इंजीनियर इसका उल्लेख कर सकते हैंMQM8790-HS2F डेटाशीटऔरMQM8790-HS2F विशिष्टताएँविस्तृत पावर, थर्मल और विलंबता संख्या के लिए। मंच भी हैMQM8790-HS2F संगतएचडीआर, एचडीआर100 और यहां तक ​​कि ईडीआर ऑप्टिक्स की एक विस्तृत श्रृंखला के साथ, क्रमिक उन्नयन को सक्षम करना।

संतुलित 1,000‑GPU AI क्लस्टर के लिए, निम्नलिखित परिनियोजन अनुक्रम की अनुशंसा की जाती है:

• चरण 1 - पत्ती की परत:25x स्थापित करेंएमक्यूएम8790-एचएस2एफलीफ स्विच के रूप में इकाइयाँ। प्रत्येक जीपीयू सर्वर (प्रति सर्वर 8 जीपीयू) को दो एचडीआर पोर्ट के माध्यम से अतिरेक और बैंडविड्थ के लिए दो अलग-अलग पत्तों से कनेक्ट करें।
• चरण 2 - रीढ़ की हड्डी की परत:8x तैनात करेंNVIDIA मेलानॉक्स MQM8790-HS2Fजैसे रीढ़ की हड्डी बदल जाती है। 200Gb/s लिंक (प्रति पत्ती 40 अपलिंक, लेकिन आमतौर पर ब्लॉकिंग अनुपात ≤1:1 बनाए रखने के लिए पर्याप्त उपसमूह) का उपयोग करके प्रत्येक पत्ती को प्रत्येक रीढ़ से कनेक्ट करें।
• चरण 3 - सबनेट मैनेजर प्लेसमेंट:दो हल्के सर्वरों पर निरर्थक एसएम इंस्टेंस चलाएं या 2,000 पोर्ट के तहत क्लस्टर के लिए एम्बेडेड एसएम का उपयोग करें।
• चरण 4 - विभाजन:एक ही भौतिक संरचना पर उत्पादन, विकास और भंडारण यातायात प्रवाह को अलग करने के लिए InfiniBand विभाजन का उपयोग करें।

2,500+ जीपीयू तक विस्तार के लिए, अतिरिक्त MQM8790-HS2F इकाइयों का उपयोग करके एक सुपर-स्पाइन परत जोड़ें और लीफ-टू-स्पाइन अपलिंक घनत्व बढ़ाएं।MQM8790-HS2F InfiniBand स्विच समाधानकोर को पुनः आर्किटेक्चर किए बिना रैखिक रूप से स्केल करता है।

निर्मित कपड़े का दैनिक संचालनएमक्यूएम8790-एचएस2एफस्विचों को NVIDIA के फैब्रिक मैनेजर और MLNX‑OS के माध्यम से प्रबंधित किया जाता है। प्रमुख प्रथाओं में शामिल हैं:

• निगरानी:टोपोलॉजी सत्यापन के लिए `ibdiagnet`, पोर्ट काउंटरों के लिए `perfquery`, और वास्तविक समय टेलीमेट्री (लिंक उपयोग, प्रतीक त्रुटियां, कंजेशन मार्कर) के लिए प्रोमेथियस निर्यातकों के साथ ग्राफाना डैशबोर्ड का उपयोग करें।
• फ़र्मवेयर और सॉफ़्टवेयर:सभी स्विचों में लगातार फर्मवेयर बनाए रखें। में नवीनतम रिलीज़ नोट्स देखेंMQM8790-HS2F डेटाशीटसंस्करण अनुकूलता के लिए.
• समस्या निवारण:सामान्य समस्याएँ—लिंक फ़्लैपिंग, बेमेल एमटीयू, या विभाजन गलत कॉन्फ़िगरेशन—`ibstatus`, `smpquery`, और स्विच syslog का उपयोग करके तुरंत अलग कर दी जाती हैं। अनुकूली रूटिंग लॉग भीड़भाड़ वाले स्रोतों का पता लगा सकते हैं।
• अनुकूलन:वर्कलोड प्रोफाइलिंग के आधार पर अनुकूली रूटिंग थ्रेशोल्ड और कंजेशन नियंत्रण पैरामीटर को ट्यून करें। बड़े पैमाने पर एआई प्रशिक्षण के लिए, लागू एमपीआई पुस्तकालयों पर शार्प सक्षम करें (उदाहरण के लिए, शार्प प्लगइन के साथ एनसीसीएल)।

बजट या विस्तार की योजना बनाते समय अनुरोध करेंMQM8790-HS2F कीमतअधिकृत साझेदारों से उद्धरण लें और सत्यापित करेंबिक्री के लिए MQM8790-HS2Fउपलब्धता. मौजूदा QSFP56 केबलिंग के साथ प्लेटफ़ॉर्म की अनुकूलता खरीद जोखिम को कम करती है।

एमक्यूएम8790-एचएस2एफयह सिर्फ एक स्विच नहीं है - यह नियतात्मक, कम विलंबता एचपीसी और एआई फैब्रिक्स के लिए एक मूलभूत बिल्डिंग ब्लॉक है। इसका 200 जीबी/एस एचडीआर, 40‑पोर्ट घनत्व, अनुकूली रूटिंग और शार्प इन‑नेटवर्क कंप्यूट का संयोजन सीधे आधुनिक क्लस्टर इंटरकनेक्ट के प्रमुख समस्या बिंदुओं को संबोधित करता है। वैकल्पिक 200G ईथरनेट समाधानों की तुलना में, InfiniBand पारिस्थितिकी तंत्र प्रदान करता है:

• कम सीपीयू ओवरहेड (हार्डवेयर ट्रांसपोर्ट ऑफलोड के साथ सच्चा आरडीएमए)
• वास्तविक लोड के तहत नियतात्मक माइक्रोसेकंड-स्केल विलंबता
• केंद्रीकृत सबनेट मैनेजर के साथ सरलीकृत फैब्रिक प्रबंधन
• हज़ारों अंतिम बिंदुओं तक सिद्ध मापनीयता

GPU क्लस्टर बनाने या विस्तारित करने वाले संगठनों के लिए, अपनानाNVIDIA मेलानॉक्स MQM8790-HS2Fइसका अर्थ है प्रति डॉलर उच्च प्रभावी फ्लॉप्स प्राप्त करना, कार्य पूरा करने का समय कम करना, और भविष्य में अगली पीढ़ी के HDR200 (400Gb/s) अपग्रेड के लिए इंटरकनेक्ट को प्रूफ करना। पूर्ण सहित विस्तृत संदर्भ डिज़ाइनMQM8790-HS2F विशिष्टताएँऔर केबलिंग मैट्रिसेस, NVIDIA पार्टनर पोर्टल के माध्यम से उपलब्ध हैं।