मेलानॉक्स (एनवीआईडीआईए मेलानॉक्स) 920-9B110-00FH-0D0 इनफिनीबैंड स्विच इन एक्शन - लो-लेटेंसी इंटरकनेक्ट ऑप्टिमाइज़ेशन
July 13, 2026
मेलनॉक्स (NVIDIA Mellanox) 920-9B110-00FH-0D0 इनफिनिबैंड स्विच इन एक्शन ¢ आरडीएमए/एचपीसी/एआई क्लस्टर के लिए कम विलंबता इंटरकनेक्ट अनुकूलन
एक क्षेत्रीय सुपरकंप्यूटिंग केंद्र ने हाल ही में अपने एआई कंप्यूटिंग बुनियादी ढांचे में एक प्रमुख उन्नयन किया,बड़े पैमाने पर भाषा मॉडल प्रशिक्षण और जीनोमिक अनुक्रमण कार्यभारों का समर्थन करने के लिए 64 से 256 NVIDIA A100 GPU का विस्तारहालांकि, मौजूदा 100GbE RoCEv2 नेटवर्क एक निरंतर बाधा बन गया ∙ लगातार पीएफसी तूफान, अप्रत्याशित टेल लेटेंसी,और जटिल ईसीएन ट्यूनिंग ने महत्वपूर्ण इंजीनियरिंग प्रयास का उपभोग किया और 40% से अधिक समय तक कार्य पूरा करने का समय बढ़ायाइस केस स्टडी में इस बात की जांच की गई है कि केंद्र नेमेलनॉक्स (NVIDIA Mellanox) 920-9B110-00FH-0D0आरडीएमए-गहन अनुप्रयोगों के लिए निर्धारक कम विलंबता इंटरकनेक्ट प्रदान करते हुए अपने कपड़े को बदलने के लिए इनफिनिबैंड स्विच।
पृष्ठभूमि और चुनौतियाँ ️ ईथरनेट छत
केंद्र की प्रारंभिक वास्तुकला में RoCEv2 के साथ दो 100GbE लीफ स्विच का उपयोग किया गया था, जो GPU सर्वर और एक समानांतर फ़ाइल सिस्टम को जोड़ता था। जैसे-जैसे प्रशिक्षण कार्य बढ़ते गए, नेटवर्क में तीन महत्वपूर्ण समस्याएं दिखाई दींःपहले, PFC (प्राथमिकता प्रवाह नियंत्रण) गतिरोध दैनिक रूप से हुआ, मैन्युअल रीसेट को मजबूर करना; दूसरा, सभी-कम सामूहिक संचालन में 200 μs से अधिक की पूंछ विलंबता का अनुभव हुआ, सीधे GPU उपयोग को धीमा करना;तीसरा, समस्या निवारण के लिए गहरे पैकेट निरीक्षण की आवश्यकता थी, जो समय लेने वाला और शायद ही कभी निर्णायक था।और (उस वक्त) ज़ालिमों को (कुछ भी) नहीं दे सकते थे, अगली पीढ़ी के एआई वर्कलोड के लिए आवश्यक निर्धारक कपड़े।
समाधान और तैनाती920-9B110-00FH-0D0 InfiniBand स्विच OPNनई रीढ़ के रूप में
कई विकल्पों का मूल्यांकन करने के बाद, केंद्र नेNVIDIA Mellanox 920-9B110-00FH-0D0स्विच, के आधार पर920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDRयह तैनाती दो-स्तरीय फैट-ट्री टोपोलॉजी का उपयोग करती हैः चार920-9B110-00FH-0D0पत्तियों के रूप में स्विच (प्रत्येक 200G लिंक के माध्यम से 64 जीपीयू नोड्स को जोड़ता है) और दो अतिरिक्त इकाइयों को स्पाइन के रूप में, पूर्ण bisection बैंडविड्थ प्रदान करता है। स्विच को मौजूदा कनेक्टएक्स-6 एचडीआर एडेप्टर के साथ जोड़ा गया था,लाभ उठाना920-9B110-00FH-0D0 संगतमुख्य निर्णयों में निम्नलिखित शामिल थे:
- केबलिंग:200G एचडीआर ऑप्टिकल मॉड्यूल 100 मीटर तक की दूरी के लिए, रैक के भीतर कनेक्शन के लिए निष्क्रिय डीएसी के साथ।
- प्रबंधन:एनवीआईडीआईए यूएफएम (एकीकृत कपड़े प्रबंधक) स्वचालित टोपोलॉजी खोज, अनुकूली रूटिंग नीतियों और वास्तविक समय टेलीमेट्री के लिए।
- सामूहिक ढोना:SHARPv2 ने सभी-कम संचालन को तेज करने, मेजबान सीपीयू से काम को ऑफलोड करने और नेटवर्क चैट को कम करने में सक्षम बनाया।
टीम ने संदर्भ दिया920-9B110-00FH-0D0 डेटाशीटऔर920-9B110-00FH-0D0 विनिर्देशबिजली और शीतलन की आवश्यकताओं को मान्य करने के लिए, स्विच के 1U फॉर्म फैक्टर और 200G प्रति पोर्ट घनत्व को अतिरिक्त बुनियादी ढांचे के परिवर्तन के बिना मौजूदा रैक में अच्छी तरह से फिट किया जाता है।920-9B110-00FH-0D0 InfiniBand स्विच OPN समाधानखरीदारी को भी सरल बनाया गया है, जिसमें सटीक ओपीएन (ऑर्डर पार्ट नंबर) सही कॉन्फ़िगरेशन सुनिश्चित करता है।
मापे गए परिणाम और लाभ
दो सप्ताह की तैनाती और सत्यापन के बाद, केंद्र ने प्रमुख प्रदर्शन संकेतकों में महत्वपूर्ण सुधार दर्ज किए।निम्नलिखित तालिका एक प्रतिनिधि 256-जीपीयू प्रशिक्षण नौकरी (BERT-बड़े पूर्व प्रशिक्षण) के लिए पहले और बाद के मीट्रिक को सारांशित करती है:
| मीट्रिक | पहले (RoCEv2) | के बाद (920-9B110-00FH-0D0) |
|---|---|---|
| ऑल-रिड्यूस लेटेंसी (औसत) | ~24 μs | ~9 μs |
| पूंछ विलंबता (99.9वां प्रतिशत) | > 250 μs | ~18 μs |
| प्रभावी जीपीयू उपयोग | ~68% | ~ 89% |
| कार्य पूरा होने का समय (औसत) | आधार रेखा | -36% (1.56 गुना तेज़) |
| नेटवर्क से संबंधित घटनाएं (साप्ताहिक) | ८१२ | 0 |
आंकड़ों के अलावा, टीम ने बताया किNVIDIA Mellanox 920-9B110-00FH-0D0एक शून्य-पैकेट-ड्रॉप कपड़े वितरित किया, पूरी तरह से पीएफसी वसूली के लिए पहले आवश्यक मैन्युअल हस्तक्षेप को समाप्त कर दिया।920-9B110-00FH-0D0 InfiniBand स्विच OPNपरिचालन कर्मचारियों को प्रति-प्रवाह भीड़भाड़ और मार्ग उपयोग में बारीक दृश्यता दी, जिससे सक्रिय क्षमता नियोजन संभव हुआ।920-9B110-00FH-0D0 कीमत400 जी एनडीआर स्विच पर अपग्रेड करने की तुलना में लागत प्रभावी साबित हुआ, जिससे यह केंद्र के मध्य-श्रेणी के बजट के लिए आदर्श फिट हो गया।
संक्षिप्त विवरण और परिप्रेक्ष्य कम विलंबता वाले इंटरकनेक्ट के लिए एक सिद्ध मार्ग
सुपरकंप्यूटिंग केंद्र के अनुभव से पता चलता है किमेलनॉक्स (NVIDIA Mellanox) 920-9B110-00FH-0D0एक व्यावहारिक, उच्च-प्रदर्शन विकल्प प्रदान करता है दोनों संघर्ष करने वाले ईथरनेट कपड़े और महंगे उच्च-अंत समाधान। 200 Gb/s HDR थ्रूपुट, sub-10 μs औसत विलंबता प्रदान करके,और हानि रहित आरडीएमए परिवहन, स्विच संगठनों को अपने जीपीयू निवेश की पूरी क्षमता को अनलॉक करने में सक्षम बनाता है।
आगे देखते हुए, केंद्र का लक्ष्य अपने फैब्रिक का विस्तार 512 जीपीयू तक करना है।920-9B110-00FH-0D0 InfiniBand स्विच OPN समाधान, मौजूदा रीढ़ के बुनियादी ढांचे को बनाए रखते हुए अतिरिक्त पत्ती स्विच जोड़कर स्केलिंग।भविष्य के एनवीआईडीआईए एडाप्टरों (कनेक्टएक्स-7 सहित) के साथ स्विच की संगतता एक चिकनी उन्नयन पथ सुनिश्चित करती है. इसी तरह के उन्नयन का मूल्यांकन करने वाले संगठनों के लिए,920-9B110-00FH-0D0 विनिर्देशऔर920-9B110-00FH-0D0 डेटाशीटसभी आवश्यक डिजाइन मापदंडों को प्रदान करते हैं, और इकाइयां आसानी से उपलब्ध हैं (बिक्री के लिए 920-9B110-00FH-0D0अधिकृत माध्यमों से) ।
यह वास्तविक दुनिया की तैनाती पुष्टि करती है कि920-9B110-00FH-0D0यह एक उत्पाद से अधिक है ∙ यह कम विलंबता, उच्च दक्षता वाले क्लस्टर नेटवर्क के लिए एक सिद्ध सक्षमकर्ता है, जो अगले दशक के एआई और वैज्ञानिक कंप्यूटिंग की मांगों को पूरा करने के लिए तैयार है।