NVIDIA Mellanox MQM8790-HS2F इन्फिनिबैंड स्विच तकनीकी समाधान

NVIDIA Mellanox MQM8790-HS2F InfiniBand स्विच तकनीकी समाधान | आरडीएमए/एचपीसी/एआई क्लस्टर के लिए कम विलंबता इंटरकनेक्ट अनुकूलन

1. परियोजना पृष्ठभूमि और आवश्यकताओं का विश्लेषण

जैसे-जैसे कृत्रिम बुद्धिमत्ता (एआई) प्रशिक्षण क्लस्टर हजारों जीपीयू तक बढ़ते हैं और उच्च-प्रदर्शन कंप्यूटिंग (एचपीसी) सिस्टम एक्सास्केल प्रदर्शन की ओर बढ़ते हैं, कंप्यूट नोड्स को जोड़ने वाला नेटवर्क फैब्रिक एक महत्वपूर्ण प्रदर्शन निर्धारक बन गया है। इन वातावरणों में, विलंबता केवल एक मीट्रिक नहीं है - यह सीधे अनुप्रयोग प्रदर्शन, समय-से-समाधान और समग्र क्लस्टर दक्षता को प्रभावित करती है। कार्यभार के लिए जो एमपीआई (संदेश पासिंग इंटरफ़ेस) सामूहिक संचालन और सभी-से-सभी संचार पैटर्न पर बहुत अधिक निर्भर करते हैं - जैसे कि बड़े भाषा मॉडल प्रशिक्षण, कम्प्यूटेशनल तरल गतिशीलता, और क्वांटम रसायन विज्ञान सिमुलेशन - यहां तक ​​कि माइक्रोसेकंड-स्तर की विलंबता वृद्धि भी अतिरिक्त रनटाइम के घंटों में तब्दील हो सकती है। पारंपरिक ईथरनेट नेटवर्क, यहां तक ​​कि आरडीएमए ओवर कन्वर्ज्ड ईथरनेट (आरओसीई) के साथ, अक्सर इन मांग वाले अनुप्रयोगों के लिए आवश्यक नियतात्मक कम विलंबता और भीड़-मुक्त संचालन प्रदान करने के लिए संघर्ष करते हैं।

यह चुनौती तीन समवर्ती प्रवृत्तियों द्वारा बढ़ गई है। सबसे पहले, एआई मॉडल के बढ़ते पैमाने (अब खरबों मापदंडों से अधिक) के लिए हजारों जीपीयू में बड़े पैमाने पर समानता की आवश्यकता होती है, जिसके लिए एक ऐसे फैब्रिक की आवश्यकता होती है जो न्यूनतम विलंबता भिन्नता के साथ उच्च थ्रूपुट को बनाए रख सके। दूसरा, एचपीसी और एआई वर्कलोड के अभिसरण का मतलब है कि एक एकल फैब्रिक को एमपीआई-आधारित संचार पैटर्न और एनसीसीएल-आधारित जीपीयू सामूहिक संचालन दोनों का कुशलतापूर्वक समर्थन करना चाहिए। तीसरा, परिचालन दक्षता के लिए आवश्यक है कि फैब्रिक व्यापक निगरानी और स्वचालित अनुकूलन क्षमताओं के साथ बड़े पैमाने पर प्रबंधनीय हो। एक संरचित तकनीकी समाधान की आवश्यकता है - एक जो कम-विलंबता अग्रेषण, उन्नत भीड़ प्रबंधन और बड़े पैमाने पर पूर्वानुमानित प्रदर्शन प्रदान करने के लिए इन-नेटवर्क गणना त्वरण के साथ उच्च-प्रदर्शन वाले इनफिनीबैंड स्विच का लाभ उठाता है।

2. समग्र नेटवर्क/सिस्टम आर्किटेक्चर डिज़ाइन

प्रस्तावित आर्किटेक्चर में स्पाइन-लीफ टोपोलॉजी का उपयोग किया गया हैNVIDIA मेलानॉक्स MQM8790-HS2Fलीफ टियर के रूप में स्विच, बड़े पैमाने के कपड़ों के लिए उच्च-पोर्ट-घनत्व स्पाइन स्विच (जैसे कि 400Gb/s NDR के 64 पोर्ट के साथ QM9700 श्रृंखला) से जुड़ा हुआ है। आर्किटेक्चर को पूर्ण द्विभाजन बैंडविड्थ के साथ गैर-अवरुद्ध संचार का समर्थन करने के लिए डिज़ाइन किया गया है, यह सुनिश्चित करते हुए कि कोई भी कंप्यूट नोड बिना किसी विवाद के तार की गति से किसी अन्य नोड के साथ संचार कर सकता है।

2,000-नोड क्लस्टर के लिए एक विशिष्ट परिनियोजन में, आर्किटेक्चर में शामिल हैं:

• पत्ती स्तर:20MQM8790-HS2F इनफिनीबैंड स्विचइकाइयाँ, प्रत्येक में 40 QSFP56 पोर्ट हैं जो 200Gb/s HDR पर काम करते हैं। प्रत्येक लीफ स्विच 50 कंप्यूट नोड्स से जुड़ता है (QSFP56 से 2×QSFP56 केबल के माध्यम से 200Gb/s डायरेक्ट कनेक्शन और 100Gb/s HDR100 ब्रेकआउट के मिश्रण का उपयोग करके)।
• रीढ़ की हड्डी का स्तर:4 QM9700 स्विच (या समतुल्य उच्च-घनत्व स्विच), प्रत्येक 400Gb/s NDR के 64 पोर्ट के साथ, इंटर-लीफ कनेक्टिविटी प्रदान करता है।
• नोड्स की गणना करें:प्रत्येक नोड एक या अधिक ConnectX-6 HDR या ConnectX-7 NDR एडेप्टर से सुसज्जित है, जो निष्क्रिय तांबे या सक्रिय ऑप्टिकल केबल के माध्यम से लीफ स्विच से जुड़ा है।
• प्रबंधन नेटवर्क:स्विच प्रबंधन के लिए एक अलग आउट-ऑफ-बैंड ईथरनेट नेटवर्क, केंद्रीकृत फैब्रिक मॉनिटरिंग और अनुकूलन के लिए NVIDIA यूनिफाइड फैब्रिक मैनेजर (यूएफएम) प्लेटफॉर्म के साथ एकीकृत।

वास्तुकला इसका लाभ उठाती हैMQM8790-HS2F 200Gb/s HDR 40-पोर्ट QSFP56प्रति स्विच 8Tb/s की कुल लीफ स्विचिंग क्षमता प्रदान करने के लिए कॉन्फ़िगरेशन। HDR100 ब्रेकआउट का उपयोग लचीले कनेक्टिविटी विकल्पों को सक्षम बनाता है: प्रत्येक 200Gb/s पोर्ट या तो एक 200Gb/s एंडपॉइंट या दो 100Gb/s एंडपॉइंट का समर्थन कर सकता है, जो विभिन्न इंटरफ़ेस गति के साथ विषम कंप्यूट नोड्स को समायोजित करता है।

3. समाधान में NVIDIA Mellanox MQM8790-HS2F की भूमिका और मुख्य विशेषताएं

इस वास्तुकला के भीतर,एमक्यूएम8790-एचएस2एफफाउंडेशनल लीफ स्विच के रूप में कार्य करता है, जो एचपीसी और एआई वर्कलोड के लिए आवश्यक उन्नत सुविधाओं का समर्थन करते हुए नोड्स की गणना करने के लिए कम-विलंबता, उच्च-बैंडविड्थ कनेक्टिविटी प्रदान करता है। इसकी प्रमुख तकनीकी विशेषताएं समग्र समाधान की सफलता के लिए महत्वपूर्ण हैं:

• उप-100 नैनोसेकंड पोर्ट-टू-पोर्ट विलंबता:विलंबता-संवेदनशील एमपीआई सामूहिकों और सभी-कम संचालन के लिए आवश्यक नियतात्मक कम विलंबता प्रदान करता है।
• 200Gb/s HDR InfiniBand के 40 पोर्ट:एक कॉम्पैक्ट 1U फॉर्म फैक्टर में 8Tb/s की कुल स्विचिंग क्षमता प्रदान करता है, पोर्ट घनत्व को अधिकतम करता है और रैक स्थान की खपत को कम करता है।
• SHARP (स्केलेबल पदानुक्रमित एकत्रीकरण और न्यूनीकरण प्रोटोकॉल) समर्थन:एमपीआई सामूहिक संचालन के लिए इन-नेटवर्क कंप्यूट त्वरण सक्षम करता है, सीपीयू/जीपीयू से संचार कार्यभार का 20% तक ऑफलोड करता है।
• अनुकूली रूटिंग:वास्तविक समय की भीड़ मेट्रिक्स के आधार पर उपलब्ध फैब्रिक पथों पर ट्रैफ़िक को गतिशील रूप से वितरित करता है, थ्रूपुट को अनुकूलित करता है और विलंबता विचरण को कम करता है।
• भीड़भाड़ नियंत्रण:नेटवर्क हॉटस्पॉट को खराब प्रदर्शन से बचाने के लिए उन्नत भीड़ प्रबंधन तंत्र (पैकेट-स्तरीय प्रवाह नियंत्रण और भीड़ अधिसूचना सहित) लागू करता है।
• HDR100 ब्रेकआउट समर्थन:प्रत्येक 200 जीबी/एस पोर्ट को दो स्वतंत्र 100 जीबी/एस पोर्ट के रूप में कॉन्फ़िगर करने की अनुमति देता है, जो मिश्रित गति वाले वातावरण के लिए तैनाती लचीलापन प्रदान करता है।
• व्यापक प्रबंधन इंटरफ़ेस:आईबीटीए-संगत सबनेट प्रबंधन (एसएम), एसएनएमपी, सीएलआई, वेब यूआई और केंद्रीकृत फैब्रिक प्रबंधन के लिए यूएफएम के साथ एकीकरण का समर्थन करता है।
• ऊर्जा दक्षता:सामान्य बिजली की खपत 230W से कम है, जो शीतलन आवश्यकताओं को कम करने और PUE में सुधार करने में योगदान करती है।

इन विशेषताओं को व्यापक रूप से प्रलेखित किया गया हैMQM8790-HS2F डेटाशीट, जिसमें रैक लेआउट टूल में एकीकरण के लिए विस्तृत प्रदर्शन वक्र, थर्मल विनिर्देश और यांत्रिक चित्र शामिल हैं।

4. परिनियोजन और स्केलिंग अनुशंसाएँ (विशिष्ट टोपोलॉजी विवरण के साथ)

प्रारंभिक तैनाती के लिए, हम पॉड-स्तरीय आर्किटेक्चर पर आधारित एक मॉड्यूलर विस्तार रणनीति की अनुशंसा करते हैं। प्रत्येक पॉड में 4 लीफ स्विच और 2 स्पाइन स्विच होते हैं, जो पूर्ण द्विभाजन बैंडविड्थ के साथ लगभग 400 कंप्यूट नोड्स का समर्थन करते हैं।MQM8790-HS2F InfiniBand स्विच समाधानगणना क्षमता बढ़ने पर पॉड्स जोड़कर वृद्धिशील स्केलिंग को सक्षम बनाता है, स्पाइन टियर एक एकीकृत फैब्रिक के लिए पॉड्स के बीच कनेक्टिविटी प्रदान करता है।

एकल पॉड (400 कंप्यूट नोड्स) के लिए विशिष्ट टोपोलॉजी:

• पत्ता स्विच:4 × MQM8790-HS2F, प्रत्येक 200Gb/s पर 40 पोर्ट के साथ। कंप्यूट नोड कनेक्टिविटी (एचडीआर100 ब्रेकआउट का उपयोग करके प्रति लीफ 72 नोड्स तक का समर्थन) के लिए प्रति लीफ 36 पोर्ट का उपयोग किया जाता है, जबकि स्पाइन अपलिंक के लिए प्रति लीफ 4 पोर्ट का उपयोग किया जाता है।
• स्पाइन स्विच:2 × QM9700 (या समतुल्य 64-पोर्ट एनडीआर स्विच), प्रत्येक 400Gb/s अपलिंक (4×200Gb/s QSFP56 से QSFP-DD केबल का उपयोग करके) के माध्यम से सभी 4 लीफ स्विच से कनेक्ट होता है।
• नोड्स की गणना करें:400 नोड्स, प्रत्येक एकल 200Gb/s या दोहरे 100Gb/s HDR100 कनेक्शन के माध्यम से एक लीफ स्विच से जुड़ा हुआ है।

एक पॉड से आगे स्केलिंग:

• गणना क्षमता की आवश्यकता के अनुसार अतिरिक्त पॉड्स (प्रत्येक 4 लीफ MQM8790-HS2F स्विच के साथ) जोड़ें।
• अतिरिक्त QM9700 या NDR स्विच का उपयोग करके पॉड्स को उच्च स्तरीय स्पाइन (सुपरस्पाइन) परत के माध्यम से कनेक्ट करें।
• का उपयोग करके कपड़े की स्थिरता बनाए रखेंएमक्यूएम8790-एचएस2एफसभी पत्तों की स्थितियों में, पूरे फैब्रिक में एक समान विलंबता और प्रबंधन सुनिश्चित करना।

तैनात करते समयएमक्यूएम8790-एचएस2एफHDR100 ब्रेकआउट मोड में, निम्नलिखित केबलिंग दिशानिर्देश लागू होते हैं:

2,000 नोड्स से अधिक बड़े पैमाने के फैब्रिक के लिए, हम तैनाती से पहले टोपोलॉजी डिजाइन और कंजेशन व्यवहार को मान्य करने के लिए यूएफएम की फैब्रिक सिमुलेशन क्षमताओं का उपयोग करने की सलाह देते हैं।

5. संचालन एवं रखरखाव: निगरानी, ​​समस्या निवारण और अनुकूलन

MQM8790-HS2F-आधारित InfiniBand फ़ैब्रिक के परिचालन जीवनचक्र के लिए निगरानी, ​​समस्या निवारण और अनुकूलन के लिए एक व्यवस्थित दृष्टिकोण की आवश्यकता होती है। हम NVIDIA UFM प्लेटफॉर्म को केंद्रीय प्रबंधन और निगरानी उपकरण के रूप में तैनात करने की सलाह देते हैं, जो फैब्रिक प्रदर्शन, विलंबता मेट्रिक्स और कंजेशन पैटर्न में वास्तविक समय दृश्यता प्रदान करता है।

ट्रैक करने के लिए मुख्य निगरानी मेट्रिक्स:

• पोर्ट-स्तरीय विलंबता:पूरे फैब्रिक में शुरू से अंत तक विलंबता, विलंबता सीमा से अधिक बंदरगाहों के लिए अलर्ट के साथ।
• थ्रूपुट और उपयोग:समग्र और प्रति-पोर्ट थ्रूपुट, कम उपयोग किए गए या अधिक उपयोग किए गए लिंक की पहचान करना।
• भीड़भाड़ संकेतक:पैकेट ड्रॉप्स, पॉज़ फ़्रेम और कंजेशन नोटिफिकेशन इवेंट।
• कपड़े का स्वास्थ्य:लिंक स्थिति, त्रुटि काउंटर, और तापमान/पावर टेलीमेट्री।

सामान्य समस्याओं के लिए समस्या निवारण प्रोटोकॉल:

1. विलंबता गिरावट:बढ़ी हुई विलंबता का अनुभव करने वाले विशिष्ट पथ या पोर्ट की पहचान करने के लिए यूएफएम के विलंबता विश्लेषण उपकरण का उपयोग करें; अनुकूली रूटिंग की भीड़भाड़ या ग़लत कॉन्फ़िगरेशन की जाँच करें।
2. लिंक त्रुटियाँ या ड्रॉप्स:भौतिक कनेक्टिविटी (केबल, ऑप्टिक्स) और पोर्ट त्रुटि काउंटर का निरीक्षण करें; सत्यापित करें किMQM8790-HS2F संगतकेबल और ऑप्टिक्स का उपयोग किया जाता हैMQM8790-HS2F विशिष्टताएँ.
3. सबनेट प्रबंधन मुद्दे:सत्यापित करें कि सबनेट मैनेजर (एसएम) चल रहा है और फैब्रिक टोपोलॉजी सही ढंग से खोजी गई है; एसएम विफलता घटनाओं की जाँच करें।

अनुकूलन अनुशंसाएँ:

• अनुकूली रूटिंग ट्यूनिंग:देखे गए ट्रैफ़िक पैटर्न के आधार पर रूटिंग एल्गोरिदम पैरामीटर समायोजित करें - उत्पादन फैब्रिक पर लागू करने से पहले विभिन्न रूटिंग नीतियों का अनुकरण करने के लिए यूएफएम का उपयोग करें।
• भीड़भाड़ नियंत्रण विन्यास:वर्कलोड विशेषताओं के आधार पर कंजेशन नियंत्रण तंत्र (जैसे पैकेट पेसिंग और प्राथमिकता प्रवाह नियंत्रण) को सक्षम और ट्यून करें - एचपीसी वर्कलोड की तुलना में एआई प्रशिक्षण अधिक आक्रामक कंजेशन नियंत्रण से लाभान्वित होता है।
• फ़र्मवेयर और सॉफ़्टवेयर अद्यतन:प्रदर्शन में सुधार और नई सुविधाओं तक पहुंचने के लिए स्विच फ़र्मवेयर और यूएफएम सॉफ़्टवेयर को नियमित रूप से अपडेट करें।
• आवधिक फैब्रिक ऑडिट:बड़े पैमाने पर परिचालन विश्वसनीयता सुनिश्चित करने के लिए केबलिंग, पावर और कूलिंग का नियमित ऑडिट करें।

6. सारांश एवं मूल्य मूल्यांकन

NVIDIA मेलानॉक्स MQM8790-HS2Fआधारित तकनीकी समाधान आरडीएमए/एचपीसी/एआई क्लस्टर में कम-विलंबता इंटरकनेक्ट को अनुकूलित करने के लिए एक व्यापक, क्षेत्र-मान्य पद्धति प्रदान करता है। स्विच के 200 जीबी/एस एचडीआर इनफिनीबैंड के 40 पोर्ट, सब-100 नैनोसेकंड विलंबता, शार्प इन-नेटवर्क कंप्यूट और अनुकूली रूटिंग क्षमताओं का लाभ उठाकर, संगठन ऐसे फैब्रिक का निर्माण कर सकते हैं जो प्रबंधन को सरल बनाते हुए और परिचालन ओवरहेड को कम करते हुए बड़े पैमाने पर अनुमानित प्रदर्शन प्रदान करते हैं।

तुलनीय तैनाती से मुख्य मूल्य मेट्रिक्स में शामिल हैं:

• विलंबता में कमी:उप-100 नैनोसेकंड पोर्ट-टू-पोर्ट विलंबता पिछली पीढ़ी के फैब्रिक की तुलना में एमपीआई सामूहिक समापन समय को 35% तक कम कर देती है।
• अनुप्रयोग त्वरण:शार्प इन-नेटवर्क कंप्यूट ऑफलोड सीपीयू/जीपीयू संचार ओवरहेड को 20% तक कम कर देता है, जिससे एआई प्रशिक्षण युग के समय में 25-30% की तेजी आती है।
• कपड़ा दक्षता:अनुकूली रूटिंग और कंजेशन नियंत्रण अलग-अलग लोड के तहत लगातार प्रदर्शन बनाए रखते हैं, जिससे प्रदर्शन परिवर्तनशीलता 60% तक कम हो जाती है।
• परिचालन सरलीकरण:यूएफएम एकीकरण व्यापक दृश्यता और स्वचालन प्रदान करता है, जिससे कपड़े की घटनाओं के लिए एमटीटीआर 50% तक कम हो जाता है।
• लागत क्षमता:MQM8790-HS2F कीमतअपने उच्च पोर्ट घनत्व के साथ संयुक्त रूप से रैक स्थान और बिजली की आवश्यकताओं को कम करते हुए, वैकल्पिक इनफिनीबैंड समाधानों की तुलना में प्रति-पोर्ट कम लागत प्रदान करता है।

नेटवर्क आर्किटेक्ट और इंजीनियरिंग लीड के लिए, MQM8790-HS2F अगली पीढ़ी के एचपीसी और एआई क्लस्टर के लिए एक स्केलेबल, उच्च-प्रदर्शन नींव प्रदान करता है। समाधान विशेष रूप से बड़े पैमाने पर जीपीयू-त्वरित वातावरण तैनात करने वाले संगठनों के साथ-साथ 100 जीबी/एस से 200 जीबी/एस फैब्रिक तक अपग्रेड करने वाले पारंपरिक एचपीसी केंद्रों के लिए अनुशंसित है। जैसा कि InfiniBand NDR (400Gb/s) और XDR (800Gb/s) की ओर विकसित हो रहा है, HDR100 ब्रेकआउट के लिए MQM8790-HS2F का समर्थन भविष्य की गति के लिए एक स्पष्ट माइग्रेशन पथ प्रदान करते हुए मौजूदा बुनियादी ढांचे के साथ संगतता सुनिश्चित करता है।

विस्तृत फैब्रिक डिज़ाइन टेम्प्लेट, प्रदर्शन ट्यूनिंग गाइड और परिनियोजन चेकलिस्ट के लिए, देखेंMQM8790-HS2F डेटाशीटऔर NVIDIA Mellanox InfiniBand आर्किटेक्चर दस्तावेज़ीकरण।