NVIDIA Mellanox MQM9790-NS2F इन्फिनिबैंड स्विच तकनीकी समाधान

NVIDIA Mellanox MQM9790-NS2F InfiniBand स्विच तकनीकी समाधान RDMA, HPC और AI क्लस्टर के लिए कम विलंबता इंटरकनेक्ट अनुकूलन के लिए

परियोजना पृष्ठभूमि और आवश्यकताओं का विश्लेषण

एआई बड़े मॉडल प्रशिक्षण, एचपीसी सिमुलेशन और वितरित भंडारण का समर्थन करने वाले आधुनिक डेटा केंद्र 200Gb/s HDR से 400Gb/s NDR में तेजी से माइग्रेट कर रहे हैं।नेटवर्क आर्किटेक्ट्स के लिए मुख्य तनाव यह है कि GPU नोड घनत्व बढ़ता रहता है, जबकि इंटर-नोड कम्युनिकेशन लेटेंसी और जिटटर क्लस्टर दक्षता के लिए सीमित कारक बन जाते हैं।एक एकल भीड़भाड़ वाले हॉप या गलत कॉन्फ़िगर किए गए कपड़े की परत सैकड़ों नोड्स में प्रभावी जीपीयू उपयोग को कम कर सकती है.

ऐसी परियोजनाओं के लिए विशिष्ट आवश्यकताओं में सामूहिक संचालन के लिए निर्धारक कम विलंबता, कपड़े पर आरडीएमए और एनवीएमई के लिए हानि रहित परिवहन, कपड़े को सपाट रखने के लिए उच्च रेडिक्स शामिल हैं।और एक स्पष्ट उन्नयन पथ जो मौजूदा निवेश की रक्षा करता हैNVIDIA Mellanox MQM9790-NS2F क्वांटम-2 परिवार के भीतर 400Gb/s NDR InfiniBand स्विच के रूप में इन आवश्यकताओं को पूरा करने के लिए तैनात है।

समग्र नेटवर्क और सिस्टम आर्किटेक्चर डिजाइन

अनुशंसित वास्तुकला एक दो-स्तरीय रीढ़-पत्ती InfiniBand कपड़े पूरी तरह से एनडीआर लिंक पर बनाया गया है। पत्ती स्विच जीपीयू सर्वर, भंडारण लक्ष्य और प्रबंधन नोड्स को जोड़ते हैं,जबकि रीढ़ की हड्डी स्विच अंतर-पत्ती कनेक्टिविटी और पथ विविधता प्रदान करते हैंयह डिज़ाइन हॉप काउंट को कम रखता है और पूर्व-पश्चिम यातायात के लिए गैर-ब्लॉकिंग बैंडविड्थ सुनिश्चित करता है, जो एआई और एचपीसी वर्कलोड पर हावी है।

एंडपॉइंट परत पर, होस्ट चैनल एडाप्टर आरडीएमए मोड में काम करते हैं, जो सीपीयू हस्तक्षेप के बिना मेमोरी-टू-मेमोरी हस्तांतरण की अनुमति देते हैं। कपड़े स्वयं भीड़ नियंत्रण, अनुकूली रूटिंग,और सामूहिक त्वरणप्रबंधन और टेलीमेट्री यातायात एक ही भौतिक बुनियादी ढांचे को साझा करता है, लेकिन QoS नीतियों के माध्यम से अलग है, इसलिए निगरानी उत्पादन कार्यभार में हस्तक्षेप नहीं करती है।

मुख्य डिजाइन सिद्धांतों में शामिल हैंः

• विलंबता को कम करने और समस्या निवारण को सरल बनाने के लिए फ्लैट टोपोलॉजी
• स्तरों के बीच गैर-ब्लॉकिंग या कम ओवरसब्सक्राइब लिंक
• मिश्रित उत्पादन की बाधाओं से बचने के लिए सतत एनडीआर
• उच्च उपलब्धता और लोड संतुलन के लिए अनावश्यक पथ
• परिचालन सुसंगतता के लिए मानक InfiniBand प्रबंधन

NVIDIA Mellanox MQM9790-NS2F की भूमिका और प्रमुख विशेषताएं

NVIDIA Mellanox MQM9790-NS2F इस कपड़े के निर्माण खंड के रूप में कार्य करता है। एक MQM9790-NS2F 400Gb / s NDR 64-पोर्ट OSFP स्विच के रूप में, यह एक एकल इकाई में उच्च पोर्ट घनत्व प्रदान करता है,वास्तुकारों को कम स्तरों के साथ एक सपाट नेटवर्क डिजाइन करने में सक्षम बनानाप्रत्येक ओएसएफपी पोर्ट एनडीआर गति पर काम कर सकता है, और 64-पोर्ट कॉन्फ़िगरेशन उच्च-रेडिक्स पत्ती और रीढ़ की भूमिकाओं का समर्थन करता है।

MQM9790-NS2F विनिर्देशों की समीक्षा करने वाली टीमों के लिए, प्लेटफ़ॉर्म सामूहिक त्वरण, उन्नत भीड़ नियंत्रण और अनुकूली रूटिंग के लिए NVIDIA SHARPv3 का समर्थन करता है।ये विशेषताएं सीधे एआई प्रशिक्षण और एमपीआई कार्यभार में आम पूंछ विलंबता और इनकास्ट समस्याओं को लक्षित करती हैंMQM9790-NS2F InfiniBand स्विच मानक InfiniBand प्रबंधन उपकरण के साथ भी एकीकृत है, जो परिचालन सीखने की वक्र को कम करता है।

MQM9790-NS2F InfiniBand स्विच समाधान की योजना बनाते समय, आर्किटेक्ट्स को OSFP केबल, होस्ट चैनल एडाप्टर और फर्मवेयर संस्करणों सहित MQM9790-NS2F संगत घटकों की पुष्टि करनी चाहिए।MQM9790-NS2F डेटाशीट को डिजाइन चरण की शुरुआत में समीक्षा करने से शक्ति को मान्य करने में मदद मिलती है, शीतलन और खरीद से पहले रैक स्थान की आवश्यकताएं।

तैनाती और स्केलिंग की सिफारिशें

एक विशिष्ट तैनाती 32 से 64 जीपीयू नोड्स की एक पायलट पोड के साथ शुरू होती है जो एमक्यूएम 9790-एनएस 2 एफ लीफ स्विच की एक जोड़ी से जुड़ी होती है। क्लस्टर बढ़ने के साथ रीढ़ की हड्डी कनेक्टिविटी जोड़ी जाती है,गैर अवरुद्ध बैंडविड्थ बनाए रखने के लिए अतिरिक्त MQM9790-NS2F इकाइयों का उपयोग करनायह वृद्धिशील दृष्टिकोण पूर्ण पैमाने पर रोलआउट से पहले विलंबता और थ्रूपुट की पुष्टि की अनुमति देता है।

स्केलिंग के लिए, अनुशंसित अभ्यास कपड़े को सममित रखना हैः पत्ती और रीढ़ की क्षमता को मेल खाने वाली वृद्धि में जोड़ना ताकि ओवरसब्सक्राइब रेशियो अनुमानित रहे।केबल प्रबंधन और पोर्ट लेबलिंग को शुरू से ही मानकीकृत किया जाना चाहिए, क्योंकि उच्च घनत्व वाले ओएसएफपी तैनाती को बनाए रखना मुश्किल हो सकता है यदि भौतिक लेआउट असंगत है।

नीचे दी गई तालिका में दो स्तरीय डिजाइन विचार का सारांश दिया गया हैः

संचालन, निगरानी, समस्या निवारण और अनुकूलन

परिचालन की सफलता दृश्यता पर निर्भर करती है। InfiniBand कपड़े लिंक त्रुटियों, भीड़ घटनाओं और बफर उपयोग के लिए काउंटर प्रदान करते हैं।इन्हें निरंतर एकत्र किया जाना चाहिए और कार्य शेड्यूलर डेटा के साथ सहसंबंधित किया जाना चाहिए, ताकि प्रदर्शन प्रतिगमन का पता लगाने के बजाय विशिष्ट कपड़े खंडों पर लगाया जा सके।

सामान्य समस्या निवारण परिदृश्यों में क्रेडिट स्टॉल, गलत कॉन्फ़िगर QoS, और स्विच और एडेप्टर के बीच फर्मवेयर असंगतता शामिल हैं। एक संरचित चेकलिस्टरूटिंग नीति की पुष्टि करें, भीड़भाड़ टेलीमेट्री का निरीक्षण कर सकते हैं समाधान के लिए औसत समय को कम करें। अनुकूलन प्रयासों को औसत थ्रूपुट के बजाय पूंछ विलंबता पर ध्यान केंद्रित करना चाहिए,चूंकि एआई और एचपीसी वर्कलोड सबसे खराब व्यवहार के प्रति संवेदनशील हैं.

खरीद और जीवनचक्र नियोजन के लिए, टीमें अक्सर अधिकृत चैनलों में बिक्री के विकल्पों के लिए MQM9790-NS2F मूल्य और MQM9790-NS2F की तुलना करती हैं। मूल्य निर्धारण कॉन्फ़िगरेशन, समर्थन स्तर,और क्षेत्र, इसलिए वितरकों और NVIDIA उद्यम प्रतिनिधियों के साथ प्रारंभिक जुड़ाव की सिफारिश की जाती है।

NVIDIA Mellanox MQM9790-NS2F आरडीएमए, एचपीसी और एआई क्लस्टर इंटरकनेक्ट के लिए एक उच्च-रेडिक्स, 400Gb / s एनडीआर नींव प्रदान करता है। कपड़े के स्तर को कम करके, सामूहिक त्वरण का समर्थन करके,और हानि रहित कम विलंबता परिवहन को सक्षम करनानेटवर्क आर्किटेक्ट्स और पूर्व-बिक्री इंजीनियरों के लिए, यह वास्तविक दुनिया के क्लस्टर दक्षता को सीमित करने वाले प्रदर्शन की बाधाओं को संबोधित करता है।यह अगली पीढ़ी के InfiniBand कपड़े के लिए एक व्यावहारिक और स्केलेबल बिल्डिंग ब्लॉक का प्रतिनिधित्व करता है.