मेलानाॅक्स (एनवीडिया मेलानॅक्स) 920-9B210-00FN-0D0 इन्फिनीबैंड स्विच तकनीकी समाधान

Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand स्विच तकनीकी समाधान

1परियोजना पृष्ठभूमि और आवश्यकताओं का विश्लेषण

आधुनिक एआई प्रशिक्षण ढांचे और एचपीसी अनुप्रयोगों को अकेले कंप्यूटिंग घनत्व के बजाय नेटवर्क इंटरकनेक्ट प्रदर्शन से अधिक सीमित किया जाता है।वितरित प्रशिक्षण नौकरियां, विशेष रूप से बड़े भाषा मॉडल का उपयोग करने वाले, बड़े पैमाने पर रोजगार पैदा करते हैं।, सिंक्रनाइज्ड ऑल-रिड्यूस और ऑल-टू-ऑल ट्रैफ़िक पैटर्न जो पारंपरिक ईथरनेट कपड़े को अभिभूत करते हैं। एंटरप्राइज़ तैनाती में पहचानी गई प्रमुख आवश्यकताओं में शामिल हैंःसंचार ओवरहेड को कम करने के लिए उप-माइक्रोसेकंड स्विच विलंबता, ओवर सब्सक्रिप्शन को खत्म करने के लिए स्केल पर गैर-ब्लॉकिंग थ्रूपुट, इनकास्ट फटकों को संभालने के लिए उन्नत भीड़ नियंत्रण,और आरडीएमए के साथ निर्बाध एकीकरण कन्वर्ज्ड ईथरनेट (आरओसीई) या देशी इनफिनिबैंड पारिस्थितिकी तंत्र परइसके अतिरिक्त, परिचालन टीमों को सैकड़ों बंदरगाहों में सक्रिय गलती का पता लगाने और सरल प्रबंधन के लिए गहन टेलीमेट्री की आवश्यकता होती है।

2समग्र नेटवर्क/सिस्टम आर्किटेक्चर डिजाइन

प्रस्तावित वास्तुकला एक दो-स्तरीय पत्ती-रीढ़ की हड्डी टोपोलॉजी पर केंद्रित है, जिसे GPU-केंद्रित कार्यभार के लिए विशेष रूप से बनाया गया है।मेलनॉक्स (NVIDIA Mellanox) 920-9B210-00FN-0D0प्राथमिक ToR (टॉप-ऑफ-रैक) स्विच के रूप में, 400Gb/s NDR लिंक के माध्यम से 40 कंप्यूटिंग नोड्स तक कनेक्ट करता है। रीढ़ की परत में920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s एनडीआरस्विच, जो कि 4: 1 ओवर सब्सक्रिप्शन के साथ पूर्ण-मेश कनेक्टिविटी प्रदान करते हैं या पर्याप्त रीढ़ के दरवाजे के साथ तैनात होने पर पूरी तरह से गैर-ब्लॉकिंग करते हैं।यह डिजाइन एक एकल कपड़े डोमेन में 512 जीपीयू नोड्स तक का समर्थन करता है, NVIDIA के UFM (Unified Fabric Manager) के माध्यम से परस्पर जुड़े कई सबनेट के माध्यम से क्षैतिज रूप से स्केल करने के विकल्प के साथ।

आर्किटेक्चर एनवीडिया के SHARPv3 (स्केलेबल हाइरार्चिकल एग्रीगेशन एंड रिडक्शन प्रोटोकॉल) इन-नेटवर्क कंप्यूटिंग इंजन का लाभ उठाता है, जो सीधे स्विच एएसआईसी पर सामूहिक संचालन को ऑफलोड करता है।यह सीपीयू/जीपीयू मेमोरी बसों से गुजरने वाले डेटा की मात्रा को कम करता है और सॉफ्टवेयर आधारित दृष्टिकोणों की तुलना में सामूहिक संचालन विलंबता को 40% तक कम करता है.920-9B210-00FN-0D0 InfiniBand स्विच OPNअनुकूलन रूटिंग का भी समर्थन करता है, जो गतिशील रूप से प्रत्येक पैकेट के लिए कम से कम भीड़भाड़ वाले पथ का चयन करता है, असममित यातायात भार के तहत भी इष्टतम बैंडविड्थ उपयोग सुनिश्चित करता है।

3समाधान में 920-9B210-00FN-0D0 की भूमिका और प्रमुख विशेषताएं

दNVIDIA Mellanox 920-9B210-00FN-0D0यह पूरे इंटरकनेक्ट फैब्रिक के लिए आधारभूत बिल्डिंग ब्लॉक के रूप में कार्य करता है। इसकी प्राथमिक भूमिकाओं में शामिल हैंः

• उच्च घनत्व संचलनःएक 2U फॉर्म फैक्टर में 64 गैर-ब्लॉकिंग 400Gb/s पोर्ट के साथ, स्विच 25.6 Tb/s की कुल स्विचिंग क्षमता प्रदान करता है। यह घनत्व प्रति रैक की आवश्यकता स्विच की संख्या को कम करता है,केबलिंग को सरल बनाना और प्रति बंदरगाह बिजली की खपत को कम करना.
• अल्ट्रा-लो लेटेंसी स्विचिंगःस्विच किसी भी पैकेट आकार के लिए 600ns से कम विलंबता बनाए रखता है, जो ऑनलाइन निष्कर्ष और वित्तीय एचपीसी जैसे पूंछ विलंबता के लिए संवेदनशील अनुप्रयोगों के लिए महत्वपूर्ण है।
• इन-नेटवर्क कंप्यूटिंग:SHARPv3 एकीकरण सामूहिक संचालन के हार्डवेयर त्वरण को सक्षम करता है, कपड़े में traversals की संख्या को कम करता है और 30% तक समग्र कार्य पूरा करने के समय में सुधार करता है।
• उन्नत टेलीमेट्री और भीड़ नियंत्रण:स्विच प्रति प्रवाह दृश्यता प्रदान करता है, मेजबान पक्ष के समायोजन के लिए भीड़भाड़ वाली धाराओं को चिह्नित करता है और शुरुआती हॉटस्पॉट की प्रारंभिक चेतावनी को सक्षम करता है।

के अनुसार920-9B210-00FN-0D0 डेटाशीट, स्विच तांबे और ऑप्टिकल QSFP-DD ट्रांससीवर दोनों का समर्थन करता है, यह920-9B210-00FN-0D0 संगतअधिकांश डेटा केंद्रों में मौजूदा केबलिंग बुनियादी ढांचे के साथ। इसके फ्रंट-टू-बैक एयरफ्लो और रिडंडेंट पावर सप्लाई एंटरप्राइज वातावरण में उच्च उपलब्धता सुनिश्चित करते हैं।

4. तैनाती और स्केलिंग सिफारिशें (सामान्य टोपोलॉजी)

128 जीपीयू नोड्स के ग्रीनफील्ड तैनाती के लिए, हम 4 पत्ती स्विच और 2 रीढ़ स्विच के साथ एक दो-स्तरीय वास्तुकला की सिफारिश करते हैं,प्रत्येक रीढ़ प्रत्येक पत्ती से 4x400Gb/s अपलिंक के माध्यम से जुड़ती है1: 1 ओवर सब्सक्रिप्शन अनुपात, जो अधिकांश प्रशिक्षण कार्यभारों के लिए स्वीकार्य है। विलंबता-संवेदनशील या उच्च बैंडविड्थ अनुप्रयोगों के लिए, 1:गैर अवरोधक डिजाइन को रीढ़ की हड्डी की संख्या को बढ़ाकर 4 तक प्राप्त किया जा सकता है।, जिससे अपलिंक पोर्ट के बराबर कुल अपलिंक क्षमता प्राप्त होती है।

512 नोड्स से परे स्केलिंग के लिए फैब्रिक को कई सबनेट में विभाजित करना आवश्यक है, प्रत्येक को यूएफएम द्वारा एक अलग फैब्रिक द्वीप के रूप में प्रबंधित किया जाता है।अंतर-उप-नेट संचार को एनवीडिया के क्वांटम-2 गेटवे या होस्ट-आधारित रूटिंग के माध्यम से रूट किया जा सकता है, हालांकि प्रदर्शन-संवेदनशील कार्यभारों के लिए अनुशंसित दृष्टिकोण जहां भी संभव हो एक ही सबनेट के भीतर कपड़े को रखना है।920-9B210-00FN-0D0 विनिर्देशइन बड़े पैमाने पर टोपोलॉजी का समर्थन, अंतर्निहित प्रवाह नियंत्रण और प्राथमिकता आधारित प्रवाह नियंत्रण (पीएफसी) के साथ पथ पुनर्निर्देशन घटनाओं के दौरान पैकेट ड्रॉप को रोकने के लिए।

भौतिक केबलिंग की योजना बनाते समय, केबल घनत्व को कम करने के लिए रीढ़-पत्ती कनेक्शन के लिए MPO-to-QSFP-DD ब्रेकआउट केबल या 3 मीटर से अधिक दूरी के लिए सक्रिय ऑप्टिकल केबल (AOC) का उपयोग करने पर विचार करें।920-9B210-00FN-0D0 बिक्री के लिएआम तौर पर एक व्यापक सहायक उपकरण किट शामिल है, लेकिन हम लिंक प्रशिक्षण समस्याओं से बचने के लिए विक्रेता के इंटरऑपरेबिलिटी मैट्रिक्स के माध्यम से तीसरे पक्ष के ट्रांससीवर संगतता को मान्य करने की सलाह देते हैं।

5संचालन, निगरानी और दोष निदान

परिचालन उत्कृष्टता एक आधारशिला है920-9B210-00FN-0D0 InfiniBand स्विच ओपीएन समाधान. स्विच NVIDIA के UFM प्लेटफॉर्म के साथ निर्बाध रूप से एकीकृत करता है जो प्रदान करता हैः

• वास्तविक समय में कपड़ा स्वास्थ्य निगरानीःलिंक स्थिति, तापमान, बिजली की खपत और प्रति-पोर्ट त्रुटि काउंटर (सीआरसी, प्रतीक और संरेखण त्रुटियां) के लिए डैशबोर्ड।
• पूर्वानुमान विफलता विश्लेषणःयूएफएम पर मशीन लर्निंग मॉडल सक्रिय रूप से विफल ऑप्टिक्स या बिगड़ते लिंक की पहचान करते हैं इससे पहले कि वे नौकरी की विफलताओं का कारण बनें।
• स्वचालित समस्या निवारणःयह प्रणाली सुधारात्मक कार्यों की सिफारिश करती है, जैसे कि यातायात को पुनर्निर्देशित करना या दोषपूर्ण लिंक को अलग करना, जिससे समाधान के लिए औसत समय (एमटीटीआर) काफी कम हो जाता है।

उन्नत निदान के लिए, स्विच sFlow और पोर्ट मिररिंग का समर्थन करता है, प्रोटोकॉल स्तर की डिबगिंग के लिए गहरे पैकेट निरीक्षण को सक्षम करता है।920-9B210-00FN-0D0 विनिर्देशबफर सीमाओं और अनुशंसित सेटिंग्स के लिए, विशेष रूप से RoCEv2 ट्रैफ़िक को ट्यून करने के लिए यदि मिश्रित InfiniBand/Ethernet वातावरण में उपयोग किया जाता है।प्रदर्शन ट्यूनिंग को अनुकूलन रूटिंग सीमाओं और SHARPv3 एग्रीगेशन अंतराल पर ध्यान केंद्रित करना चाहिएउदाहरण के लिए, कार्यभार चरण के अनुसार प्रशिक्षण बनाम निष्कर्ष के आधार पर समायोजित किया जा सकता है।

नियमित रखरखाव में फर्मवेयर अद्यतन शामिल हैं जो यूएफएम की रोलिंग अपग्रेड क्षमता का उपयोग करके न्यूनतम व्यवधान के साथ किए जाते हैं,और संकेत की अखंडता बनाए रखने के लिए ऑप्टिकल कनेक्टर्स की आवधिक सफाईस्विच की अतिरिक्त शक्ति और प्रशंसक मॉड्यूल ऑपरेशन के दौरान गर्म-स्वैप प्रतिस्थापन की अनुमति देते हैं।

6. सारांश और मूल्य निर्धारण

दमेलनॉक्स (NVIDIA Mellanox) 920-9B210-00FN-0D0अपने एआई और एचपीसी निवेशों के पूर्ण प्रदर्शन को अनलॉक करने के इच्छुक संगठनों के लिए एक व्यापक समाधान प्रदान करता है। 400Gb/s एनडीआर गति, इन-नेटवर्क कंप्यूटिंग,और एक ही प्रणाली के भीतर बुद्धिमान भीड़ प्रबंधन, स्केलेबल प्लेटफ़ॉर्म, यह आज के डेटा केंद्रों के सामने सबसे जरूरी इंटरकनेक्ट चुनौतियों का समाधान करता है। वर्णित वास्तुकला 128-नोड पायलट क्लस्टर से 2,200 तक एक सिद्ध मार्ग प्रदान करती है।000+ नोड सुपरकंप्यूटर कपड़े, परिचालन उपकरणों के साथ जो प्रबंधन को सरल बनाते हैं और स्वामित्व की कुल लागत को कम करते हैं।

मूल्यांकन करते समय920-9B210-00FN-0D0 कीमत, दीर्घकालिक मूल्य पर विचार करेंः कार्य पूरा करने के कम समय सीधे कम क्लाउड लागत या ऑन-प्रिमाइसेस वर्कलोड के लिए तेजी से अंतर्दृष्टि के लिए अनुवाद करते हैं।920-9B210-00FN-0D0 InfiniBand स्विच ओपीएन समाधानNVIDIA के वैश्विक समर्थन नेटवर्क और व्यापक भागीदार पारिस्थितिकी तंत्र द्वारा समर्थित है, यह सुनिश्चित करता है कि संगठन आने वाले वर्षों के लिए अपने बुनियादी ढांचे को आत्मविश्वास से तैनात, स्केल और अनुकूलित कर सकें।

विस्तृत योजना के लिए, अधिकारी से संपर्क करें920-9B210-00FN-0D0 डेटाशीटऔर920-9B210-00FN-0D0 विनिर्देशदस्तावेज, जिसमें यांत्रिक चित्र, थर्मल प्रोफाइल और प्रदर्शन बेंचमार्क शामिल हैं।