NVIDIA Mellanox 920-9B210-00FN-0D0 तकनीकी संदर्भः 400Gb/s एनडीआर कम विलंबता इंटरकनेक्ट अनुकूलन

NVIDIA Mellanox 920-9B210-00FN-0D0 तकनीकी संदर्भः 400Gb/s आरडीएमए/एचपीसी/एआई क्लस्टर के लिए एनडीआर कम विलंबता इंटरकनेक्ट अनुकूलन

1परियोजना पृष्ठभूमि और आवश्यकताओं का विश्लेषण

जैसे-जैसे एआई प्रशिक्षण क्लस्टर 4,000 जीपीयू से परे स्केल करते हैं और एचपीसी सिमुलेशन एक्सास्केल प्रदर्शन के करीब आते हैं, नेटवर्क फैब्रिक बैंडविड्थ, विलंबता और निर्धारकता के लिए अभूतपूर्व मांगों का सामना करते हैं।200Gb/s HDR से 400Gb/s NDR में बदलाव अब ट्रिलियन-पैरामीटर मॉडल या किलोमीटर पैमाने पर मौसम सिमुलेशन को लक्षित करने वाले संगठनों के लिए वैकल्पिक नहीं है। यह एक रणनीतिक अनिवार्यता है।प्रमुख अनुसंधान और उद्यम तैनाती में पहचानी गई प्रमुख आवश्यकताओं में शामिल हैंः

• अति-कम निर्धारक विलंबता:एमपीआई और सभी-से-सभी संचार ओवरहेड को कम करने के लिए सब-100ns पोर्ट-टू-पोर्ट विलंबता।
• पैमाना पर हानि रहित कपड़ा:जीरो पैकेट हजारों एंडपॉइंट्स पर भीड़भाड़ के तहत गिरता है, यह सुनिश्चित करता है कि आरडीएमए प्रदर्शन अनुमानित रहे।
• नेटवर्क में कम्प्यूटिंग लोडःजीपीयू उपयोग को अधिकतम करने के लिए नेटवर्क कपड़े में सामूहिक संचालन (सभी-कम, सभी-सभी, प्रसारण) को ऑफलोड करना।
• उच्च-रेडिक्स स्केलेबिलिटीःबड़े पैमाने पर फैट-ट्री और ड्रैगनफ्लाई+ टोपोलॉजी के लिए समर्थन, जिसमें 8,000+ नोड्स तक पूर्ण बाइसक्शन बैंडविड्थ है।
• निवेश संरक्षण:चरणबद्ध उन्नयन को सक्षम करने के लिए मौजूदा एचडीआर केबलों, ऑप्टिक्स और प्रबंधन उपकरणों के साथ निर्बाध संगतता।

इन आवश्यकताओं को पूरा करने के लिए, यह समाधानNVIDIA Mellanox 920-9B210-00FN-0D0कोर बिल्डिंग ब्लॉक के रूप में 400Gb/s NDR InfiniBand स्विच जो एक्सास्केल-क्लास तैनाती के लिए आवश्यक घनत्व, प्रदर्शन और बुद्धि प्रदान करता है।

2समग्र नेटवर्क आर्किटेक्चर डिजाइन

प्रस्तावित समाधान में दो-स्तरीय पत्ती-पीढ़ि टोपोलॉजी का उपयोग किया गया है, जो निर्धारक विलंबता और सरलीकृत केबलिंग के साथ एक स्केलेबल, गैर-ब्लॉकिंग कपड़े प्रदान करता है।प्रत्येक गणना रैक एक या दो से लैस है920-9B210-00FN-0D0 InfiniBand स्विच OPNओएसएफपी-टू-ओएसएफपी डायरेक्ट-एटैच कॉपर (डीएसी) या सक्रिय ऑप्टिकल केबल (एओसी) के माध्यम से जीपीयू सर्वर के लिए 400Gb/s एनडीआर कनेक्टिविटी के 64 पोर्ट प्रदान करने वाली इकाइयां।920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s एनडीआरस्विच सभी पत्ती स्विच आपस में जोड़ता है, एक पूर्ण bisection-बैंडविड्थ वसा पेड़ कपड़े बनाने।

5,000 नोड्स से अधिक के क्लस्टर के लिए, तीन-स्तरीय फोल्ड-क्लोज आर्किटेक्चर लागू किया जा सकता है,920-9B210-00FN-0D0 के साथ सभी स्तरों पर लगातार प्रदर्शन बनाए रखने के लिए पत्ती और रीढ़ दोनों के रूप में कार्य करता हैस्विच एक एकल सबनेट मैनेजर के तहत एक ही फैब्रिक में 64 स्विच तक का समर्थन करता है, जिससे बड़े पैमाने पर टोपोलॉजी का एकीकृत नियंत्रण संभव हो जाता है।

निम्नलिखित तालिका 920-9B210-00FN-0D0 के आसपास निर्मित एक 2-स्तरीय एनडीआर कपड़े के लिए प्रमुख स्केलिंग मापदंडों को सारांशित करती हैः

3. NVIDIA Mellanox 920-9B210-00FN-0D0 की भूमिका और प्रमुख विशेषताएं

इस वास्तुकला के भीतर,NVIDIA Mellanox 920-9B210-00FN-0D0मूलभूत स्विचिंग तत्व के रूप में कार्य करता है, जो कई महत्वपूर्ण क्षमताएं प्रदान करता है जो सीधे खंड 1 में निर्धारित आवश्यकताओं को संबोधित करते हैंः

• 400Gb/s NDR के 64 बंदरगाह:प्रत्येक ओएसएफपी पोर्ट विश्वसनीय विस्तारित-पहुंच कनेक्टिविटी के लिए आगे की त्रुटि सुधार (एफईसी) के साथ द्विदिश 400Gb / s का समर्थन करता है। 51.2 टीबी/एस सबसे अधिक संचार-गहन कार्यभार के लिए भी पर्याप्त हेडरूम प्रदान करता है.
• अल्ट्रा-लो कट-थ्रू विलंबताःउप-100ns पोर्ट-टू-पोर्ट विलंबता, के रूप में प्रलेखित में920-9B210-00FN-0D0 डेटाशीट, एमपीआई और आरडीएमए संचालन के लिए न्यूनतम ओवरहेड सुनिश्चित करता है।
• एकीकृत SHARPv3 (स्केलेबल पदानुक्रमित एग्रीगेशन और रिडक्शन प्रोटोकॉल):मेजबान सीपीयू से सामूहिक संचालन को ऑफलोड करता है, बड़े पैमाने पर कार्यों में 40% तक और 35% तक सभी-से-सभी विलंबता को कम करता है।
• अनुकूली मार्ग और भीड़ नियंत्रण:गतिशील रूप से हॉटस्पॉट से बचने के लिए यातायात को पुनर्निर्देशित करता है, विरोधी यातायात पैटर्न के तहत अनुमानित प्रदर्शन सुनिश्चित करता है।उन्नत टेलीमेट्री सक्रिय प्रबंधन के लिए प्रति प्रवाह और प्रति बंदरगाह दृश्यता प्रदान करती है.
• व्यापक प्रबंधनीयताःशून्य-स्पर्श प्रावधान, स्वास्थ्य निगरानी और स्वचालित विफलता के लिए एनवीआईडीआईए के एकीकृत कपड़े प्रबंधक (यूएफएम) के साथ पूर्ण एकीकरण।

द920-9B210-00FN-0D0 विनिर्देशसाथ ही दोहरी-अनावश्यक बिजली आपूर्ति, गर्म-स्वैप करने योग्य प्रशंसक मॉड्यूल, और अपर्याप्त सबनेट प्रबंधक कॉन्फ़िगरेशन के लिए समर्थन को उजागर करते हैं, मिशन-महत्वपूर्ण कार्यभार के लिए 99.999% उपलब्धता सुनिश्चित करते हैं।

4. तैनाती और स्केलेबिलिटी सिफारिशें

संगठनों के लिए जो इस योजना को अपनाने की योजना बना रहे हैं920-9B210-00FN-0D0 InfiniBand स्विच ओपीएन समाधान, निम्नलिखित तैनाती दिशानिर्देशों की सिफारिश की जाती हैः

• केबलिंग रणनीति:रैक के भीतर कनेक्शन के लिए OSFP से OSFP डीएसी केबलों का उपयोग करें (3 मीटर तक) और रैक के बीच और रीढ़ की हड्डी के लिंक के लिए एओसी या ऑप्टिकल ट्रांसीवर (100 मीटर तक) ।920-9B210-00FN-0D0 संगतएनवीआईडीआईए संगतता मैट्रिक्स के अनुसार सिग्नल अखंडता के मुद्दों से बचने के लिए।
• अपर्याप्तता:अलग-अलग पीडीयू से जुड़े दोहरी बिजली की आपूर्ति तैनात करें। विफलता के एकल बिंदुओं को समाप्त करने के लिए प्रति पत्ती कम से कम दो रीबन स्विच का उपयोग करें। मिशन-महत्वपूर्ण कार्यभार के लिए,रीढ़ की परत के स्तर पर N+1 रिडंडेंसी पर विचार करें.
• फर्मवेयर प्रबंधन:सुनिश्चित करें कि सभी स्विच समान NVIDIA फर्मवेयर संस्करण चलाते हैं. बिना डाउनटाइम के रोलिंग अपडेट के लिए UFM की स्वचालित फर्मवेयर अपग्रेड सुविधा का उपयोग करें.तैनाती से पहले होस्ट एडाप्टर और केबल के साथ फर्मवेयर संगतता सत्यापित करें.
• स्केलेबिलिटी पथः4,096 नोड्स से अधिक समूहों के लिए, एक एकल कपड़े में 64 स्विच तक का समर्थन करता है,बड़ी तैनाती के लिए गेटवे के माध्यम से आपस में जुड़े कई कपड़े के साथ.
• प्रदर्शन सत्यापनःउत्पादन की तैनाती से पहले, कपड़े के प्रदर्शन को मान्य करने के लिए ओपनफैब्रिक्स एंटरप्राइज डिस्ट्रीब्यूशन (ओएफईडी) प्रदर्शन बेंचमार्क जैसे उपकरणों का उपयोग करके व्यापक तनाव परीक्षण करें।920-9B210-00FN-0D0 डेटाशीटविनिर्देश।

कुल स्वामित्व लागत की गणना करते समय, कम रेडिक्स विकल्पों की तुलना में स्विच स्तरों और सरलीकृत केबलिंग की कम संख्या में कारक।920-9B210-00FN-0D0 कीमतप्रति यूनिट एचडीआर स्विच से अधिक है, प्रति पोर्ट लागत और प्रति जीपीयू नेटवर्क लागत बड़े पैमाने पर तैनाती में काफी कम हैं, जिससे यह एक्सास्केल परियोजनाओं के लिए एक लागत प्रभावी विकल्प बन जाता है।

5संचालन, निगरानी और समस्या निवारण

एनडीआर कपड़े के प्रभावी प्रबंधन के लिए एक व्यापक निगरानी और समस्या निवारण ढांचे की आवश्यकता होती है।NVIDIA Mellanox 920-9B210-00FN-0D0कपड़े के आधार पर, जो निम्नलिखित की पेशकश करते हैंः

• टोपोलॉजी विज़ुअलाइज़ेशनःवास्तविक समय की स्थिति अद्यतन के साथ सभी स्विच, लिंक और एंडपॉइंट की स्वचालित खोज और ग्राफिकल प्रतिनिधित्व।
• प्रदर्शन डैशबोर्डःबंदरगाह के उपयोग, त्रुटि दर, भीड़भाड़ के संकेतक और पूरे कपड़े में बफर कब्जे के वास्तविक समय के दृश्य।
• सक्रिय चेतावनीःलिंक क्षरण, तापमान असामान्यताओं, बिजली आपूर्ति विफलताओं, और केबल पहनने के लिए सीमा आधारित अलार्म।
• दोष अलगावःनिर्देशित समस्या निवारण कार्यप्रवाह जो दोषपूर्ण केबल, ट्रांससीवर या स्विच पोर्ट की पहचान करते हैं, समाधान के लिए औसत समय (एमटीटीआर) को कम करते हैं।
• ऐतिहासिक विश्लेषणःरुझान विश्लेषण और क्षमता नियोजन ऐतिहासिक प्रदर्शन डेटा के आधार पर, सक्रिय स्केलिंग निर्णयों को सक्षम करते हैं।

उन्नत समस्या निवारण के लिए, स्विच के अंतर्निहित नैदानिक उपकरणों का लाभ उठाएं, जिसमें लूपबैक परीक्षण, बीईआर (बिट त्रुटि दर) विश्लेषण और ऑप्टिकल मॉड्यूल नैदानिक निगरानी (डीओएम) शामिल हैं।आरंभिक एनडीआर तैनाती में आम मुद्दों में असमान लिंक गति के कारण उप-अनुकूल रूटिंग शामिल है, असंगत केबल प्रकार, या फर्मवेयर असंगतताएं। अनुकूलन रूटिंग को सक्षम करना, यह सत्यापित करना कि सभी लिंक FEC सक्षम के साथ 400Gb / s पर काम कर रहे हैं,और सभी स्विचों पर सुसंगत फर्मवेयर सुनिश्चित करने से अधिकांश प्रदर्शन असामान्यताएं हल हो जाती हैं.

नेटवर्क इंजीनियरों को एक आधार रेखा भी स्थापित करनी चाहिए920-9B210-00FN-0D0 विनिर्देशसत्यापन चरण के दौरान, अपेक्षित विलंबता, थ्रूपुट और त्रुटि दर सहित। इस आधार रेखा से विचलन संभावित मुद्दों के प्रारंभिक संकेतकों के रूप में इस्तेमाल किया जा सकता है।920-9B210-00FN-0D0 InfiniBand स्विच OPNयह syslog और SNMP के माध्यम से व्यापक घटना लॉगिंग का भी समर्थन करता है, जो मौजूदा डेटा सेंटर निगरानी स्टैक के साथ एकीकरण को सक्षम करता है।

6. सारांश और मूल्य निर्धारण

द920-9B210-00FN-0D0एनडीआर आधारित एचपीसी और एआई क्लस्टर बनाने या विस्तारित करने वाले संगठनों के लिए एक आकर्षक मूल्य प्रस्ताव प्रदान करता है। यह उप-100ns विलंबता के साथ 400Gb/s एनडीआर के 64 पोर्ट प्रदान करता है, SHARPv3 ऑफलोड,उद्यम-स्तरीय प्रबंधनीयता, और मौजूदा एचडीआर पारिस्थितिकी तंत्र के साथ पूर्ण संगतता एक कॉम्पैक्ट 1 यू प्लेटफॉर्म में।

• प्रदर्शनःSHARPv3 ऑफलोडिंग और एनडीआर बैंडविड्थ के माध्यम से सभी-से-सभी संचार विलंबता में 75% तक की कमी और सभी-कम विलंबता में 40% तक की कमी।
• लागत दक्षताःबड़े पैमाने पर तैनाती में एचडीआर विकल्पों की तुलना में प्रति जीपीयू कम नेटवर्किंग लागत, उच्च रेडिक्स और कम स्विच-लेयर गिनती द्वारा संचालित।
• परिचालन सरलता:एकीकृत प्रबंधन, स्वचालित प्रावधान, सक्रिय निगरानी और तेजी से दोष समाधान के लिए यूएफएम के साथ गहन एकीकरण।
• निवेश संरक्षण:मौजूदा एचडीआर केबलों, ऑप्टिक्स और सॉफ्टवेयर स्टैक के साथ पूर्ण संगतता, उत्पादन कार्यभार को बाधित किए बिना चरणबद्ध उन्नयन को सक्षम करती है।
• भविष्य के लिए स्केलेबिलिटीःतीन-स्तरीय फोल्ड-क्लोस और ड्रैगनफ्लाई+ टोपोलॉजी के लिए समर्थन, यह सुनिश्चित करना कि कम्प्यूटिंग मांगें बढ़ने के साथ फैब्रिक 8,000+ नोड्स तक स्केल कर सके।

संगठनों के लिए920-9B210-00FN-0D0 बिक्री के लिएएनवीडिया के चैनल भागीदारों के माध्यम से, हम विस्तृत समीक्षा करने की सलाह देते हैं920-9B210-00FN-0D0 डेटाशीटऔर अपने विशिष्ट कार्यभार और पैमाने की आवश्यकताओं के लिए डिजाइन को मान्य करने के लिए एक प्रमाणित समाधान वास्तुकार के साथ जुड़ना।NVIDIA Mellanox 920-9B210-00FN-0D0आज उत्पादन के लिए तैयार है, जो कि अगली पीढ़ी के एआई और एचपीसी नवाचार के लिए एक उच्च प्रदर्शन, स्केलेबल इंटरकनेक्ट आधार प्रदान करता है।