मेलानॉक्स (NVIDIA मेलानॉक्स) 920-9B210-00FN-0D0 इनफिनीबैंड स्विच अभ्यास में

मेलानॉक्स (NVIDIA मेलानॉक्स) 920-9B210-00FN-0D0 इनफिनीबैंड स्विच अभ्यास में | आरडीएमए/एचपीसी/एआई क्लस्टर के लिए कम विलंबता इंटरकनेक्ट अनुकूलन

पृष्ठभूमि और चुनौतियाँ: जब क्लस्टर स्केल इंटरकनेक्ट बाधाओं को पूरा करता है

एक अग्रणी इंटरनेट कंपनी के एआई अनुसंधान प्रभाग ने खुद को एक परिचित चौराहे पर पाया। जीपीयू सर्वरों का उनका बढ़ता बेड़ा - कई रैक तक फैला हुआ है और बड़े भाषा मॉडल प्रशिक्षण के लिए तेजी से उपयोग किया जा रहा है - अप्रत्याशित कार्य पूरा होने के समय से पीड़ित था। मौजूदा ईथरनेट-आधारित फैब्रिक, जबकि सामान्य प्रयोजन के कार्यभार के लिए पर्याप्त है, वितरित प्रशिक्षण के सिंक्रनाइज़, तेज़ ट्रैफ़िक पैटर्न को संभाल नहीं सकता है। पैकेट ड्रॉप्स और इनकास्ट कंजेशन के कारण ऑल-रिड्यूस ऑपरेशन नियमित रूप से रुक जाएगा, जिससे प्रशिक्षण चक्र दिनों से लेकर हफ्तों तक बढ़ जाएगा। बुनियादी ढांचे की टीम को अपने बैकएंड नेटवर्क में आरडीएमए ट्रैफ़िक को संभालने के तरीके में एक मौलिक बदलाव की आवश्यकता थी, और उन्हें अपने संपूर्ण डेटा सेंटर आर्किटेक्चर को ओवरहाल किए बिना इसकी आवश्यकता थी।

समाधान डिज़ाइन: 920-9B210-00FN-0D0 InfiniBand स्विच OPN का परिनियोजन

कई इंटरकनेक्ट विकल्पों का मूल्यांकन करने के बाद, टीम ने इसका चयन कियामेलानॉक्स (NVIDIA मेलानॉक्स) 920-9B210-00FN-0D0उनके नए बैकएंड फैब्रिक की आधारशिला के रूप में। तैनाती दो-स्तरीय लीफ-स्पाइन टोपोलॉजी के आसपास केंद्रित है, जिसमें प्रत्येक लीफ स्विच 400Gb/s लिंक के माध्यम से 40 GPU नोड्स तक कनेक्ट होता है।920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRवेरिएंट को विशेष रूप से इसके नॉन-ब्लॉकिंग आर्किटेक्चर और एकीकृत SHARPv3 इन-नेटवर्क कंप्यूटिंग क्षमताओं के लिए चुना गया था। इसने टीम को सामूहिक संचार संचालन को सीधे स्विच फैब्रिक पर लोड करने, सीपीयू ओवरहेड को कम करने और वास्तविक गणना के लिए जीपीयू चक्र को मुक्त करने की अनुमति दी।

भौतिक परिनियोजन के संदर्भ में, मौजूदा हॉट-आइज़ल/कोल्ड-आइज़ल कॉन्फ़िगरेशन से मेल खाने के लिए फ्रंट-टू-बैक एयरफ्लो के साथ स्विच स्थापित किए गए थे। टीम ने इसका फायदा उठाया920-9B210-00FN-0D0 डेटाशीटबिजली और शीतलन आवश्यकताओं को सत्यापित करने के लिए, उनकी मौजूदा बिजली वितरण इकाइयों में निर्बाध एकीकरण सुनिश्चित करने के लिए। क्यूएसएफपी-डीडी ट्रांससीवर्स का उपयोग करके केबलिंग को लगातार बनाए रखा गया था920-9B210-00FN-0D0 संगतऑप्टिक्स को पूरे लिंक बजट में मान्य किया गया है, जिसमें 100 मीटर तक फैले स्पाइन-टू-लीफ कनेक्शन भी शामिल हैं।

परिनियोजन दृष्टिकोण: चरण-दर-चरण एकीकरण

• चरण 1 - लैब सत्यापन:विलंबता और थ्रूपुट को बेंचमार्क करने के लिए 8 जीपीयू नोड्स और दो स्विच के साथ एक छोटे पैमाने पर परीक्षण किया गया था।NVIDIA मेलानॉक्स 920-9B210-00FN-0D0उप-600एनएस स्विच विलंबता का प्रदर्शन किया, जो पिछली एचडीआर पीढ़ी की तुलना में 60% सुधार है।
• चरण 2 - चरणबद्ध रोलआउट:टीम ने वास्तविक समय में लिंक स्वास्थ्य और कंजेशन मेट्रिक्स की निगरानी के लिए NVIDIA के यूनिफाइड फैब्रिक मैनेजर का उपयोग करते हुए एक समय में एक प्रशिक्षण पॉड को स्थानांतरित किया। इससे चल रहे उत्पादन कार्यभार में व्यवधान कम हो गया।
• चरण 3 - पूर्ण पैमाने पर एकीकरण:सभी 18 स्विचों को तीन रैक पर तैनात किया गया, जिससे 400 जीबी/एस अपलिंक के साथ पूरी तरह से गैर-अवरुद्ध रीढ़ बन गई। ट्रैफिक को गतिशील रूप से संतुलित करने और पीक जॉब सबमिशन के दौरान ओवरसब्सक्रिप्शन से बचने के लिए अनुकूली रूटिंग को सक्षम किया गया था।

पूरे परिनियोजन के दौरान, इंजीनियरिंग टीम ने व्यापक का उल्लेख किया920-9B210-00FN-0D0 विनिर्देशबफ़र सेटिंग्स और कंजेशन नियंत्रण मापदंडों को ठीक करने के लिए। स्विच की उन्नत टेलीमेट्री ने प्रति-पोर्ट त्रुटि गणना और लिंक उपयोग में विस्तृत दृश्यता प्रदान की, जिससे सक्रिय रखरखाव और क्षमता नियोजन सक्षम हो गया।

मापने योग्य परिणाम और परिचालन लाभ

पूर्ण पैमाने पर तैनाती के दो सप्ताह के भीतर, सुधार स्पष्ट थे। मानक 1,024-जीपीयू प्रशिक्षण कार्य के लिए पूर्णता समय 12.3 सेकंड से घटकर 7.8 सेकंड हो गया, जो संचार ओवरहेड में 37% की कमी का प्रतिनिधित्व करता है। एक विशिष्ट जीपीटी-शैली मॉडल के लिए कार्य पूरा होने के समय में लगभग 30% का सुधार हुआ, जिससे अनुसंधान टीम को तेजी से पुनरावृत्ति करने और प्रति सप्ताह अधिक प्रयोग चलाने की अनुमति मिली। बिल्ट-इन SHARPv3 इंजन ने औसतन 18% सामूहिक संचालन को ऑफलोड किया, जिसका सीधा मतलब उच्च GPU उपयोग और प्रति प्रशिक्षण रन में कम ऊर्जा खपत है।

परिचालनात्मक रूप से, आईटी टीम ने नेटवर्क से संबंधित कार्य विफलताओं की संख्या कम बताई और लिंक-स्तरीय समस्याओं के निदान में काफी कम समय बिताया।920-9B210-00FN-0D0 InfiniBand स्विच OPN समाधानतीन महीने की अवलोकन अवधि के दौरान शून्य अनियोजित आउटेज के साथ, उल्लेखनीय रूप से स्थिर साबित हुआ। एकीकृत प्रबंधन इंटरफ़ेस ने नेटवर्क संचालन टीम के लिए सीखने की अवस्था को कम कर दिया, जो अब कांच के एक ही फलक के माध्यम से पूरे कपड़े का प्रबंधन कर सकता था।

लागत और खरीद संबंधी विचार

जबकि प्रारंभिक920-9B210-00FN-0D0 कीमतस्विच को बाज़ार के प्रीमियम छोर पर स्थित करते हुए, स्वामित्व विश्लेषण की कुल लागत एक अलग कहानी बताती है। कार्य पूरा करने के समय को कम करके और GPU उपयोग में सुधार करके, संगठन ने समतुल्य गणना क्षमता के लिए क्लाउड इंस्टेंस लागत में 22% की कमी हासिल की। इसके अलावा,920-9B210-00FN-0D0 बिक्री हेतुकई चैनल भागीदारों के माध्यम से प्रतिस्पर्धी बोली की अनुमति दी गई, और NVIDIA मेलानॉक्स से दीर्घकालिक समर्थन प्रतिबद्धता ने निवेश में विश्वास प्रदान किया।

सारांश और आउटलुक: अगली पीढ़ी के एआई इन्फ्रास्ट्रक्चर के लिए एक ब्लूप्रिंट

की तैनातीमेलानॉक्स (NVIDIA मेलानॉक्स) 920-9B210-00FN-0D0यह बड़े पैमाने पर एआई अनुसंधान सुविधा समान इंटरकनेक्ट चुनौतियों का सामना करने वाले संगठनों के लिए एक सम्मोहक संदर्भ वास्तुकला के रूप में कार्य करती है। 400 जीबी/एस एनडीआर गति, सब-माइक्रोसेकंड विलंबता और इन-नेटवर्क कंप्यूटिंग क्षमताओं का संयोजन आरडीएमए-आधारित एचपीसी और एआई क्लस्टर के मुख्य समस्या बिंदुओं को संबोधित करता है। नेटवर्क आर्किटेक्ट इसके लचीलेपन की सराहना करेंगे920-9B210-00FN-0D0 इनफिनीबैंड स्विच ओपीएनविभिन्न टोपोलॉजी में, जबकि आईटी प्रबंधक मजबूत प्रबंधन टूल और व्यापक पर भरोसा कर सकते हैं920-9B210-00FN-0D0 डेटाशीटक्षमता नियोजन के लिए.

आगे देखते हुए, संगठन पहले से ही बड़े जीपीयू क्लस्टर का समर्थन करने के लिए फैब्रिक का विस्तार करने की योजना बना रहा है, जिसमें अतिरिक्त स्टोरेज ऑफलोड और सुरक्षा अलगाव के लिए ब्लूफील्ड -3 डीपीयू का एकीकरण शामिल है।920-9B210-00FN-0D0 संगतपारिस्थितिकी तंत्र यह सुनिश्चित करता है कि भविष्य के उन्नयन - चाहे नए एनआईसी या ऑप्टिकल प्रौद्योगिकियों के लिए - निर्बाध रूप से समर्थित होंगे। बड़े पैमाने पर एआई या एचपीसी वर्कलोड तैनात करने वाले किसी भी उद्यम के लिए, यह स्विच न केवल एक वृद्धिशील उन्नयन का प्रतिनिधित्व करता है बल्कि बड़े पैमाने पर प्रदर्शन का एक मौलिक प्रवर्तक है।