NVIDIA Mellanox 920-9B110-00FH-0D0 प्रैक्टिस मेंः एचपीसी और एआई क्लस्टर के लिए कम विलंबता आरडीएमए कपड़े का अनुकूलन

एनवीडिया मेलानॉक्स 920-9बी110-00एफएच-0डी0 व्यवहार में: एचपीसी और एआई क्लस्टर के लिए कम-विलंबता आरडीएमए फैब्रिक का अनुकूलन

पृष्ठभूमि और चुनौती: जब एचडीआर प्रदर्शन बजट वास्तविकता से मिलता है

एक मध्यम आकार की एआई अनुसंधान प्रयोगशाला को हाल ही में एक परिचित चुनौती का सामना करना पड़ा: उनका मौजूदा 100जीबी/एस ईडीआर इन्फिनीबैंड फैब्रिक उनके बढ़ते जीपीयू क्लस्टर के लिए एक बाधा बन रहा था, जो 128 से 512 एनवीडिया ए100 नोड्स तक बढ़ गया था। बड़े पैमाने पर ट्रांसफार्मर मॉडल के प्रशिक्षण समय में नेटवर्क की भीड़ के कारण ऑल-रिड्यूस संचालन के दौरान 40% से अधिक की वृद्धि हुई थी, और टीम को एक ऐसे अपग्रेड की आवश्यकता थी जो 400जीबी/एस एनडीआर परिनियोजन के लिए आवश्यक पूंजीगत व्यय के बिना पर्याप्त प्रदर्शन लाभ प्रदान कर सके।

प्रयोगशाला ने कई विकल्पों का मूल्यांकन किया और प्रदर्शन और लागत का आदर्श संतुलन के रूप में 200जीबी/एस एचडीआर की पहचान की। हालांकि, उन्हें एक ऐसे स्विच की आवश्यकता थी जो उच्च पोर्ट घनत्व, उन्नत भीड़ नियंत्रण और उनके मौजूदा एचडीआर-संगत केबलों और ट्रांससीवर के साथ निर्बाध एकीकरण प्रदान कर सके। यहीं पर एनवीडिया मेलानॉक्स 920-9बी110-00एफएच-0डी0 तस्वीर में आया - एक स्विच जो विशेष रूप से उन वातावरणों के लिए बनाया गया है जहां एचडीआर ओवरप्रोविजनिंग के बिना पर्याप्त बैंडविड्थ प्रदान करता है।

समाधान और परिनियोजन: लागत-अनुकूलित एचडीआर फैब्रिक

प्रयोगशाला ने अपने नए लीफ-स्पाइन आर्किटेक्चर के आधार के रूप में 920-9बी110-00एफएच-0डी0 इन्फिनीबैंड स्विच ओपेन (ऑर्डरिंग पार्ट नंबर) को तैनात किया। प्रत्येक कंप्यूट रैक को एक MQM8790-HS2F-आधारित स्विच मिला - 920-9बी110-00एफएच-0डी0 MQM8790-HS2F 200जीबी/एस एचडीआर के अंतर्निहित सिलिकॉन प्लेटफॉर्म - ओएसएफपी-टू-ओएसएफपी डायरेक्ट-अटैच केबलों के माध्यम से जीपीयू सर्वर को 200जीबी/एस कनेक्टिविटी के 40 पोर्ट प्रदान करता है। स्पाइन परत पर, चार अतिरिक्त 920-9बी110-00एफएच-0डी0 स्विच ने सभी लीफ स्विच को इंटरकनेक्ट किया, जिससे पूर्ण बाईसेक्शन बैंडविड्थ के साथ एक नॉन-ब्लॉकिंग फैट-ट्री फैब्रिक बनाया गया।

इस परिनियोजन को विशेष रूप से प्रभावी बनाने वाली बात स्विच की एकीकृत एसएचएआरपीवी2 (स्केलेबल हायरार्किकल एग्रीगेशन एंड रिडक्शन प्रोटोकॉल) तकनीक थी, जिसने सामूहिक संचार संचालन को सीधे स्विच फैब्रिक पर ऑफलोड कर दिया। व्यवहार में, इसका मतलब था कि ऑल-रिड्यूस संचालन, जिसने पहले महत्वपूर्ण होस्ट सीपीयू चक्रों और नेटवर्क बैंडविड्थ का उपभोग किया था, अब फैब्रिक में एक ही पास में पूरा हो गया था - जिससे जॉब पूर्णता समय नाटकीय रूप से कम हो गया।

920-9बी110-00एफएच-0डी0 डेटाशीट के अनुसार, स्विच सब-200ns कट-थ्रू विलंबता प्रदान करता है, जो प्रयोगशाला की प्रदर्शन आवश्यकताओं के करीब था। इंजीनियरिंग टीम ने यह भी पुष्टि की कि 920-9बी110-00एफएच-0डी0 संगत पारिस्थितिकी तंत्र में वे सभी केबल प्रकार और ऑप्टिक्स शामिल थे जिन पर उन्होंने पहले ही मानकीकरण कर लिया था, जिससे महंगे रीकेबलिंग प्रयासों की आवश्यकता समाप्त हो गई।

परिणाम और मापने योग्य लाभ: बाधा से सक्षमकर्ता तक

परिनियोजन के बाद, प्रयोगशाला ने कई महत्वपूर्ण आयामों में सुधार मापा:

• जॉब पूर्णता समय में कमी: 13बी-पैरामीटर मॉडल के लिए प्रशिक्षण पुनरावृति 35% कम हो गई, जिसमें ऑल-रिड्यूस विलंबता विशिष्ट सामूहिक आकारों के लिए 12μs से घटकर 5μs से कम हो गई।
• नेटवर्क उपयोग: भीड़ को ट्रिगर किए बिना औसत फैब्रिक उपयोग 58% से बढ़कर 83% हो गया, जो स्विच के अनुकूली रूटिंग और भीड़ नियंत्रण तंत्र के कारण था।
• बिजली और शीतलन दक्षता: पिछले ईडीआर फैब्रिक की तुलना में, नए एचडीआर बुनियादी ढांचे ने प्रति-पोर्ट बिजली की खपत को 30% कम कर दिया, जिससे प्रयोगशाला को अपने डेटा सेंटर बिजली बजट से अधिक हुए बिना अधिक कंप्यूट नोड्स जोड़ने की अनुमति मिली।

कुल स्वामित्व लागत के दृष्टिकोण से, 920-9बी110-00एफएच-0डी0 मूल्य प्रति पोर्ट एनडीआर विकल्पों की तुलना में काफी कम था, जिससे प्रयोगशाला को अपने मौजूदा बजट के भीतर अपने पूरे फैब्रिक को अपग्रेड करने में सक्षम बनाया गया। 920-9बी110-00एफएच-0डी0 विनिर्देश ने स्विच की दोहरी-अतिरिक्त बिजली आपूर्ति और हॉट-स्वैपेबल फैन मॉड्यूल को भी उजागर किया, जिसने उनके उत्पादन प्रशिक्षण नौकरियों के लिए 99.999% उपलब्धता के प्रयोगशाला के लक्ष्य में योगदान दिया।

नेटवर्क इंजीनियरों ने नोट किया कि 920-9बी110-00एफएच-0डी0 इन्फिनीबैंड स्विच ओपेन समाधान एनवीडिया के यूनिफाइड फैब्रिक मैनेजर (यूएफएम) के साथ निर्बाध रूप से एकीकृत हो गया, जिससे फैब्रिक स्वास्थ्य और स्वचालित अलर्टिंग में केंद्रीकृत दृश्यता प्रदान की गई। इसने समस्या निवारण और सक्रिय रखरखाव पर खर्च किए गए समय को काफी कम कर दिया, जिससे टीम को नेटवर्क का प्रबंधन करने के बजाय अपने प्रशिक्षण पाइपलाइन को अनुकूलित करने पर ध्यान केंद्रित करने के लिए मुक्त किया गया।

सारांश और दृष्टिकोण: सही आकार का एचडीआर फाउंडेशन

एनवीडिया मेलानॉक्स 920-9बी110-00एफएच-0डी0 इस अनुसंधान प्रयोगशाला के लिए सही विकल्प साबित हुआ, जिसने 200जीबी/एस एचडीआर के प्रदर्शन को एक लागत संरचना पर वितरित किया जो व्यावसायिक रूप से समझ में आता था। स्विच के 40-पोर्ट घनत्व, इन-नेटवर्क कंप्यूटिंग क्षमताओं और मजबूत प्रबंधन सुविधाओं का लाभ उठाकर, प्रयोगशाला ने अपने नेटवर्क को प्रदर्शन बाधा से भविष्य के विकास के लिए एक स्केलेबल नींव में बदल दिया।

आगे देखते हुए, प्रयोगशाला अगले 18 महीनों में अपने क्लस्टर को 1,024 नोड्स तक बढ़ाने की योजना बना रही है। कई स्पाइन टियर के माध्यम से बड़े टोपोलॉजी के लिए 920-9बी110-00एफएच-0डी0 के समर्थन के साथ, उन्हें विश्वास है कि उनका नेटवर्क उनकी कंप्यूट क्षमता के साथ बढ़ सकता है। अपने एचडीआर बुनियादी ढांचे के विकल्पों का मूल्यांकन करने वाले संगठनों के लिए, 920-9बी110-00एफएच-0डी0 बिक्री के लिए एनवीडिया के चैनल भागीदारों के माध्यम से एक सम्मोहक, उत्पादन-मान्य समाधान प्रदान करता है जो प्रदर्शन, घनत्व और लागत को संतुलित करता है।