NVIDIA Mellanox 920-9B210-00FN-0D0 व्यवहार में: ट्रिलियन-पैरामीटर AI क्लस्टर के लिए NDR लो-लेटेंसी फैब्रिक का निर्माण

NVIDIA Mellanox 920-9B210-00FN-0D0 प्रैक्टिस मेंः ट्रिलियन-पैरामीटर एआई क्लस्टर के लिए एक एनडीआर कम विलंबता कपड़े का निर्माण

पृष्ठभूमि और चुनौतीः जब एचडीआर ट्रिलियन-पैरामीटर मॉडल से मिलता है

एक अग्रणी एआई अनुसंधान संगठन ने हाल ही में अपने बड़े भाषा मॉडल प्रशिक्षण समूह को 1,024 से 4,096 NVIDIA H100 GPUs तक बढ़ाया है, जिसका उद्देश्य प्रशिक्षण समयरेखा को संकुचित करना है।8 ट्रिलियन पैरामीटर के स्पर्स एमओई (विशेषज्ञों का मिश्रण) मॉडल महीने से लेकर दो सप्ताह से भी कमहालांकि, प्रारंभिक सत्यापन के दौरान, टीम ने अपने मौजूदा 200Gb/s HDR कपड़े पर सभी-से-सभी संचार चरण में गंभीर भीड़ का निरीक्षण किया,इसके कारण GPU का उपयोग अपेक्षित 85% से घटकर 52% रह गया है जो कि अपने महत्वाकांक्षी प्रशिक्षण समय सीमा को पूरा करने के लिए आवश्यक सीमा से बहुत नीचे है।.

नेटवर्क विश्लेषण से पता चला है कि एमओई वास्तुकला में अंतर्निहित सभी-से-सभी सामूहिक संचालन,एचडीआर लिंक को संतृप्त कर रहे थे और भीड़ नियंत्रण तंत्र को ट्रिगर कर रहे थे जो विलंबता को और बढ़ा रहे थे. संगठन एक कपड़े है कि निर्धारक वितरित कर सकते हैं की जरूरत है,हजारों एंडपॉइंट्स पर उप-माइक्रोसेकंड विलंबता, जबकि प्रदर्शन में गिरावट के बिना ट्रैफ़िक फटकों को अवशोषित करने के लिए बैंडविड्थ हेडरूम प्रदान करनायह ठीक वही चुनौती है जोNVIDIA Mellanox 920-9B210-00FN-0D0को संबोधित करने के लिए डिज़ाइन किया गया था।

समाधान और तैनातीः एक्सैस्केल एआई के लिए 400Gb/s एनडीआर फैब्रिक

संगठन ने920-9B210-00FN-0D0 InfiniBand स्विच OPN(ऑर्डर पार्ट नंबर) के रूप में एक नए दो-स्तरीय पत्ती रीढ़ के कपड़े की नींव के रूप में। पत्ती परत पर, प्रत्येक रैक में दो920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s एनडीआरस्विच, जो कि ओएसएफपी से ओएसएफपी सक्रिय ऑप्टिकल केबलों के माध्यम से रैक प्रति 64 डबल-पोर्ट एच 100 सर्वर के लिए 400 जीबी/एस कनेक्टिविटी के 128 पोर्ट प्रदान करते हैं। रीढ़ की परत पर,16 अतिरिक्त 920-9B210-00FN-0D0 स्विच आपस में जुड़े सभी पत्ती स्विच, एक गैर-अवरुद्ध वसा-पेड़ बनाने के लिए 51 Tb/s प्रति रीढ़ की परत के पूर्ण bisection बैंडविड्थ के साथ।

इस समाधान को विशेष रूप से आकर्षक बनाने वाला स्विच की एकीकृत SHARPv3 (स्केलेबल हाइरार्चिकल एग्रीगेशन एंड रिडक्शन प्रोटोकॉल) तकनीक थी।सभी के लिए सभी संचार सीधे स्विच कपड़े पर उतार दिया गया था, स्विच नेटवर्क में डेटा को कम करने और पुनर्वितरण करने के साथ। इससे कई होस्ट-साइड पासों की आवश्यकता समाप्त हो गई,नाटकीय रूप से संचार ओवरहेड को कम करने के लिए जो पिछले एचडीआर तैनाती से पीड़ित था.

के अनुसार920-9B210-00FN-0D0 डेटाशीट, स्विच 100 एनएस से कम कट-थ्रू विलंबता प्रदान करता है, जिसे अवधारणा के प्रमाण के चरण के दौरान मान्य किया गया था।920-9B210-00FN-0D0 संगतओएसएफपी ऑप्टिक्स और केबलों को शामिल किया, जो वे पहले से ही योग्य थे, खरीद में देरी को समाप्त करते हुए।920-9B210-00FN-0D0 विनिर्देशदोहरे अतिरिक्त बिजली आपूर्ति और गर्म-स्वैप करने योग्य प्रशंसकों सहित, टीम को उत्पादन क्लस्टर के लिए 99.999% उपलब्धता लक्ष्य को प्राप्त करने में विश्वास दिलाया।

परिणाम और मापने योग्य लाभः बाधा से सक्षम करने वाला

एनडीआर के पूरे ढांचे को तैनात करने और एमओई प्रशिक्षण कार्य को फिर से शुरू करने के बाद, संगठन ने कई आयामों में परिवर्तनकारी सुधारों को मापाः

• जीपीयू उपयोग पुनर्प्राप्तिःऔसत जीपीयू उपयोग 52% से बढ़कर 89% हो गया, जिसमें पीक उपयोग 94% तक पहुंच गया, जो कि कम्प्यूटिंग-गहन चरणों के दौरान नेटवर्क-प्रेरित स्टॉल को समाप्त करने का प्रत्यक्ष परिणाम है।
• सभी-से-सभी विलंबता में कमीः4,096 जीपीयू में पूर्ण ऑल-टू-ऑल एक्सचेंज के लिए आवश्यक समय 180 एमएस से गिरकर 45 एमएस से कम हो गया, जो 75% सुधार है जो सीधे तेजी से प्रशिक्षण पुनरावृत्तियों में अनुवाद करता है।
• कार्य पूरा होने का समयः1.8T एमओई मॉडल के लिए अनुमानित प्रशिक्षण समय सीमा 14 दिनों से घटाकर केवल 9 दिन कर दी गई, जिससे 36% की तेजी आई, जिससे बाजार में आने का समय और क्लाउड कंप्यूटिंग की लागत दोनों में काफी कमी आई।
• परिचालन दक्षताःप्रति स्विच 64 पोर्ट के साथ, 40 पोर्ट एचडीआर डिजाइन की तुलना में आवश्यक स्पाइन स्विच की संख्या 37% कम हो गई, केबलिंग को सरल बनाया गया और प्रति रैक बिजली की खपत 28% कम हो गई।

स्वामित्व की कुल लागत के दृष्टिकोण से, संगठन की वित्त टीम ने कहा कि जबकि920-9B210-00FN-0D0 कीमतप्रति यूनिट एचडीआर विकल्प की तुलना में अधिक था, प्रति जीपीयू नेटवर्क लागत वास्तव में अधिक रेडिक्स और कम स्विच-लेयर की संख्या के कारण कम हो गई। यह आर्थिक लाभ,नाटकीय प्रदर्शन लाभ के साथ संयुक्त, ने एनडीआर के उन्नयन को एक स्पष्ट व्यावसायिक जीत बना दिया।920-9B210-00FN-0D0 InfiniBand स्विच ओपीएन समाधानइसके साथ ही अपने मौजूदा एनवीडिया यूएफएम तैनाती के साथ एकीकृत किया गया, जो केंद्रीकृत दृश्यता और स्वचालित अलर्टिंग प्रदान करता है जिसने परिचालन ओवरहेड को 40% तक कम कर दिया।

सारांश और दृष्टिकोणः अगली पीढ़ी के एआई के लिए एनडीआर फाउंडेशन

दNVIDIA Mellanox 920-9B210-00FN-0D0इस एआई अनुसंधान संगठन को अपने 4,096-जीपीयू एच 100 क्लस्टर की पूरी क्षमता को उजागर करने के लिए आवश्यक परिवर्तनकारी समाधान साबित हुआ। 400Gb / s एनडीआर बैंडविड्थ, 64-पोर्ट घनत्व,और SHARPv3 इन-नेटवर्क कंप्यूटिंग, स्विच ने उन्हें प्रदर्शन या प्रबंधनीयता से समझौता किए बिना 1,024 से 4,096 जीपीयू तक स्केल करने में सक्षम बनाया, एक उपलब्धि जो उनके पिछले एचडीआर बुनियादी ढांचे के साथ असंभव होगी।

आगे देखते हुए, संगठन अगले 18 महीनों के भीतर 8,192 जीपीयू तक विस्तार करने की योजना बना रहा है,920-9B210-00FN-0D0 बिक्री के लिएएनवीआईडीआईए के चैनल भागीदारों के माध्यम से एक और भी बड़ा तीन-स्तरीय तह-बंद कपड़े का निर्माण करने के लिए।920-9B210-00FN-0D0 एक सिद्ध, उत्पादन के लिए तैयार समाधान जो एक्सैस्केल पर कम विलंबता वाले आरडीएमए इंटरकनेक्ट अनुकूलन के वादे को पूरा करता है।