मेलानॉक्स (एनवीडिया मेलानॉक्स) MQM8790-HS2F इन्फिनिबैंड स्विच तकनीकी समाधान

मेलानॉक्स (एनवीडिया मेलानॉक्स) MQM8790-HS2F इन्फिनीबैंड स्विच तकनीकी समाधान | RDMA/HPC/AI क्लस्टर के लिए लो-लेटेंसी इंटरकनेक्ट ऑप्टिमाइज़ेशन

परियोजना पृष्ठभूमि और आवश्यकता विश्लेषण

जैसे-जैसे AI बड़े-मॉडल प्रशिक्षण और HPC वैज्ञानिक कंप्यूटिंग बड़े पैमाने पर फैलते हैं, कंप्यूट क्लस्टर के लिए मुख्य चुनौती सिंगल-नोड कंप्यूट पावर से इंटर-नोड संचार दक्षता की ओर स्थानांतरित हो गई है। RDMA नेटवर्क सामूहिक संचालन, स्टोरेज एक्सेस और चेकपॉइंट ट्रैफ़िक के लिए ट्रांसपोर्ट बैकबोन के रूप में काम करते हैं, और उनका व्यवहार सीधे समग्र क्लस्टर उपयोगिता को निर्धारित करता है।

इन परियोजनाओं में विशिष्ट आवश्यकताएं शामिल हैं:

• प्रति नोड उच्च बैंडविड्थ: GPU सर्वर को मल्टी-GPU प्रशिक्षण वर्कलोड के साथ तालमेल बिठाने के लिए तेजी से 200Gb/s या उससे अधिक की आवश्यकता होती है।
• अनुमानित कम विलंबता: AllReduce और पैरामीटर सिंक्रनाइज़ेशन टेल लेटेंसी के प्रति संवेदनशील होते हैं, न कि केवल औसत विलंबता के।
• स्केलेबिलिटी: फैब्रिक को टोपोलॉजी को फिर से डिज़ाइन किए बिना दसियों नोड्स से सैकड़ों या हजारों तक बढ़ने में सक्षम होना चाहिए।
• प्रबंधनीयता: संचालन टीमों को धीमे नोड्स और गलत कॉन्फ़िगर किए गए लिंक को अलग करने के लिए टेलीमेट्री और कंजेशन दृश्यता की आवश्यकता होती है।

MQM8790-HS2F को 200Gb/s HDR इन्फिनीबैंड स्विच प्लेटफ़ॉर्म के रूप में इन आवश्यकताओं को पूरा करने के लिए तैनात किया गया है।

समग्र नेटवर्क और सिस्टम आर्किटेक्चर डिज़ाइन

अनुशंसित आर्किटेक्चर एक नॉन-ब्लॉकिंग टू-टियर फैट-ट्री है, जिसमें MQM8790-HS2F स्विच से निर्मित एक स्पाइन लेयर और कंप्यूट और स्टोरेज नोड्स को जोड़ने वाली एक लीफ लेयर है। यह डिज़ाइन समान पूर्व-पश्चिम बैंडविड्थ और अनुमानित पथ विविधता प्रदान करता है, जो RDMA ट्रैफ़िक पैटर्न के लिए आवश्यक है।

मुख्य आर्किटेक्चरल निर्णय शामिल हैं:

• एंड-टू-एंड HDR: ConnectX-6 या ConnectX-7 एडॉप्टर से लैस कंप्यूट नोड्स 200Gb/s पर लीफ स्विच से कनेक्ट होते हैं, जो एक MQM8790-HS2F संगत एंड-टू-एंड पाथ बनाते हैं।
• स्पाइन क्षमता: प्रत्येक MQM8790-HS2F 200Gb/s HDR 40-पोर्ट QSFP56 स्विच 200Gb/s पर 40 पोर्ट प्रदान करता है, जो ओवरसब्सक्रिप्शन लक्ष्यों के आधार पर लचीले अपलिंक और डाउनलिंक आवंटन की अनुमति देता है।
• स्टोरेज फैब्रिक: पैरेलल स्टोरेज और NVMe-ओवर-फैब्रिक्स लक्ष्य स्टोरेज ट्रैफ़िक को प्रशिक्षण ट्रैफ़िक से अलग करने के लिए समर्पित लीफ समूहों पर रखे जा सकते हैं।
• प्रबंधन प्लेन: आउट-ऑफ-बैंड प्रबंधन और टेलीमेट्री संग्रह डेटा प्लेन से अलग किया जाता है ताकि हस्तक्षेप से बचा जा सके।

मेलानॉक्स (एनवीडिया मेलानॉक्स) MQM8790-HS2F की भूमिका और मुख्य विशेषताएं

इस समाधान में, मेलानॉक्स (एनवीडिया मेलानॉक्स) MQM8790-HS2F स्पाइन स्विचिंग तत्व के रूप में कार्य करता है, जो लीफ ट्रैफ़िक को एकत्रित करता है और इन-नेटवर्क कंप्यूटिंग को सक्षम बनाता है। इसकी भूमिका केवल अग्रेषण तक सीमित नहीं है: यह सामूहिक संचार ओवरहेड को भी कम करता है और फैब्रिक दक्षता में सुधार करता है।

मुख्य तकनीकी विशेषताएं शामिल हैं:

• 40 × 200Gb/s HDR पोर्ट: 1U फॉर्म फैक्टर में 16Tb/s तक का कुल थ्रूपुट, HDR, EDR और FDR गति के लिए अनुकूली समर्थन के साथ।
• SHARP इन-नेटवर्क कंप्यूटिंग: AllReduce और संबंधित सामूहिक संचालन को स्विच पर ऑफ़लोड करता है, GPU और CPU भागीदारी को कम करता है।
• अनुकूली रूटिंग: हॉट स्पॉट को कम करता है और कई पथों पर लोड संतुलन में सुधार करता है।
• कंजेशन नियंत्रण: लोड के तहत विलंबता को स्थिर रखने के लिए DCQCN और संबंधित तंत्रों का समर्थन करता है।
• सॉफ़्टवेयर इकोसिस्टम: MLNX-OS द्वारा प्रबंधित और UFM और NetQ के माध्यम से निगरानी की जाती है।

आर्किटेक्ट्स को रैक लेआउट को अंतिम रूप देने से पहले पावर, कूलिंग और पोर्ट-स्प्लिट विवरण के लिए MQM8790-HS2F डेटाशीट और MQM8790-HS2F विनिर्देशों की समीक्षा करनी चाहिए। बजट के लिए, MQM8790-HS2F मूल्य और MQM8790-HS2F बिक्री के लिए विकल्पों को खरीद चैनल के साथ मान्य किया जाना चाहिए, क्योंकि मूल्य निर्धारण पैमाने और कॉन्फ़िगरेशन के अनुसार भिन्न होता है।

परिनियोजन और विस्तार सिफारिशें

प्रारंभिक परिनियोजन के लिए, एक एकल MQM8790-HS2F इन्फिनीबैंड स्विच एक छोटे क्लस्टर में स्पाइन और कोर दोनों के रूप में काम कर सकता है, जो 200Gb/s पर 40 नोड्स तक को जोड़ता है। जैसे-जैसे क्लस्टर बढ़ता है, अतिरिक्त स्पाइन स्विच जोड़े जाते हैं, और फैब्रिक लीफ-स्पाइन अलगाव के साथ एक पूर्ण टू-टियर डिज़ाइन में परिवर्तित हो जाता है।

विस्तार मार्गदर्शन:

• केबलिंग अनुशासन: स्पेयरिंग को सरल बनाने और संगतता जोखिम को कम करने के लिए QSFP56 ऑप्टिक्स और DAC/AOC प्रकारों पर मानकीकरण करें।
• पोर्ट स्प्लिटिंग: 200Gb/s प्रति नोड की आवश्यकता नहीं होने पर 2 × 100Gb/s ब्रेकआउट का उपयोग करें, जिससे पोर्ट दक्षता में सुधार होता है।
• ओवरसब्सक्रिप्शन लक्ष्य: केवल पीक सैद्धांतिक बैंडविड्थ के बजाय वर्कलोड बर्स्ट पैटर्न के आधार पर स्पाइन-टू-लीफ अनुपात की योजना बनाएं।
• बिजली और शीतलन: स्केल आउट करने से पहले स्विच के रेटेड ड्रॉ के मुकाबले प्रति-रैक पावर हेडरूम को मान्य करें।

संचालन निगरानी, समस्या निवारण और अनुकूलन

स्केल पर कम विलंबता बनाए रखने के लिए परिचालन दृश्यता महत्वपूर्ण है। MQM8790-HS2F इन्फिनीबैंड स्विच समाधान को फैब्रिक-व्यापी निगरानी के लिए UFM और टेलीमेट्री और सत्यापन के लिए NetQ के साथ एकीकृत किया जाना चाहिए।

अनुशंसित प्रथाओं में शामिल हैं:

• त्रुटियों, डिस्चार्ज और कंजेशन घटनाओं के लिए प्रति-पोर्ट काउंटर की निगरानी करें।
• केवल जॉब-स्तरीय विफलताओं पर निर्भर रहने के बजाय टेलीमेट्री का उपयोग करके धीमे-नोड उम्मीदवारों को ट्रैक करें।
• संगतता समस्याओं से बचने के लिए सभी स्विच और एडॉप्टर में फर्मवेयर स्थिरता को मान्य करें।
• SHARP कॉन्फ़िगरेशन की समय-समय पर समीक्षा करें, क्योंकि गलत कॉन्फ़िगर किए गए एग्रीगेशन ट्री प्रदर्शन को बेहतर बनाने के बजाय कम कर सकते हैं।

सारांश और मूल्य मूल्यांकन

MQM8790-HS2F RDMA, HPC और AI क्लस्टर के लिए एक व्यावहारिक आधार प्रदान करता है जिन्हें अनुमानित कम विलंबता और उच्च बैंडविड्थ की आवश्यकता होती है। 40 × 200Gb/s HDR पोर्ट, SHARP इन-नेटवर्क कंप्यूटिंग और एक परिपक्व प्रबंधन इकोसिस्टम को मिलाकर, एनवीडिया मेलानॉक्स MQM8790-HS2F आर्किटेक्ट्स को ऐसे फैब्रिक डिज़ाइन करने में मदद करता है जो दक्षता का त्याग किए बिना स्केल करते हैं।

मूल्य के दृष्टिकोण से, स्विच के योगदान का मूल्यांकन क्लस्टर उपयोगिता, जॉब पूर्णता समय और परिचालन ओवरहेड के मुकाबले किया जाना चाहिए, न कि केवल पोर्ट गणना के आधार पर।