NVIDIA Mellanox MQM8790-HS2F InfiniBand स्विच तकनीकी श्वेतपत्र

NVIDIA Mellanox MQM8790-HS2F InfiniBand स्विच तकनीकी श्वेत पत्र: RDMA/HPC/AI क्लस्टर के लिए लो-लेटेंसी इंटरकनेक्ट का अनुकूलन

यह तकनीकी श्वेत पत्र नेटवर्क आर्किटेक्ट्स, प्री-सेल्स इंजीनियर्स और ऑपरेशंस मैनेजर्स के लिए है। यह NVIDIA Mellanox MQM8790-HS2F 200Gb/s HDR InfiniBand स्विच पर केंद्रित है, जो RDMA-त्वरित, उच्च-प्रदर्शन कंप्यूटिंग (HPC), और कृत्रिम बुद्धिमत्ता (AI) क्लस्टर में लो-लेटेंसी इंटरकनेक्ट ऑप्टिमाइज़ेशन के लिए एक व्यापक समाधान डिज़ाइन प्रदान करता है। यह दस्तावेज़ आर्किटेक्चर डिज़ाइन, प्रमुख तकनीकों, परिनियोजन और स्केलिंग रणनीतियों, संचालन निगरानी और मूल्य मूल्यांकन को कवर करता है - अगली पीढ़ी के डेटा-गहन कंप्यूट इन्फ्रास्ट्रक्चर के लिए एक पुनरुत्पादनीय ब्लूप्रिंट प्रदान करता है।

1. परियोजना पृष्ठभूमि और आवश्यकता विश्लेषण

जैसे-जैसे AI मॉडल पैरामीटर खरबों-पैमाने के परिमाण तक पहुँचते हैं और HPC सिमुलेशन को और भी महीन रिज़ॉल्यूशन की आवश्यकता होती है, अंतर्निहित नेटवर्क फैब्रिक एक सहायक घटक से एक प्राथमिक प्रदर्शन निर्धारक के रूप में विकसित हुआ है। उदाहरण के लिए, वितरित प्रशिक्षण कार्य अपने रनटाइम का 40-60% सामूहिक संचार संचालन पर खर्च कर सकते हैं यदि इंटरकनेक्ट में पर्याप्त बैंडविड्थ और लेटेंसी विशेषताएँ नहीं हैं। एंटरप्राइज़ आईटी टीमों के लिए, यह सीधे AI पहलों के लिए बाज़ार में आने के समय को बढ़ाता है और GPU निवेशों का कम उपयोग करता है।

व्यापक ग्राहक जुड़ाव के माध्यम से पहचानी गई प्रमुख आवश्यकताएं शामिल हैं:

• अल्ट्रा-लो और अनुमानित लेटेंसी: MPI और RDMA ट्रैफ़िक के लिए सब-200ns कट-थ्रू स्विचिंग, विवाद के तहत न्यूनतम जिटर के साथ।
• नॉन-ब्लॉकिंग थ्रूपुट: सभी पोर्ट पर एक साथ लाइन-रेट प्रदर्शन बनाए रखना, हॉटस्पॉट निर्माण और टेल लेटेंसी गिरावट को समाप्त करना।
• इन-नेटवर्क कंप्यूटेशन: होस्ट सीपीयू को ऑफलोड करने और डेटा मूवमेंट को कम करने के लिए सामूहिक संचालन (ऑल-रिड्यूस, ब्रॉडकास्ट, बैरियर) के लिए हार्डवेयर त्वरण।
• स्केलेबल टोपोलॉजी समर्थन: सैकड़ों से हजारों नोड्स तक फैले फैट-ट्री, टॉरस, या ड्रेगनफ्लाई+ टोपोलॉजी बनाने की क्षमता, अत्यधिक स्विच परतों के बिना।
• सरलीकृत प्रबंधन: एकीकृत फैब्रिक निगरानी, स्वचालित टोपोलॉजी खोज, और परिचालन ओवरहेड को कम करने के लिए सक्रिय दोष पहचान।

MQM8790-HS2F को इष्टतम बिल्डिंग ब्लॉक के रूप में चुना गया था, जिसमें इसकी प्रारंभिक MQM8790-HS2F डेटाशीट 40 पोर्ट 200Gb/s HDR, सब-130ns कट-थ्रू लेटेंसी, और SHARP v3.0 इन-नेटवर्क कंप्यूटिंग के समर्थन की पुष्टि करती है - क्षमताएं जो सीधे उपरोक्त आवश्यकताओं से मेल खाती हैं।

2. समग्र नेटवर्क / सिस्टम आर्किटेक्चर डिज़ाइन

प्रस्तावित आर्किटेक्चर 1,200 नोड्स तक के क्लस्टर के लिए दो-स्तरीय लीफ-स्पाइन फैट-ट्री टोपोलॉजी का उपयोग करता है, जिसमें बड़े परिनियोजन के लिए तीन-स्तरीय तक विस्तार का विकल्प होता है। यह टोपोलॉजी प्रदर्शन, लागत और प्रबंधनीयता को संतुलित करती है, जो फैब्रिक में पूर्ण बाईसेक्शन बैंडविड्थ और नियतात्मक लेटेंसी प्रदान करती है।

प्रत्येक लीफ स्विच NVIDIA ConnectX-6 या ConnectX-7 HDR होस्ट चैनल एडॉप्टर के माध्यम से 16 कंप्यूट नोड्स तक कनेक्ट होता है, MQM8790-HS2F संगत ऑप्टिक्स इकोसिस्टम का उपयोग करता है - जिसमें लिंक दूरी के आधार पर सक्रिय ऑप्टिकल केबल (AOCs) और निष्क्रिय कॉपर DACs दोनों शामिल हैं। MQM8790-HS2F 200Gb/s HDR 40-पोर्ट QSFP56 डिज़ाइन रैक-स्तरीय एकत्रीकरण के लिए पर्याप्त घनत्व प्रदान करता है, जबकि कुशल रैक स्पेस उपयोग के लिए 1U फॉर्म फैक्टर बनाए रखता है।

1,200 नोड्स से अधिक के क्लस्टर के लिए, एक अतिरिक्त सुपर-स्पाइन परत के साथ तीन-स्तरीय टोपोलॉजी की सिफारिश की जाती है। इस कॉन्फ़िगरेशन में, MQM8790-HS2F InfiniBand स्विच समाधान सभी स्तरों पर अपनी भूमिका बनाए रखता है, स्पेयरिंग और कॉन्फ़िगरेशन प्रबंधन को सरल बनाता है - एक एकल स्विच प्रकार पूरे फैब्रिक का समर्थन करता है, एज से कोर तक।

3. NVIDIA Mellanox MQM8790-HS2F की भूमिका और मुख्य विशेषताएं

NVIDIA Mellanox MQM8790-HS2F मूलभूत स्विचिंग तत्व के रूप में कार्य करता है, जो निम्नलिखित विभेदक क्षमताएं प्रदान करता है जो सीधे लो-लेटेंसी इंटरकनेक्ट ऑप्टिमाइज़ेशन को संचालित करती हैं:

• HDR 200Gb/s पोर्ट गति: पिछली पीढ़ी के EDR (100Gb/s) के बैंडविड्थ को दोगुना करता है, जबकि मिश्रित-गति वातावरण के लिए HDR100 (100Gb/s) के साथ पिछड़े संगतता बनाए रखता है, पिछले निवेशों की सुरक्षा करता है।
• सब-130ns लेटेंसी के साथ कट-थ्रू स्विचिंग: स्विच के भीतर पैकेट के समय को कम करता है, जो लेटेंसी-संवेदनशील RDMA संचालन और सामूहिक संचार पैटर्न के लिए महत्वपूर्ण है।
• SHARP v3.0 इन-नेटवर्क कंप्यूटिंग: होस्ट सीपीयू से स्विच फैब्रिक तक रिडक्शन ऑपरेशंस को ऑफलोड करता है, डेटा ट्रैफ़िक को 30% तक कम करता है और AI प्रशिक्षण के लिए ऑल-रिड्यूस प्रदर्शन को 2x तक तेज करता है।
• अनुकूली रूटिंग और कंजेशन नियंत्रण: हॉटस्पॉट से बचने के लिए कई पाथ पर ट्रैफ़िक को गतिशील रूप से वितरित करता है, कंजेशन फ्लैग और क्रेडिट-आधारित फ्लो कंट्रोल लॉसलेस ऑपरेशन सुनिश्चित करता है - RDMA प्रदर्शन के लिए एक पूर्वापेक्षा।
• एकीकृत टेलीमेट्री और निदान: प्रति-पोर्ट बफर ऑक्यूपेंसी, लिंक त्रुटि दर और ट्रैफ़िक पैटर्न में दानेदार दृश्यता प्रदान करता है, जो सक्रिय ऑप्टिमाइज़ेशन और त्वरित दोष अलगाव को सक्षम करता है।

विस्तृत MQM8790-HS2F विनिर्देश के अनुसार, स्विच फॉरवर्ड और रिवर्स एयरफ्लो दोनों वेरिएंट का समर्थन करता है, जो विविध डेटा सेंटर कूलिंग डिज़ाइन को समायोजित करता है। इसके डुअल रिडंडेंट पावर सप्लाई और हॉट-स्वैपेबल फैन मॉड्यूल विश्वसनीयता और सर्विसिबिलिटी को और बढ़ाते हैं।

4. परिनियोजन और विस्तार अनुशंसाएँ (विशिष्ट टोपोलॉजी के साथ)

एक संतुलित और लागत-प्रभावी प्रारंभिक परिनियोजन के लिए, निम्नलिखित सर्वोत्तम प्रथाओं की सिफारिश की जाती है:

• नोड-टू-लीफ कनेक्टिविटी: MQM8790-HS2F संगत QSFP56 कनेक्टर के साथ 200Gb/s HDR केबल (≤3m के लिए कॉपर DAC, ≤30m के लिए AOC) का उपयोग करें। सुनिश्चित करें कि होस्ट चैनल एडॉप्टर उसी लिंक गति और स्विच पोर्ट के समान FEC सेटिंग्स के लिए कॉन्फ़िगर किए गए हैं।
• लीफ-टू-स्पाइन कनेक्टिविटी: 100 मीटर तक की दूरी के लिए 200Gb/s AOCs या मल्टीमोड फाइबर ऑप्टिक ट्रांससीवर तैनात करें। MQM8790-HS2F लिंक पैरामीटर को ऑटो-नेगोशिएट करता है, परिनियोजन को सरल बनाता है।
• ओवरसब्सक्रिप्शन योजना: सामान्य-उद्देश्य AI/HPC वर्कलोड के लिए, 2:1 ओवरसब्सक्रिप्शन अनुपात (200Gb/s अपलिंक प्रति दो कंप्यूट नोड) एक लागत-प्रदर्शन स्वीट स्पॉट प्रदान करता है। लेटेंसी-अनुकूलित या स्टोरेज-गहन वर्कलोड के लिए, 1:1 (पूर्ण) ओवरसब्सक्रिप्शन पर विचार करें।
• विस्तार पथ: नए रैक जोड़ते समय, बस अतिरिक्त लीफ स्विच तैनात करें और उन्हें मौजूदा स्पाइन स्विच से कनेक्ट करें। महत्वपूर्ण क्षमता वृद्धि (नोड गणना को दोगुना करना) के लिए, स्पाइन परत को उच्च रेडिक्स में अपग्रेड करें या एक सुपर-स्पाइन टियर जोड़ें।

MQM8790-HS2F मूल्य और स्वामित्व की कुल लागत का मूल्यांकन करते समय, विचार करें कि एकीकृत आर्किटेक्चर - सभी फैब्रिक स्तरों पर एक ही स्विच प्रकार का उपयोग करना - मल्टी-SKU दृष्टिकोणों की तुलना में लगभग 70% तक स्पेयर पार्ट इन्वेंट्री आवश्यकताओं को कम करता है। यह सरलीकरण घटना प्रतिक्रिया को तेज करता है और हार्डवेयर विफलताओं के दौरान डाउनटाइम को कम करता है।

5. संचालन निगरानी, समस्या निवारण और अनुकूलन

एक MQM8790-HS2F InfiniBand स्विच वातावरण के प्रभावी प्रबंधन के लिए निगरानी, निदान और प्रदर्शन ट्यूनिंग के लिए एक व्यवस्थित दृष्टिकोण की आवश्यकता होती है।

निगरानी सर्वोत्तम प्रथाएं:

• टोपोलॉजी मैप, प्रति-लिंक उपयोग हीटमैप और रीयल-टाइम लेटेंसी हिस्टोग्राम सहित केंद्रीकृत फैब्रिक दृश्यता के लिए NVIDIA के यूनिफाइड फैब्रिक मैनेजर (UFM) को तैनात करें।
• प्रति-पोर्ट त्रुटि काउंटर की निगरानी करें - विशेष रूप से CRC त्रुटियां, प्रतीक त्रुटियां और लिंक-डाउन घटनाएं - खराब हो रहे ऑप्टिक्स या केबल की जल्दी पहचान करने के लिए। सक्रिय रखरखाव को सक्षम करने के लिए पूर्वनिर्धारित थ्रेसहोल्ड के लिए SNMP ट्रैप सेट करें।
• स्विच के एकीकृत प्रदर्शन काउंटरों के माध्यम से SHARP सामूहिक संचालन दक्षता को ट्रैक करें, एप्लिकेशन स्तर पर सामूहिक संचार पैटर्न को अनुकूलित करने के अवसरों की पहचान करें।

सामान्य समस्याओं का निवारण:

• विशिष्ट पोर्ट पर लिंक CRC त्रुटियां: केबल सीटिंग और ऑप्टिकल कनेक्टर की सफाई सत्यापित करें। यदि त्रुटियां बनी रहती हैं, तो केबल या ट्रांससीवर को बदलें। MQM8790-HS2F डेटाशीट विस्तृत प्रति-पोर्ट डायग्नोस्टिक थ्रेसहोल्ड प्रदान करती है।
• अप्रत्याशित लेटेंसी स्पाइक्स: UFM के ट्रैफ़िक प्रवाह विश्लेषण का उपयोग करके कंजेशन हॉटस्पॉट की जाँच करें। कुछ ट्रैफ़िक पैटर्न के लिए अनुकूली रूटिंग को पुन: कॉन्फ़िगर करने की आवश्यकता हो सकती है - विभिन्न रूटिंग एल्गोरिदम (न्यूनतम बनाम गैर-न्यूनतम) के साथ प्रयोग करें।
• फैब्रिक विभाजन मुद्दे: उचित विभाजन कुंजी (PKey) और IPoIB सबनेट मैनेजर कॉन्फ़िगरेशन सुनिश्चित करें। स्विच का अंतर्निहित सबनेट मैनेजर स्वचालित फैब्रिक खोज प्रदान करता है, लेकिन मल्टी-टेनेंट वातावरण के लिए मैन्युअल समायोजन आवश्यक हो सकता है।

प्रदर्शन अनुकूलन युक्तियाँ:

• AI प्रशिक्षण वर्कलोड के लिए, SHARP v3.0 सक्षम करें और स्विच की ऑफलोड क्षमताओं का उपयोग करने के लिए सामूहिक संचार पुस्तकालयों (NCCL, OpenMPI) को कॉन्फ़िगर करें। यह बड़े संदेश आकारों के लिए ऑल-रिड्यूस लेटेंसी को 2x तक कम कर सकता है।
• लेटेंसी-संवेदनशील HPC अनुप्रयोगों के लिए, नियतात्मक पाथ चयन को लागू करने के लिए अनुकूली रूटिंग को अक्षम करने पर विचार करें, कुछ पाथ विविधता के लिए अनुमानित लेटेंसी का व्यापार करें।
• स्विच फर्मवेयर की समय-समय पर समीक्षा और अपडेट करें, क्योंकि NVIDIA नियमित रूप से प्रदर्शन वृद्धि और सुरक्षा पैच जारी करता है। संस्करण संगतता मैट्रिक्स के लिए MQM8790-HS2F डेटाशीट देखें।

6. सारांश और मूल्य मूल्यांकन

NVIDIA Mellanox MQM8790-HS2F RDMA/HPC/AI क्लस्टर बनाने या अपग्रेड करने वाले संगठनों के लिए एक सम्मोहक मूल्य प्रस्ताव प्रदान करता है। 1U, 40-पोर्ट चेसिस के भीतर प्रति पोर्ट 200Gb/s, सब-130ns लेटेंसी और इन-नेटवर्क कंप्यूटिंग त्वरण प्रदान करके, स्विच आधुनिक डेटा-गहन वर्कलोड की सबसे कठोर इंटरकनेक्ट आवश्यकताओं को संबोधित करता है।

मुख्य मूल्य चालक शामिल हैं:

• प्रदर्शन स्केलेबिलिटी: MQM8790-HS2F 200Gb/s HDR 40-पोर्ट QSFP56 नोड्स के आसपास निर्मित नॉन-ब्लॉकिंग फैट-ट्री आर्किटेक्चर मौलिक टोपोलॉजी परिवर्तनों के बिना 200 से 10,000+ नोड्स तक स्केल करता है।
• परिचालन दक्षता: सभी फैब्रिक स्तरों पर एक एकल स्विच प्रकार स्पेयर इन्वेंट्री को कम करता है, प्रशिक्षण को सरल बनाता है, और समस्या निवारण को तेज करता है।
• निवेश संरक्षण: HDR100 और EDR के साथ पिछड़े संगतता चरणबद्ध अपग्रेड की अनुमति देती है, जबकि स्विच का फॉर्म फैक्टर और पोर्ट घनत्व भविष्य के 400G (NDR) रोडमैप के साथ संरेखित होता है।
• सिद्ध इकोसिस्टम: NVIDIA के ConnectX एडॉप्टर, BlueField DPUs और UFM प्रबंधन प्लेटफ़ॉर्म के साथ गहरा एकीकरण एंड-टू-एंड प्रदर्शन पूर्वानुमेयता सुनिश्चित करता है।

तैनात करने के लिए तैयार संगठनों के लिए, बिक्री के लिए MQM8790-HS2F NVIDIA के अधिकृत वितरकों के वैश्विक नेटवर्क के माध्यम से ऑन-साइट स्पेयर, उन्नत प्रतिस्थापन और फर्मवेयर अपडेट सब्सक्रिप्शन सहित व्यापक समर्थन विकल्प शामिल हैं। विस्तृत MQM8790-HS2F विनिर्देश और संदर्भ डिज़ाइन NVIDIA के तकनीकी दस्तावेज़ीकरण पोर्टल के माध्यम से उपलब्ध हैं, और बड़े पैमाने पर ब्राउनफील्ड या ग्रीनफील्ड परिनियोजन के लिए अनुकूलित टोपोलॉजी परामर्श की पेशकश की जाती है।