NVIDIA Mellanox MCX623106AN-CDAT सर्वर एडॉप्टर तकनीकी श्वेत पत्र

एनवीडिया मेलानॉक्स MCX623106AN-CDAT सर्वर एडॉप्टर तकनीकी व्हाइट पेपर | RDMA/RoCE लो-लेटेंसी ट्रांसपोर्ट और सर्वर थ्रूपुट ऑप्टिमाइज़ेशन

1. प्रोजेक्ट बैकग्राउंड और आवश्यकता विश्लेषण

आधुनिक डेटा सेंटर आर्टिफिशियल इंटेलिजेंस, बड़े पैमाने पर मशीन लर्निंग और रियल-टाइम एनालिटिक्स की विस्फोटक वृद्धि से प्रेरित एक प्रतिमान बदलाव से गुजर रहे हैं। इन वर्कलोड के लिए अभूतपूर्व नेटवर्क प्रदर्शन की आवश्यकता होती है — न केवल कच्ची बैंडविड्थ, बल्कि 5μs से कम की नियतात्मक सब-5μs लेटेंसी, सीपीयू-कुशल डेटा मूवमेंट और हजारों नोड्स तक निर्बाध स्केलेबिलिटी। पारंपरिक ईथरनेट एडॉप्टर, जो सॉफ्टवेयर-आधारित टीसीपी/आईपी स्टैक पर निर्भर करते हैं, 200GbE गति पर सीपीयू कोर के 40% तक की खपत करते हुए और अप्रत्याशित लेटेंसी भिन्नताएं पेश करते हुए एक महत्वपूर्ण बाधा बन गए हैं जो एप्लिकेशन प्रदर्शन को खराब करते हैं। बड़े पैमाने पर एआई क्लस्टर (500+ जीपीयू) या हाइपरस्केल क्लाउड इंफ्रास्ट्रक्चर बनाने वाले संगठनों के लिए, यह अक्षमता सीधे तौर पर प्रशिक्षण समय को बढ़ाने, बुनियादी ढांचे की लागत को बढ़ाने और बाजार में आने के समय को धीमा करने में तब्दील होती है।

यह व्हाइट पेपर एक व्यापक तकनीकी समाधान प्रस्तुत करता है जो एनवीडिया मेलानॉक्स MCX623106AN-CDAT सर्वर एडॉप्टर पर केंद्रित है। अपने 200GbE निवेश को अधिकतम करने की चाह रखने वाले उद्यमों के लिए डिज़ाइन किया गया, MCX623106AN-CDAT ईथरनेट एडॉप्टर कार्ड हार्डवेयर-त्वरित RDMA ओवर कन्वर्ज्ड ईथरनेट (RoCE) प्रदान करता है, जो लॉसलेस, अल्ट्रा-लो-लेटेंसी ट्रांसपोर्ट को सक्षम करता है जो नेटवर्क I/O को स्केलिंग बाधा से प्रतिस्पर्धी लाभ में बदल देता है। समाधान विशेष रूप से तीन मुख्य उद्देश्यों को पूरा करने के लिए आर्किटेक्ट किया गया है: (1) एआई कलेक्टिव कम्युनिकेशंस के लिए सब-5μs एंड-टू-एंड एप्लिकेशन लेटेंसी प्राप्त करना, (2) सीपीयू नेटवर्क प्रोसेसिंग ओवरहेड को 5% से कम करना, और (3) 200GbE और उससे आगे के लिए एक स्केलेबल, भविष्य-प्रूफ नींव प्रदान करना।

2. समग्र नेटवर्क और सिस्टम आर्किटेक्चर डिज़ाइन

अनुशंसित आर्किटेक्चर 200GbE को सर्वर एक्सेस लेयर के रूप में और स्पाइन तक 400GbE/800GbE अपलिंक के साथ एक उच्च-प्रदर्शन लीफ-स्पाइन टोपोलॉजी को अपनाता है। इस डिज़ाइन के मूल में MCX623106AN-CDAT कनेक्टएक्स एडॉप्टर PCIe नेटवर्क कार्ड है, जिसे फैब्रिक में हर कंप्यूट और स्टोरेज नोड में तैनात किया गया है। आर्किटेक्चर छह प्रमुख सिद्धांतों पर बनाया गया है:

• लॉसलेस ईथरनेट फैब्रिक: RDMA ट्रैफिक के लिए पैकेट ड्रॉप को खत्म करने और नियतात्मक लेटेंसी सुनिश्चित करने के लिए सभी स्विचों में PFC (प्रायोरिटी फ्लो कंट्रोल) और ECN (एक्सप्लिसिट कंजेशन नोटिफिकेशन) के साथ RoCE v2 का लाभ उठाना।
• GPUDirect RDMA: सीपीयू की भागीदारी के बिना नेटवर्क पर डायरेक्ट GPU-टू-GPU संचार को सक्षम करना, लेटेंसी को कम करना और कंप्यूट कार्यों के लिए सीपीयू संसाधनों को मुक्त करना।
• हर जगह हार्डवेयर ऑफलोड: कंप्यूटिंग चक्रों को एप्लिकेशन लॉजिक के लिए मुक्त करते हुए, एडॉप्टर को ट्रांसपोर्ट, सुरक्षा (IPsec/MACsec) और स्टोरेज प्रोटोकॉल को ऑफलोड करना।
• एक्टिव-एक्टिव रिडंडेंसी: 400Gb/s एग्रीगेट बैंडविड्थ और सब-सेकंड रिकवरी के साथ स्वचालित फेलओवर के लिए लिंक एग्रीगेशन (LACP) मोड में दोनों QSFP112 पोर्ट का उपयोग करना।
• इंटेलिजेंट ट्रैफिक इंजीनियरिंग: कंजेशन हॉटस्पॉट से बचने और फैब्रिक उपयोग को अधिकतम करने के लिए एडॉप्टिव रूटिंग और आउट-ऑफ-ऑर्डर पैकेट डिलीवरी।
• व्यापक टेलीमेट्री: सक्रिय कंजेशन डिटेक्शन और क्षमता योजना के लिए इन-बैंड नेटवर्क टेलीमेट्री (INT) और प्रति-फ्लो मॉनिटरिंग।

यह समाधान एनवीडिया जीपीयू प्लेटफॉर्म (एचजीएक्स, डीजीएक्स) और डेल, एचपीई, सुपरमाइक्रो और लेनोवो के प्रमुख सीपीयू सर्वर के साथ पूरी तरह से MCX623106AN-CDAT संगत है। स्टोरेज के लिए, आर्किटेक्चर सब-15μs लेटेंसी के साथ NVMe-oF ओवर RoCE का समर्थन करता है, जो बड़े पैमाने पर प्रशिक्षण क्लस्टर के लिए साझा डिसएग्रीगेटेड स्टोरेज को सक्षम करता है।

3. एनवीडिया मेलानॉक्स MCX623106AN-CDAT की भूमिका और मुख्य विशेषताएं

इस समाधान के मूलभूत घटक के रूप में, एनवीडिया मेलानॉक्स MCX623106AN-CDAT आर्किटेक्चर के भीतर चार महत्वपूर्ण भूमिकाएँ निभाता है:

से निकाले गए मुख्य तकनीकी विनिर्देशMCX623106AN-CDAT डेटाशीटमें व्यापक ऑफलोड क्षमताएं (चेकसम, LSO/LRO, VLAN स्ट्रिपिंग/इंसर्शन, 128 कतारों तक RSS), उन्नत कंजेशन नियंत्रण एल्गोरिदम, और एनवीडिया के कलेक्टिव कम्युनिकेशंस लाइब्रेरी (NCCL) के लिए पूर्ण समर्थन शामिल है। MCX623106AN-CDAT विनिर्देश मिश्रित-गति वातावरण के लिए परिनियोजन लचीलापन प्रदान करते हुए 100GbE और 50GbE संगतता के लिए समर्थन को भी उजागर करते हैं।

4. परिनियोजन और स्केलिंग सिफारिशें

ग्रीनफील्ड एआई क्लस्टर के लिए, हम 200GbE एक्सेस और 800GbE स्पाइन अपलिंक के साथ दो-स्तरीय लीफ-स्पाइन टोपोलॉजी की सलाह देते हैं। प्रत्येक सर्वर एक MCX623106AN-CDAT ईथरनेट एडॉप्टर कार्ड होस्ट करता है जिसमें रिडंडेंसी के लिए दोनों QSFP112 पोर्ट अलग-अलग लीफ स्विच से जुड़े होते हैं। RoCE फैब्रिक के लिए सभी स्विचों में लगातार QoS कॉन्फ़िगरेशन की आवश्यकता होती है — विशेष रूप से, प्रायोरिटी 3 (RDMA कलेक्टिव ट्रैफिक के लिए) और प्रायोरिटी 4 (स्टोरेज के लिए) पर PFC, और उन्हीं ट्रैफिक क्लास पर ECN मार्किंग। हम निगरानी और समस्या निवारण को सरल बनाने के लिए RDMA, प्रबंधन, स्टोरेज और टेनेंट ट्रैफिक के लिए अलग VLAN समर्पित करने की सलाह देते हैं।

मौजूदा 100GbE इंफ्रास्ट्रक्चर वाले ब्राउनफील्ड वातावरण के लिए, MCX623106AN-CDAT ईथरनेट एडॉप्टर कार्ड समाधान एक सौम्य माइग्रेशन पथ प्रदान करता है। चूंकि एडॉप्टर 100GbE QSFP56 ऑप्टिक्स के साथ बैकवर्ड-संगत है, इसलिए 200GbE में चरणबद्ध अपग्रेड के दौरान मौजूदा केबलिंग का पुन: उपयोग किया जा सकता है। एडॉप्टर मानक ईथरनेट स्विचिंग का भी समर्थन करता है जिसमें अनिवार्य RoCE सक्षम नहीं है, जिससे टीमों को पहले हार्डवेयर तैनात करने और जैसे-जैसे फैब्रिक परिपक्व होता है और वर्कलोड संक्रमण को उचित ठहराता है, वैसे-वैसे RDMA क्षमताओं को चरणों में सक्रिय करने की अनुमति मिलती है।

500 नोड्स से परे समाधान को स्केल करने के लिए अतिरिक्त विचारों की आवश्यकता होती है। हम एनवीडिया स्पेक्ट्रम-4 स्विच का उपयोग करके एक समर्पित RoCE कंजेशन प्रबंधन रणनीति लागू करने की सलाह देते हैं जिसमें अंतर्निहित टेलीमेट्री और डायनामिक ECN थ्रेशोल्ड समायोजन शामिल है। 1,000 नोड्स से अधिक के क्लस्टर के लिए, एंड-टू-एंड दृश्यता और स्वचालित कॉन्फ़िगरेशन स्थिरता बनाए रखने के लिए एक केंद्रीकृत फैब्रिक प्रबंधन नियंत्रक (जैसे, एनवीडिया नेटक्यू) तैनात करने पर विचार करें। एनवीडिया के वैश्विक चैनल भागीदारों के माध्यम से बिक्री के लिए MCX623106AN-CDAT में व्यापक वारंटी और फर्मवेयर अपडेट समर्थन शामिल है, जो बड़े पैमाने पर दीर्घकालिक विश्वसनीयता सुनिश्चित करता है।

5. संचालन, निगरानी, समस्या निवारण और अनुकूलन

RoCE फैब्रिक के प्रभावी संचालन के लिए एक बहु-स्तरीय निगरानी और समस्या निवारण रणनीति की आवश्यकता होती है:

• एडॉप्टर-स्तरीय टेलीमेट्री: MCX623106AN-CDAT विनिर्देश में PFC फ्रेम, ECN-चिह्नित पैकेट, छोड़े गए फ्रेम, लिंक त्रुटियों और कंजेशन युगों के लिए प्रति-पोर्ट काउंटर शामिल हैं। उपयुक्त अलर्ट के साथ प्रोमेथियस/ग्राफाना डैशबोर्ड पर इन मेट्रिक्स को निर्यात करने के लिए mlx5cmd, ethtool, या एनवीडिया फर्मवेयर टूल का उपयोग करें।
• इन-बैंड नेटवर्क टेलीमेट्री (INT): फैब्रिक में प्रति-फ्लो लेटेंसी और कतार की गहराई को ट्रैक करने के लिए एडॉप्टर के INT समर्थन का लाभ उठाएं, जिससे माइक्रो-कंजेशन स्रोतों की सटीक पहचान हो सके।
• स्विच-स्तरीय निगरानी: स्पाइन और लीफ स्विच पर बफर ऑक्यूपेंसी, पॉज़ फ्रेम काउंट, कतार की गहराई और ECN मार्किंग दरों की निगरानी करें। पॉज़ फ्रेम में अचानक वृद्धि माइक्रो-कंजेशन का संकेत देती है जिसके लिए ECN थ्रेशोल्ड ट्यूनिंग की आवश्यकता हो सकती है।
• एप्लिकेशन-स्तरीय मेट्रिक्स: RDMA अनुप्रयोगों के लिए, एनवीडिया libibverbs और rdma-core लाइब्रेरी का उपयोग करके WR (वर्क रिक्वेस्ट) पूर्णता लेटेंसी, CQ (कंप्लीशन क्यू) ओवरफ्लो इवेंट और QP (क्यू पेयर) त्रुटि गणना को ट्रैक करें।

सामान्य समस्या निवारण परिदृश्य और अनुशंसित क्रियाएं:

• RoCE प्रदर्शन में गिरावट: सभी स्विच पोर्ट पर PFC सक्षम होने और स्विच कॉन्फ़िगरेशन से मेल खाने वाले DSCP मार्किंग को सत्यापित करें। अपने वर्कलोड प्रोफाइल के लिए अनुशंसित मानों के मुकाबले बफर आवंटन सेटिंग्स को मान्य करने के लिए MCX623106AN-CDAT डेटाशीट का उपयोग करें।
• लिंक फ़्लैपिंग या CRC त्रुटियाँ: QSFP112 केबल गुणवत्ता की जाँच करें (200G AOC या DAC विनिर्देशों के अनुपालन को सुनिश्चित करें) और सत्यापित करें कि एडॉप्टर फर्मवेयर नवीनतम रिलीज़ में अपडेट किया गया है।
• GPU डायरेक्ट प्रदर्शन समस्याएँ: पुष्टि करें कि GPUDirect ठीक से इनिशियलाइज़ किया गया है और PCIe टोपोलॉजी मध्यवर्ती स्विचिंग के बिना पीयर-टू-पीयर DMA का समर्थन करती है।
• PFC डेडलॉक या पॉज़ स्टॉर्म: गलत कॉन्फ़िगर की गई प्राथमिकताओं के लिए जाँच करें, और सुनिश्चित करें कि PFC केवल RoCE ट्रैफिक क्लास पर सक्षम है (प्रबंधन या स्टोरेज ट्रैफिक पर नहीं)।

अनुकूलन के लिए, हम व्यापक लैब सत्यापन के आधार पर निम्नलिखित ट्यूनिंग मापदंडों की सलाह देते हैं:

• इंटरप्ट कोलेसिंग (मॉडरेशन): सीपीयू दक्षता बनाए रखते हुए लेटेंसी को कम करने के लिए एआई प्रशिक्षण वर्कलोड के लिए 2–4 μs पर सेट करें।
• RDMA MTU: प्रोटोकॉल ओवरहेड को कम करने और थ्रूपुट में सुधार के लिए ऑल-रिड्यूस संचार के लिए 4096 बाइट्स तक बढ़ाएं।
• RSS (रिसीव साइड स्केलिंग): प्रोसेसिंग को वितरित करने और सिंगल-कोर संतृप्ति से बचने के लिए गैर-RDMA ट्रैफिक के लिए कई सीपीयू कोर में कॉन्फ़िगर करें।
• ECN थ्रेशोल्ड: प्रायोरिटी 3 ट्रैफिक के लिए बफर के 40% पर मिन-थ्रेशोल्ड और 75% पर मैक्स-थ्रेशोल्ड सेट करें, देखे गए कंजेशन पैटर्न और वर्कलोड विशेषताओं के आधार पर समायोजित करें।

6. सारांश और मूल्य मूल्यांकन

एनवीडिया मेलानॉक्स MCX623106AN-CDAT समाधान आधुनिक एआई-स्केल डेटा सेंटर के लिए परिवर्तनकारी मूल्य प्रदान करता है। सॉफ्टवेयर-आधारित टीसीपी/आईपी को हार्डवेयर-त्वरित RDMA/RoCE और GPUDirect से बदलकर, संगठन 8–10x के एप्लिकेशन-स्तरीय लेटेंसी में कमी प्राप्त कर सकते हैं, सीपीयू नेटवर्क ओवरहेड को 85% से अधिक कम कर सकते हैं, और जीपीयू उपयोग को 70% से कम से 95% से अधिक तक बढ़ा सकते हैं। MCX623106AN-CDAT ईथरनेट एडॉप्टर कार्ड 100GbE के साथ बैकवर्ड संगतता और उभरते वर्कलोड के लिए भविष्य-तैयार ऑफलोड क्षमताओं के माध्यम से निवेश सुरक्षा के साथ 200GbE अपनाने के लिए एक लागत-प्रभावी मार्ग प्रदान करता है।

कुल स्वामित्व लागत का मूल्यांकन करते समय, MCX623106AN-CDAT मूल्य महत्वपूर्ण परिचालन बचत से ऑफसेट होता है: कम प्रशिक्षण समय (बाजार में आने के समय को तेज करना), कम सर्वर गणना (उच्च जीपीयू उपयोग के कारण), कम कूलिंग लागत ( <20W power draw), and elimination of separate InfiniBand fabrics. The solution is fully MCX623106AN-CDAT संगत प्रमुख एआई और एचपीसी सॉफ्टवेयर स्टैक के साथ, जिसमें एनवीडिया एनसीसीएल, पायटॉर्च, टेंसरफ्लो और एमपीआई लाइब्रेरी शामिल हैं, जो एंटरप्राइज, क्लाउड और अनुसंधान परिनियोजन में व्यापक प्रयोज्यता सुनिश्चित करता है।