NVIDIA Mellanox MCX4121A-ACAT सर्वर एडॉप्टर तकनीकी श्वेत पत्र | RDMA/RoCE निम्न-विलंबता परिवहन और सर्वर

एनवीडिया मेलानॉक्स MCX4121A-ACAT सर्वर एडॉप्टर तकनीकी व्हाइट पेपर | RDMA/RoCE लो-लेटेंसी ट्रांसपोर्ट और सर्वर थ्रूपुट ऑप्टिमाइज़ेशन

1. प्रोजेक्ट पृष्ठभूमि और आवश्यकताएँ विश्लेषण

आधुनिक डेटा सेंटर AI/ML ट्रेनिंग और हाई-फ्रीक्वेंसी ट्रेडिंग से लेकर डिस्ट्रिब्यूटेड डेटाबेस और NVMe-ओवर-फैब्रिक्स स्टोरेज तक, लगातार बढ़ती मांग वाले वर्कलोड का समर्थन करने के लिए निरंतर दबाव में हैं। जबकि 25GbE ईथरनेट एक्सेस-लेयर मानक बन गया है, कई संगठन पाते हैं कि कच्ची बैंडविड्थ अकेले एप्लिकेशन प्रदर्शन में तब्दील नहीं होती है। मौलिक बाधा पारंपरिक TCP/IP स्टैक में निहित है: उच्च CPU इंटरप्ट ओवरहेड, अप्रत्याशित विलंबता, और अक्षम पैकेट प्रोसेसिंग जो सर्वर CPU कोर के 20-30% का उपभोग कर सकते हैं। विलंबता-संवेदनशील और थ्रूपुट-भूखे अनुप्रयोगों के लिए, नेटवर्किंग सबसिस्टम अक्सर सबसे कमजोर कड़ी बन जाता है।

यह व्हाइट पेपर एनवीडिया मेलानॉक्स MCX4121A-ACAT सर्वर एडॉप्टर पर केंद्रित एक व्यापक समाधान के माध्यम से इन चुनौतियों का समाधान करता है। 25GbE इंफ्रास्ट्रक्चर की पूरी क्षमता को अनलॉक करने की चाह रखने वाले उद्यमों के लिए डिज़ाइन किया गया, MCX4121A-ACAT ईथरनेट एडॉप्टर कार्ड डुअल-पोर्ट 25GbE कनेक्टिविटी को हार्डवेयर-त्वरित RDMA ओवर कन्वर्ज्ड ईथरनेट (RoCE) के साथ जोड़ता है। समाधान तीन प्राथमिक उद्देश्यों को लक्षित करता है: (1) एप्लिकेशन-स्तरीय विलंबता को सब-10µs तक कम करना, (2) CPU नेटवर्क प्रोसेसिंग ओवरहेड को 80% से अधिक तक काटना, और (3) आर्किटेक्चरल रीवर्क के बिना कुछ नोड्स से सैकड़ों तक निर्बाध स्केलेबिलिटी को सक्षम करना।

2. समग्र नेटवर्क और सिस्टम आर्किटेक्चर डिज़ाइन

अनुशंसित आर्किटेक्चर 25GbE को सर्वर एक्सेस लेयर के रूप में और स्पाइन तक 100GbE अपलिंक के साथ एक लीफ-स्पाइन टोपोलॉजी को अपनाता है। डिज़ाइन के केंद्र में MCX4121A-ACAT ConnectX-4 Lx डुअल-पोर्ट 25GbE SFP28 एडॉप्टर है, जिसे हर कंप्यूट और स्टोरेज नोड में तैनात किया गया है। आर्किटेक्चर तीन मुख्य सिद्धांतों के आसपास बनाया गया है:

• लॉसलेस ईथरनेट फैब्रिक: पैकेट ड्रॉप को खत्म करने और नियतात्मक विलंबता सुनिश्चित करने के लिए PFC (प्रायोरिटी फ्लो कंट्रोल) और ECN (एक्सप्लिसिट कंजेशन नोटिफिकेशन) के साथ RoCE v2 का लाभ उठाना।
• हर जगह हार्डवेयर ऑफलोड: CPU चक्रों को व्यावसायिक अनुप्रयोगों के लिए मुक्त करते हुए, एडॉप्टर को ट्रांसपोर्ट-लेयर प्रोसेसिंग - जिसमें चेकसम, सेगमेंटेशन और RDMA शामिल हैं - को ऑफलोड करना।
• एक्टिव-एक्टिव रिडंडेंसी: 50Gb/s एग्रीगेट बैंडविड्थ और स्वचालित फेलओवर के लिए लिंक एग्रीगेशन (LACP) मोड में दोनों SFP28 पोर्ट का उपयोग करना।

यह समाधान NVIDIA स्पेक्ट्रम और अरिस्टा के स्विच के साथ-साथ डेल पावरएज, एचपीई प्रोलायंट, सुपरमाइक्रो जैसे प्रमुख सर्वर प्लेटफार्मों के साथ पूरी तरह से MCX4121A-ACAT संगत है। स्टोरेज के लिए, आर्किटेक्चर NVMe-oF ओवर RoCE का समर्थन करता है, जिससे स्थानीय NVMe ड्राइव के करीब विलंबता के साथ साझा डिसएग्रीगेटेड स्टोरेज सक्षम होता है।

3. एनवीडिया मेलानॉक्स MCX4121A-ACAT की भूमिका और मुख्य विशेषताएं

इस समाधान के मूलभूत घटक के रूप में, एनवीडिया मेलानॉक्स MCX4121A-ACAT तीन महत्वपूर्ण कार्य करता है:

MCX4121A-ACAT डेटाशीट से निकाले गए मुख्य विनिर्देशों में PCIe 3.0 x8 होस्ट इंटरफ़ेस, व्यापक ऑफलोड (चेकसम, LSO/LRO, VLAN स्ट्रिपिंग/इंसर्शन), और प्रति पोर्ट उन्नत टेलीमेट्री शामिल हैं। एडॉप्टर की बिजली दक्षता (< 10W विशिष्ट) और व्यापक ऑपरेटिंग सिस्टम समर्थन (लिनक्स, विंडोज, वीएमवेयर ईएसएक्सआई) इसे विषम वातावरण के लिए एक बहुमुखी बिल्डिंग ब्लॉक बनाते हैं।

4. परिनियोजन और स्केलिंग सिफ़ारिशें

ग्रीनफील्ड परिनियोजन के लिए, हम 25GbE एक्सेस और 100GbE/400GbE स्पाइन अपलिंक के साथ दो-स्तरीय लीफ-स्पाइन टोपोलॉजी की सलाह देते हैं। प्रत्येक सर्वर एक MCX4121A-ACAT ईथरनेट एडॉप्टर कार्ड होस्ट करता है जिसमें दोनों पोर्ट रिडंडेंसी के लिए अलग-अलग लीफ स्विच से जुड़े होते हैं। RoCE फैब्रिक के लिए सभी स्विच पर लगातार QoS कॉन्फ़िगरेशन की आवश्यकता होती है - विशेष रूप से, प्राथमिकता 3 पर PFC और उसी ट्रैफिक क्लास पर ECN मार्किंग। हम निगरानी और समस्या निवारण को सरल बनाने के लिए RoCE ट्रैफिक के लिए एक समर्पित VLAN आवंटित करने की सलाह देते हैं।

ब्राउनफील्ड वातावरण के लिए, MCX4121A-ACAT ईथरनेट एडॉप्टर कार्ड समाधान एक सौम्य माइग्रेशन पथ प्रदान करता है। चूंकि एडॉप्टर 10GbE SFP+ ऑप्टिक्स के साथ बैकवर्ड-संगत है, इसलिए 25GbE में चरणबद्ध अपग्रेड के दौरान मौजूदा केबलिंग का पुन: उपयोग किया जा सकता है। एडॉप्टर मानक ईथरनेट स्विचिंग का भी समर्थन करता है जिसमें अनिवार्य RoCE सक्षम नहीं है, जिससे टीमों को पहले हार्डवेयर तैनात करने और फैब्रिक के परिपक्व होने पर चरणों में RDMA क्षमताओं को सक्रिय करने की अनुमति मिलती है।

समाधान को स्केल करना सीधा है: अतिरिक्त नोड्स को बस उसी MCX4121A-ACAT बिक्री के लिए SKU के साथ प्रोविजन किया जाता है, और फैब्रिक LLDP और DCBx बातचीत के माध्यम से स्वचालित रूप से नए एंडपॉइंट्स को समायोजित करता है। 100 नोड्स से अधिक क्लस्टर के लिए, हम बड़े पैमाने पर लॉसलेस व्यवहार बनाए रखने के लिए एक समर्पित RoCE कंजेशन मैनेजमेंट कंट्रोलर (जैसे, NVIDIA स्पेक्ट्रम स्विच बिल्ट-इन टेलीमेट्री के साथ) तैनात करने की सलाह देते हैं।

5. संचालन, निगरानी, समस्या निवारण और अनुकूलन

RoCE फैब्रिक के प्रभावी संचालन के लिए एक बहु-स्तरीय निगरानी रणनीति की आवश्यकता होती है:

• एडॉप्टर-स्तरीय टेलीमेट्री: MCX4121A-ACAT विनिर्देशों में PFC फ्रेम, ECN-चिह्नित पैकेट और छोड़े गए फ्रेम के लिए प्रति-पोर्ट काउंटर शामिल हैं। इन्हें प्रोमेथियस/ग्राफाना में निर्यात करने के लिए mlx5cmd या एनवीडिया फर्मवेयर टूल का उपयोग करें।
• स्विच-स्तरीय निगरानी: स्पाइन और लीफ स्विच पर बफर ऑक्यूपेंसी, पॉज़ फ्रेम काउंट और क्यू डेप्थ की निगरानी करें। पॉज़ फ्रेम में अचानक वृद्धि माइक्रो-कंजेशन का संकेत देती है जिसके लिए ECN थ्रेशोल्ड ट्यूनिंग की आवश्यकता हो सकती है।
• एप्लिकेशन-स्तरीय मेट्रिक्स: RDMA अनुप्रयोगों के लिए, विक्रेता-प्रदत्त पुस्तकालयों का उपयोग करके WR (वर्क रिक्वेस्ट) पूर्णता विलंबता और CQ (कंप्लीशन क्यू) ओवरफ्लो घटनाओं को ट्रैक करें।

सामान्य समस्या निवारण परिदृश्यों में शामिल हैं:

• RoCE प्रदर्शन में गिरावट: सभी स्विच पोर्ट पर PFC सक्षम है और DSCP मार्किंग स्विच कॉन्फ़िगरेशन से मेल खाती है, इसकी पुष्टि करें। बफर आवंटन सेटिंग्स को मान्य करने के लिए MCX4121A-ACAT डेटाशीट का उपयोग करें।
• लिंक फ़्लैपिंग या CRC त्रुटियाँ: SFP28 केबल की गुणवत्ता की जाँच करें और सुनिश्चित करें कि एडॉप्टर फर्मवेयर नवीनतम रिलीज़ में अपडेट किया गया है।
• ऑफलोड के बावजूद CPU अभी भी उच्च है:ड्राइवर काउंटरों और एप्लिकेशन लॉग का निरीक्षण करके यह पुष्टि करें कि RDMA का वास्तव में उपयोग किया जा रहा है (TCP पर वापस नहीं आ रहा है)।

अनुकूलन के लिए, हम निम्नलिखित ट्यूनिंग पैरामीटर की सलाह देते हैं (व्यापक लैब सत्यापन से प्राप्त): - मिश्रित वर्कलोड के लिए इंटरप्ट कोलेसिंग (मॉडरेशन) को 4 µs पर सेट करें - सटीक विलंबता माप के लिए हार्डवेयर टाइमस्टैम्पिंग सक्षम करें - गैर-RDMA ट्रैफिक के लिए कई CPU कोर में RSS (रिसीव साइड स्केलिंग) कॉन्फ़िगर करें - स्टोरेज वर्कलोड के लिए, प्रोटोकॉल ओवरहेड को कम करने के लिए अधिकतम RDMA MTU को 4096 बाइट्स तक बढ़ाएँ

6. सारांश और मूल्य मूल्यांकन

एनवीडिया मेलानॉक्स MCX4121A-ACAT समाधान आधुनिक डेटा सेंटरों के लिए परिवर्तनकारी मूल्य प्रदान करता है। TCP/IP को RDMA/RoCE से बदलकर, संगठन 5-10x के एप्लिकेशन-स्तरीय विलंबता में कमी प्राप्त कर सकते हैं, CPU नेटवर्क ओवरहेड को 80% से अधिक तक कम कर सकते हैं, और सर्वर कंटेनर घनत्व को 30-50% तक बढ़ा सकते हैं। MCX4121A-ACAT ईथरनेट एडॉप्टर कार्ड बैकवर्ड कम्पैटिबिलिटी और भविष्य के लिए तैयार ऑफलोड क्षमताओं के माध्यम से निवेश सुरक्षा के साथ 25GbE अपनाने के लिए एक लागत प्रभावी मार्ग प्रदान करता है।

जब कुल स्वामित्व लागत का मूल्यांकन किया जाता है, तो MCX4121A-ACAT मूल्य महत्वपूर्ण परिचालन बचत से ऑफसेट होता है: कम सर्वर गणना (उच्च उपयोग के कारण), कम कूलिंग लागत ( <10W power draw), and elimination of separate InfiniBand or proprietary fabrics. The solution is fully MCX4121A-ACAT संगत प्रमुख ओपन-सोर्स इकोसिस्टम के साथ, जिसमें कुबेरनेट्स, अपाचे स्पार्क और टेंसरफ्लो शामिल हैं, उद्यम और क्लाउड-नेटिव परिनियोजन में व्यापक प्रयोज्यता सुनिश्चित करता है।