आरडीएमए/आरओसीई कम विलंबता परिवहन और सर्वर थ्रूपुट वृद्धि

यह तकनीकी श्वेत पत्र आर्किटेक्ट्स, प्री-सेल्स इंजीनियरों और संचालन प्रमुखों को एक व्यापक संदर्भ डिज़ाइन प्रदान करता है जो NVIDIA Mellanox MCX631432AN-ADAB पर केंद्रित है। यह समाधान आधुनिक डेटा सेंटर की चुनौतियों का समाधान करता है - विशेष रूप से, लीगेसी नेटवर्क स्टैक से सीपीयू ओवरहेड, असंगत स्टोरेज लेटेंसी, और अप्रयुक्त 25GbE बैंडविड्थ - उच्च-प्रदर्शन, परिवर्तित RDMA/RoCE फैब्रिक के आधार के रूप में MCX631432AN-ADAB ईथरनेट एडॉप्टर कार्ड को तैनात करके।

1. परियोजना पृष्ठभूमि और आवश्यकता विश्लेषण

पारंपरिक डेटा सेंटर नेटवर्क कंप्यूट और स्टोरेज दोनों ट्रैफ़िक के लिए TCP/IP पर निर्भर करते हैं, जिससे सीपीयू को हर पैकेट को प्रोसेस करने के लिए मजबूर होना पड़ता है। वितरित डेटाबेस, NVMe-ओवर-फैब्रिक्स (NVMe-oF), या AI प्रशिक्षण वर्कलोड चलाने वाले वातावरण में, यह सॉफ़्टवेयर-आधारित दृष्टिकोण तीन मूलभूत समस्याएं पैदा करता है: उच्च और परिवर्तनशील लेटेंसी (अक्सर स्टोरेज संचालन के लिए 50µs से अधिक), महत्वपूर्ण सीपीयू टैक्स (नेटवर्क प्रोसेसिंग के लिए 30-60%), और प्रोटोकॉल ओवरहेड के कारण भौतिक बैंडविड्थ का अक्षम उपयोग। जैसे-जैसे 25GbE मानक एक्सेस लेयर स्पीड बन रहा है, ये अक्षमताएं अब स्वीकार्य नहीं हैं। इस समाधान के लिए लक्षित आवश्यकताएं हैं: सब-5µs एंड-टू-एंड स्टोरेज लेटेंसी, नेटवर्क I/O के लिए 10% से कम सीपीयू उपयोग, और प्रति सर्वर डुअल 25GbE पोर्ट का पूर्ण लाइन-रेट उपयोग।

2. समग्र नेटवर्क/सिस्टम आर्किटेक्चर डिज़ाइन

प्रस्तावित आर्किटेक्चर लेयर 2 पर लॉसलेस ईथरनेट के साथ दो-स्तरीय स्पाइन-लीफ टोपोलॉजी को अपनाता है। कंप्यूट और स्टोरेज नोड्स को लीफ स्विच में समान रूप से वितरित किया जाता है, प्रत्येक को PFC (प्रायोरिटी फ्लो कंट्रोल) और ECN (एक्सप्लिसिट कंजेशन नोटिफिकेशन) के साथ कॉन्फ़िगर किया जाता है ताकि RoCEv2 को सक्षम किया जा सके। मुख्य आर्किटेक्चरल निर्णय हर सर्वर पर MCX631432AN-ADAB ConnectX-6 Lx डुअल-पोर्ट 25GbE SFP28 एडॉप्टर को तैनात करना है, जो RDMA के लिए नेटवर्क कनेक्टिविटी और हार्डवेयर ऑफलोड दोनों प्रदान करता है। RoCE ट्रैफ़िक के लिए एक समर्पित DSCP-आधारित प्रायोरिटी क्यू आवंटित की जाती है, जो बेस्ट-एफर्ट IP ट्रैफ़िक से अलग होती है। सेंट्रलाइज्ड मैनेजमेंट स्विच कॉन्फ़िगरेशन के लिए NVIDIA के Cumulus Linux या SONiC का उपयोग करता है, जबकि होस्ट-साइड ऑर्केस्ट्रेशन NVIDIA OFED स्टैक का लाभ उठाता है।

3. NVIDIA Mellanox MCX631432AN-ADAB की भूमिका और मुख्य विशेषताएं

इस समाधान के भीतर, MCX631432AN-ADAB महत्वपूर्ण सक्षमकर्ता के रूप में कार्य करता है - कमोडिटी सर्वर को कम-लेटेंसी, उच्च-थ्रूपुट नोड्स में बदल देता है। MCX631432AN-ADAB डेटाशीट के आधार पर, एडॉप्टर कई उन्नत क्षमताओं को शामिल करता है:

• हार्डवेयर RDMA ऑफलोड: सिलिकॉन में पूर्ण RoCEv2 स्टेट मशीन, सॉफ़्टवेयर-आधारित ट्रांसपोर्ट प्रोसेसिंग को समाप्त करता है।
• डुअल-पोर्ट 25GbE SFP28: सक्रिय ऑप्टिकल और DAC केबलिंग दोनों का समर्थन करता है, प्रति पोर्ट स्वतंत्र PPS प्रोसेसिंग के साथ।
• PCIe 4.0 x16 होस्ट इंटरफ़ेस: 200Gbps तक द्विदिश बैंडविड्थ प्रदान करता है, एडॉप्टर और होस्ट मेमोरी के बीच कोई बाधा नहीं छोड़ता है।
• इनलाइन एन्क्रिप्शन ऑफलोड: लाइन रेट पर IPsec और TLS प्रोसेसिंग, जीरो-ट्रस्ट स्टोरेज नेटवर्क के लिए महत्वपूर्ण।
• NVMe-oF त्वरण: NVMe/TCP और NVMe/RoCE के लिए विशेष रूप से अनुकूलित हार्डवेयर-आधारित कमांड क्यूइंग और डेटा प्लेसमेंट।

आधिकारिक MCX631432AN-ADAB विनिर्देशों के अनुसार, एडॉप्टर 800ns से कम हार्डवेयर लेटेंसी प्रदान करता है और प्रति सेकंड 200 मिलियन संदेशों तक का समर्थन करता है। ओपन-सोर्स RDMACM लाइब्रेरी के साथ संयुक्त होने पर, एप्लिकेशन न्यूनतम कोड परिवर्तनों के साथ TCP सॉकेट से RDMA वर्ब्स में संक्रमण कर सकते हैं। इस समाधान का मूल्यांकन करने वाले संगठनों के लिए, यह ध्यान रखना महत्वपूर्ण है कि MCX631432AN-ADAB संगत सर्वर सूची में सभी प्रमुख OEM प्लेटफ़ॉर्म (Dell PowerEdge, HPE ProLiant, Lenovo ThinkSystem, और Supermicro) शामिल हैं, जिनमें RHEL, Ubuntu, Rocky Linux, और Windows Server के लिए प्रमाणित ड्राइवर हैं।

4. परिनियोजन और स्केलिंग अनुशंसाएँ

एक विशिष्ट रैक-स्तरीय परिनियोजन इस पैटर्न का अनुसरण करता है: प्रत्येक कंप्यूट या स्टोरेज नोड को एक MCX631432AN-ADAB ईथरनेट एडॉप्टर कार्ड समाधान प्राप्त होता है, जिसमें इसके डुअल पोर्ट सक्रिय-सक्रिय LACP बॉन्डिंग में अतिरेक के लिए या अलग फैब्रिक पाथ (एक लीफ-ए को, एक लीफ-बी को) के रूप में कॉन्फ़िगर किए जाते हैं। भौतिक टोपोलॉजी सरल है:

• प्रत्येक सर्वर → दो 25GbE लिंक → दो अलग लीफ स्विच (हिटलेस फेलओवर का समर्थन करते हुए)।
• लीफ स्विच → 100GbE अपलिंक → पूर्ण-मेश नॉन-ब्लॉकिंग के लिए दो स्पाइन स्विच।
• सभी स्विचों पर PFC सक्षम के साथ RoCE ट्रैफ़िक के लिए समर्पित DSCP मार्किंग (जैसे, 46)।

200 से अधिक सर्वरों से परे स्केलिंग के लिए, हम क्रमशः स्टोरेज और कंप्यूट के लिए एक अलग RoCE क्लस्टर तैनात करने की सलाह देते हैं, या स्टोरेज RoCE ट्रैफ़िक को प्राथमिकता दी जाए यह सुनिश्चित करने के लिए QoS नीति का उपयोग करते हैं। लीफ स्विच पर बफर ट्यूनिंग भी महत्वपूर्ण है: 25GbE पोर्ट के लिए प्रति-पोर्ट साझा बफर आकार 12MB तक बढ़ाया जाना चाहिए ताकि पैकेट हानि के बिना माइक्रो-बर्स्ट को अवशोषित किया जा सके। संगठन वॉल्यूम मूल्य निर्धारण के लिए MCX631432AN-ADAB बिक्री के लिए विक्रेता कैटलॉग का संदर्भ ले सकते हैं, और प्रति नोड MCX631432AN-ADAB मूल्य आमतौर पर सीपीयू बचत और स्टोरेज दक्षता लाभ के कारण छह महीने के भीतर अमूर्त हो जाता है।

5. संचालन, निगरानी और प्रदर्शन ट्यूनिंग

परिनियोजन के बाद, निम्नलिखित उपकरण और प्रथाएं निरंतर कम लेटेंसी सुनिश्चित करती हैं:

• होस्ट-साइड निगरानी: प्रति-क्यू RDMA काउंटर, PCIe रीट्रांसमिशन, और RoCE कंजेशन मार्क्स को ट्रैक करने के लिए mlx_perf और ethtool -S का उपयोग करें।
• स्विच टेलीमेट्री: उत्पादन को प्रभावित करने से पहले हेड-ऑफ-लाइन ब्लॉकिंग का पता लगाने के लिए PFC वॉचडॉग और ECN मार्किंग हिस्टोग्राम सक्षम करें।
• ट्यूनिंग अनुशंसाएँ: RDMA कंप्लीशन क्यू के लिए सीपीयू कोर को अलग करने के लिए irqbalance सेट करें; PCIe मैक्स रीड रिक्वेस्ट साइज को 4096 बाइट्स तक बढ़ाएं; झूठे कंजेशन सिग्नल से बचने के लिए बेस्ट-एफर्ट क्यू पर ECN अक्षम करें।
• फर्मवेयर और ड्राइवर जीवनचक्र: NVIDIA OFED रिलीज़ नोट्स की सदस्यता लें; MCX631432AN-ADAB ईथरनेट एडॉप्टर कार्ड डुअल इमेज बैंकों के कारण होस्ट रीबूट के बिना इन-प्लेस फर्मवेयर अपग्रेड का समर्थन करता है।

समस्या निवारण के लिए, एडॉप्टर के अंतर्निहित त्रुटि काउंटर (जैसे, सिंबल एरर, लोकल लिंक इंटीग्रिटी फेल्योर) तेजी से निदान प्रदान करते हैं। नए स्विच मॉडल के साथ एकीकृत करते समय, NVIDIA द्वारा बनाए रखा गया MCX631432AN-ADAB संगत इंटरऑपरेबिलिटी मैट्रिक्स देखें।

6. सारांश और मूल्य मूल्यांकन

NVIDIA Mellanox MCX631432AN-ADAB-आधारित समाधान तीन आयामों में मापने योग्य मूल्य प्रदान करता है: प्रदर्शन, TCO, और परिचालन सरलता। ट्रांसपोर्ट, एन्क्रिप्शन, और स्टोरेज प्रोटोकॉल प्रोसेसिंग को सीपीयू से एडॉप्टर में स्थानांतरित करके, संगठन सब-5µs NVMe-oF लेटेंसी प्राप्त करते हैं, जबकि एप्लिकेशन लॉजिक के लिए 40% से अधिक सीपीयू चक्रों को मुक्त करते हैं। डुअल-पोर्ट 25GbE डिज़ाइन सर्वर कनेक्टिविटी को भविष्य-प्रूफ बनाता है, और परिपक्व NVIDIA OFED सॉफ़्टवेयर स्टैक एकीकरण जोखिम को कम करता है। ग्रीनफील्ड 25GbE परिनियोजन की योजना बनाने वाले आर्किटेक्ट्स या मौजूदा TCP-बाउंड इंफ्रास्ट्रक्चर को आधुनिक बनाने के लिए, यह तकनीकी समाधान - MCX631432AN-ADAB ConnectX-6 Lx डुअल-पोर्ट 25GbE SFP28 पर केंद्रित - RDMA/RoCE सफलता के लिए एक सिद्ध, स्केलेबल और निवेश-संरक्षित पथ का प्रतिनिधित्व करता है।