NVIDIA Mellanox MCX556A-ECAT तकनीकी समाधान: कम-विलंबता परिवहन और सर्वर थ्रूपुट अनुकूलन के लिए RDMA/RoCE

यह तकनीकी श्वेत पत्र नेटवर्क आर्किटेक्ट, प्री-सेल्स इंजीनियरों और संचालन प्रबंधकों के लिए है। यह NVIDIA Mellanox MCX556A-ECAT सर्वर एडॉप्टर पर केंद्रित है और RDMA और RoCE तकनीक का उपयोग करके उच्च-प्रदर्शन, कम-विलंबता वाले डेटा सेंटर नेटवर्क बनाने के लिए एक व्यवस्थित ढांचा प्रदान करता है।

आधुनिक डेटा सेंटर वर्कलोड - जिसमें वितरित स्टोरेज (Ceph, Lustre), इन-मेमोरी डेटाबेस (Redis, Aerospike), और AI प्रशिक्षण फ्रेमवर्क शामिल हैं - दोनों उच्च थ्रूपुट और सब-मिलीसेकंड विलंबता की मांग करते हैं। पारंपरिक TCP/IP स्टैक महत्वपूर्ण CPU ओवरहेड, संदर्भ स्विचिंग और डेटा कॉपी पेश करते हैं, जो नेटवर्क की गति 100Gb/s और उससे अधिक तक पहुंचने पर बाधा बन जाते हैं। अगली पीढ़ी के बुनियादी ढांचे के लिए प्रमुख आवश्यकताओं में शामिल हैं: CPU ऑफलोड (होस्ट प्रोसेसर उपयोग को कम करना), अल्ट्रा-कम और अनुमानित विलंबता (विशेष रूप से टेल विलंबता के लिए), स्टोरेज प्रोटोकॉल (NVMe-oF, iSER) के लिए दोषरहित परिवहन, और मौजूदा ईथरनेट बुनियादी ढांचे के साथ निर्बाध एकीकरण। MCX556A-ECAT सीधे इन प्रत्येक आवश्यकताओं को संबोधित करता है।

अनुशंसित आर्किटेक्चर RoCE (RDMA over Converged Ethernet) परिवहन के लिए कॉन्फ़िगर किए गए दोषरहित ईथरनेट के साथ दो-स्तरीय लीफ-स्पाइन टोपोलॉजी को अपनाता है। सभी कंप्यूट और स्टोरेज नोड्स MCX556A-ECAT ईथरनेट एडॉप्टर कार्ड से लैस हैं, जो 100GbE QSFP28 लिंक के माध्यम से लीफ स्विच से जुड़े हैं। स्पाइन स्विच लीफ-लेयर ट्रैफिक को एकत्रित करते हैं, जो नॉन-ब्लॉकिंग कोर बैंडविड्थ प्रदान करते हैं। प्रमुख आर्किटेक्चरल सिद्धांत शामिल हैं:

• नियंत्रण और डेटा प्लेन का पृथक्करण: RoCEv2 UDP/IP में RDMA को एनकैप्सुलेट करता है, जिससे लेयर 3 सीमाओं के पार रूटिंग की अनुमति मिलती है।
• प्राथमिकता प्रवाह नियंत्रण (PFC): RDMA ट्रैफिक क्लास के लिए दोषरहित व्यवहार को सक्षम करता है।
• उन्नत ट्रांसमिशन चयन (ETS): विलंबता-संवेदनशील प्रवाह के लिए बैंडविड्थ की गारंटी देता है।
• कंजेशन अधिसूचना: एंड-टू-एंड फ्लो कंट्रोल के लिए DCQCN (डेटा सेंटर क्वांटाइज्ड कंजेशन नोटिफिकेशन) का उपयोग करना।

आर्किटेक्चर बेयर-मेटल और वर्चुअलाइज्ड दोनों वातावरणों का समर्थन करता है, जिसमें SR-IOV VMs को वर्चुअल फ़ंक्शंस का सीधा पासथ्रू प्रदान करता है।

एक MCX556A-ECAT ConnectX एडॉप्टर PCIe नेटवर्क कार्ड के रूप में, यह एडॉप्टर समाधान का आधार बनता है। इसका हार्डवेयर-आधारित ऑफलोड इंजन कर्नेल को बायपास करता है, जिससे डायरेक्ट मेमोरी-टू-मेमोरी डेटा ट्रांसफर संभव होता है। महत्वपूर्ण विशेषताओं में शामिल हैं:

उन टीमों के लिए जो MCX556A-ECAT डेटाशीट और MCX556A-ECAT विनिर्देशों की समीक्षा कर रही हैं, ध्यान दें कि एडॉप्टर PCIe 3.0 और 4.0 (x16) दोनों का समर्थन करता है, जो मौजूदा सर्वर के साथ बैकवर्ड संगतता सुनिश्चित करता है जबकि अगली पीढ़ी के प्लेटफार्मों के लिए एक माइग्रेशन पथ प्रदान करता है।

एक मध्यम आकार के क्लस्टर (200 नोड्स तक) के लिए एक संदर्भ परिनियोजन नीचे वर्णित है। MCX556A-ECAT प्रत्येक सर्वर के PCIe स्लॉट में स्थापित है, जिसमें अतिरेक और बैंडविड्थ एकत्रीकरण के लिए डुअल-पोर्ट कनेक्टिविटी है।

• भौतिक टोपोलॉजी: दो स्पाइन स्विच, चार लीफ स्विच। प्रत्येक लीफ सभी स्पाइन से जुड़ता है (पूर्ण मेश)। प्रत्येक सर्वर दो लीफ से जुड़ता है (सक्रिय-सक्रिय बॉन्डिंग)।
• RoCE कॉन्फ़िगरेशन: RoCE ट्रैफिक के लिए समर्पित VLAN। DSCP-आधारित QoS मार्किंग (जैसे, RDMA के लिए DSCP 46)। प्राथमिकता 3 पर PFC सक्षम।
• बफर प्रबंधन: राउंड-ट्रिप समय और लिंक दूरी के आधार पर प्रति पोर्ट दोषरहित हेडरूम बफर कॉन्फ़िगर करें।
• एड्रेसिंग: RDMA इंटरफेस के लिए स्थिर IP असाइनमेंट या DHCP आरक्षण का उपयोग करें। एंड-टू-एंड जंबो फ्रेम (MTU 9000) सुनिश्चित करें।

200 नोड्स से परे स्केलिंग: एक सुपर-स्पाइन परत पेश करें और कई पॉड्स में लेयर 2 एक्सटेंशन के लिए BGP-EVPN तैनात करें। योग्य विक्रेताओं (जैसे, Mellanox, FS.com) से MCX556A-ECAT संगत ऑप्टिक्स और केबलों को सत्यापित करें। बड़े पैमाने पर खरीद के लिए MCX556A-ECAT मूल्य का मूल्यांकन करते समय, स्विच और ऑप्टिक्स के साथ बंडल मूल्य निर्धारण पर विचार करें।

RoCE-आधारित फैब्रिक के प्रभावी संचालन के लिए सक्रिय निगरानी और विशेष उपकरणों की आवश्यकता होती है:

• प्रदर्शन निगरानी: लिंक आँकड़ों (BER, FEC त्रुटियाँ) के लिए mlxlink और ethtool का उपयोग करें। NVIDIA का MCX556A-ECAT ईथरनेट एडॉप्टर कार्ड समाधान PCM (परफॉरमेंस काउंटर्स मॉनिटर) के माध्यम से टेलीमेट्री शामिल करता है।
• कंजेशन का पता लगाना: स्विच टेलीमेट्री (जैसे, Mellanox SNMP MIBs) का उपयोग करके ECN-चिह्नित पैकेट और PFC पॉज़ फ्रेम की निगरानी करें। उच्च पॉज़ फ्रेम दर बफर दबाव का संकेत देती है।
• फर्मवेयर और ड्राइवर प्रबंधन: NVIDIA OFED से नवीनतम संस्करणों में नियमित रूप से अपडेट करें। फर्मवेयर सत्यापन के लिए mstflint का उपयोग करें।
• सामान्य समस्या निवारण: RDMA कनेक्शन विफलताओं के लिए, MTU स्थिरता, VLAN सदस्यता और DSCP-से-CoS मैपिंग को सत्यापित करें। डिवाइस स्थिति की जांच के लिए ibdev2netdev और rdma link show का उपयोग करें।
• अनुकूलन युक्तियाँ: वर्कलोड के आधार पर DCQCN पैरामीटर (अल्फा, बीटा, दर वृद्धि टाइमर) को ट्यून करें। स्टोरेज वर्कलोड के लिए, कंप्लीशन क्यू डेप्थ बढ़ाएं। AI प्रशिक्षण के लिए, GPUDirect RDMA सक्षम करें और मेमोरी पिन करें।

क्षमता योजना के लिए, थर्मल और पावर विनिर्देशों (विशिष्ट 15W) के लिए MCX556A-ECAT डेटाशीट देखें। एडॉप्टर अधिकृत वितरकों के माध्यम से व्यापक रूप से MCX556A-ECAT बिक्री के लिए उपलब्ध है, जिसमें स्पेयर स्टॉक प्रोग्राम भी शामिल हैं।

MCX556A-ECAT तीन आयामों में मापने योग्य मूल्य प्रदान करता है: प्रदर्शन (एप्लिकेशन विलंबता में 90% तक की कमी, 4x थ्रूपुट लाभ), दक्षता (70% CPU ऑफलोड, प्रति Gb/s कम बिजली), और स्वामित्व की कुल लागत (समेकित बुनियादी ढांचा, सर्वर गणना में कमी, कम शीतलन लागत)। RoCE-आधारित समाधान के हिस्से के रूप में NVIDIA Mellanox MCX556A-ECAT को तैनात करने वाले संगठन वर्कलोड तीव्रता के आधार पर 6-12 महीनों के भीतर ROI की उम्मीद कर सकते हैं। AI, HPC, या सॉफ्टवेयर-परिभाषित स्टोरेज को अपनाने वाले अगली पीढ़ी के डेटा सेंटर के लिए, यह एडॉप्टर एक सिद्ध, स्केलेबल नींव का प्रतिनिधित्व करता है। शुरू करने के लिए, एक MCX556A-ECAT डेटाशीट का अनुरोध करें और अपने स्विच विक्रेता के साथ MCX556A-ECAT संगत कॉन्फ़िगरेशन को मान्य करें।