NVIDIA Mellanox MCX631432AN-ADAB सर्वर एडाप्टर तकनीकी श्वेतपत्र

एनवीडिया मेलानॉक्स MCX631432AN-ADAB सर्वर एडॉप्टर तकनीकी व्हाइट पेपर | RDMA/RoCE लो-लेटेंसी ट्रांसपोर्ट और सर्वर थ्रूपुट ऑप्टिमाइज़ेशन

1. प्रोजेक्ट पृष्ठभूमि और आवश्यकताएँ विश्लेषण

आधुनिक डेटा सेंटर आर्किटेक्चर को उच्च-प्रदर्शन कंप्यूटिंग, कृत्रिम बुद्धिमत्ता वर्कलोड और वितरित स्टोरेज सिस्टम के अभिसरण द्वारा तेजी से परिभाषित किया जा रहा है। इन अनुप्रयोगों में नेटवर्किंग आवश्यकताओं का एक सामान्य सेट साझा है: अल्ट्रा-लो लेटेंसी, उच्च संदेश दरें, और डेटा मूवमेंट के लिए न्यूनतम सीपीयू ओवरहेड। पारंपरिक टीसीपी/आईपी-आधारित नेटवर्किंग स्टैक, हालांकि सर्वव्यापी हैं, महत्वपूर्ण लेटेंसी और सीपीयू प्रसंस्करण लागत पेश करते हैं जो बड़े पैमाने पर निषेधात्मक हो जाते हैं।

NVMe ओवर फैब्रिक्स (NVMe-oF), वितरित मशीन लर्निंग ट्रेनिंग क्लस्टर, या लेटेंसी-संवेदनशील वित्तीय ट्रेडिंग प्लेटफॉर्म को तैनात करने वाले संगठनों के लिए, नेटवर्क इंटरफ़ेस कार्ड (NIC) एक साधारण I/O डिवाइस से एक रणनीतिक प्रदर्शन त्वरक के रूप में विकसित हुआ है। आधुनिक परिनियोजन में पहचानी गई प्रमुख आवश्यकताओं में शामिल हैं:

• हार्डवेयर-ऑफलोडेड ट्रांसपोर्ट के माध्यम से सब-5 माइक्रोसेकंड एप्लिकेशन-स्तरीय लेटेंसी
• सर्वर बॉटलनेक को खत्म करने के लिए प्रति सर्वर 40 Gb/s से अधिक कुल थ्रूपुट
• लोड के तहत न्यूनतम टेल लेटेंसी भिन्नता के साथ नियतात्मक प्रदर्शन
• मालिकाना स्विचिंग के बिना मौजूदा ईथरनेट इन्फ्रास्ट्रक्चर के साथ निर्बाध एकीकरण
• सक्रिय संचालन के लिए व्यापक टेलीमेट्री और नैदानिक क्षमताएं

एनवीडिया मेलानॉक्स MCX631432AN-ADAB अपने कनेक्टएक्स-6 एलएक्स आर्किटेक्चर के माध्यम से इन आवश्यकताओं को सीधे संबोधित करता है, उन्नत कंजेशन कंट्रोल और प्रोग्रामेबल डेटा पाथ क्षमताओं के साथ हार्डवेयर-त्वरित RoCEv2 (RDMA ओवर कन्वर्ज्ड ईथरनेट) प्रदान करता है।

2. समग्र नेटवर्क और सिस्टम आर्किटेक्चर डिज़ाइन

प्रस्तावित समाधान आर्किटेक्चर सर्वर एक्सेस लेयर पर 25GbE कनेक्टिविटी के साथ एक लीफ-स्पाइन नेटवर्क टोपोलॉजी को अपनाता है। प्रत्येक कंप्यूट या स्टोरेज नोड MCX631432AN-ADAB कनेक्टएक्स-6 एलएक्स डुअल-पोर्ट 25GbE SFP28 एडॉप्टर से लैस है, जो टॉप-ऑफ-रैक (ToR) स्विच तक दोहरी अतिरेक पथ प्रदान करता है। आर्किटेक्चर में शामिल हैं:

• सर्वर एज: MCX631432AN-ADAB ईथरनेट एडॉप्टर कार्ड होस्ट सीपीयू से पीसीआईई जेन 4.0 x8 के माध्यम से जुड़ता है, जो 64 GB/s तक द्विदिश होस्ट बैंडविड्थ प्रदान करता है, जो दोनों 25GbE पोर्ट को एक साथ संतृप्त करने के लिए पूरी तरह से पर्याप्त है।
• नेटवर्क फैब्रिक: डुअल 25GbE SFP28 पोर्ट सक्रिय-सक्रिय लोड संतुलन या सक्रिय-स्टैंडबाय फेलओवर प्रदान करते हैं। एडॉप्टर हार्डवेयर एलएजी (लिंक एग्रीगेशन) ऑफलोड के साथ 50 Gb/s तक कुल थ्रूपुट का समर्थन करता है।
• स्टोरेज एकीकरण: NVMe-oF परिनियोजन के लिए, एडॉप्टर RDMA एंडपॉइंट के रूप में कार्य करता है, जो सब-माइक्रोसेकंड लेटेंसी के साथ डायरेक्ट मेमोरी-टू-मेमोरी डेटा ट्रांसफर को सक्षम करता है।
• प्रबंधन प्लेन: एडॉप्टर के सुरक्षित प्रबंधन इंटरफ़ेस के माध्यम से आउट-ऑफ-बैंड प्रबंधन, Redfish और SNMP निगरानी के लिए पूर्ण समर्थन के साथ।

डिजाइन RoCEv2 के साथ प्रायोरिटी फ्लो कंट्रोल (PFC) और एक्सप्लिसिट कंजेशन नोटिफिकेशन (ECN) के माध्यम से लॉसलेस ईथरनेट पर जोर देता है - यह सुनिश्चित करता है कि MCX631432AN-ADAB ईथरनेट एडॉप्टर कार्ड समाधान समर्पित इन्फिनिबैंड इन्फ्रास्ट्रक्चर के बिना एक परिवर्तित, मल्टी-प्रोटोकॉल फैब्रिक के भीतर संचालित होता है।

3. एनवीडिया मेलानॉक्स MCX631432AN-ADAB की भूमिका और मुख्य विशेषताएं

एनवीडिया मेलानॉक्स MCX631432AN-ADAB इस समाधान का मूलभूत निर्माण खंड है, जो मूल्य की तीन अलग-अलग परतें प्रदान करता है:

ए. हार्डवेयर त्वरण इंजन
एडॉप्टर एक अत्यधिक प्रोग्रामेबल पैकेट प्रोसेसिंग पाइपलाइन को एकीकृत करता है जो होस्ट सीपीयू से ट्रांसपोर्ट प्रोटोकॉल संचालन को ऑफलोड करता है - जिसमें RoCE सेगमेंटेशन, रीअसेंबली और कंजेशन कंट्रोल शामिल हैं। MCX631432AN-ADAB डेटाशीट के अनुसार, हार्डवेयर प्रति सेकंड 200 मिलियन संदेश (Mpps) तक का समर्थन करता है, यह सुनिश्चित करता है कि सबसे छोटे पैकेट आकार भी वायर-रेट प्रदर्शन प्राप्त करें।

बी. RDMA और RoCEv2 कार्यान्वयन
MCX631432AN-ADAB कनेक्टएक्स-6 एलएक्स डुअल-पोर्ट 25GbE SFP28 पूरी तरह से हार्डवेयर-ऑफलोडेड ट्रांसपोर्ट के साथ RoCEv2 लागू करता है। यह सक्षम करता है:

• एप्लिकेशन बफ़र्स और रिमोट मेमोरी के बीच सीधे जीरो-कॉपी डेटा ट्रांसफर
• पीयर-टू-पीयर संचार के लिए सब-2 माइक्रोसेकंड वन-वे लेटेंसी
• केवल PFC और ECN समर्थन की आवश्यकता वाले मानक ईथरनेट स्विच के साथ पूर्ण संगतता

सी. उन्नत टेलीमेट्री और प्रोग्रामेबिलिटी
एडॉप्टर में टेलीमेट्री काउंटरों का एक सूट शामिल है जो प्रति-फ्लो लेटेंसी, क्यू डेप्थ और कंजेशन मेट्रिक्स प्रदान करता है - सक्रिय प्रदर्शन प्रबंधन के लिए महत्वपूर्ण। MCX631432AN-ADAB विनिर्देश प्रोग्रामेबल सुविधाओं की पूरी श्रृंखला का विवरण देते हैं, जिसमें लचीला मैच-एक्शन प्रोसेसिंग और इन-बैंड नेटवर्क टेलीमेट्री (INT) के लिए समर्थन शामिल है।

परिनियोजन पर विचार करने वाले संगठनों के लिए, एडॉप्टर सभी प्रमुख लिनक्स वितरण (RHEL, उबंटू, SLES), VMware ESXi, और विंडोज सर्वर के साथ पूरी तरह से MCX631432AN-ADAB संगत है, जो विषम वातावरण में निर्बाध एकीकरण सुनिश्चित करता है।

4. परिनियोजन और स्केलेबिलिटी सिफ़ारिशें

विशिष्ट परिनियोजन टोपोलॉजी

अनुशंसित परिनियोजन निम्नलिखित कॉन्फ़िगरेशन के साथ "स्पाइन-लीफ" टोपोलॉजी का अनुसरण करता है:

• लीफ स्विच: 25GbE ToR स्विच RoCEv2 समर्थन के साथ, समर्पित प्राथमिकता कतारों पर PFC और कंजेशन सिग्नलिंग के लिए ECN के साथ कॉन्फ़िगर किया गया
• सर्वर नोड्स: प्रत्येक नोड MCX631432AN-ADAB से लैस है, अतिरेक के लिए एक प्राथमिक और द्वितीयक लीफ से जुड़ा हुआ है
• स्पाइन लेयर: 100GbE या 400GbE स्पाइन स्विच जो नॉन-ब्लॉकिंग इंटर-रैक कनेक्टिविटी प्रदान करते हैं
• स्टोरेज लक्ष्य: समान RDMA क्षमताओं के लिए एक ही एडॉप्टर प्रकार का उपयोग करने वाले NVMe-oF लक्ष्य नोड्स

स्केलेबिलिटी विचार

समाधान एक एकल रैक से कई हजार नोड्स तक रैखिक रूप से स्केल करता है। प्रमुख स्केलेबिलिटी सिद्धांत शामिल हैं:

• बफर प्रबंधन: पैकेट ड्रॉप के बिना क्षणिक बर्स्ट को अवशोषित करने के लिए एडॉप्टर के साझा बफर आर्किटेक्चर (प्रति पोर्ट 4 MB तक विन्यास योग्य) का उपयोग करें
• कंजेशन डोमेन: PFC प्रसार को सीमित करने के लिए फैब्रिक को कई कंजेशन प्रबंधन क्षेत्रों में विभाजित करें, एडॉप्टर की प्रति-पोर्ट रेट लिमिटिंग का उपयोग करें
• क्लाउड-स्केल ऑर्केस्ट्रेशन: एडॉप्टर को Kubernetes (NVIDIA नेटवर्क ऑपरेटर के माध्यम से) और OpenStack द्वारा पूरी तरह से समर्थित है, जो स्वचालित प्रावधान और जीवनचक्र प्रबंधन को सक्षम करता है

जब MCX631432AN-ADAB मूल्य का मूल्यांकन कुल स्वामित्व लागत के मुकाबले किया जाता है, तो संगठनों को अलग इन्फिनिबैंड इन्फ्रास्ट्रक्चर के उन्मूलन और नेटवर्किंग कार्यों के लिए सीपीयू कोर आवंटन में महत्वपूर्ण कमी को ध्यान में रखना चाहिए - आमतौर पर प्रति सर्वर 2-4 सीपीयू कोर की वसूली होती है।

5. संचालन, निगरानी, समस्या निवारण और अनुकूलन

निगरानी ढांचा

समाधान तीन-स्तरीय अवलोकन दृष्टिकोण को शामिल करता है:

• एडॉप्टर-स्तरीय टेलीमेट्री: MCX631432AN-ADAB ईथरनेट एडॉप्टर कार्ड ethtool, sysfs, और विक्रेता-विशिष्ट टूल के माध्यम से 200 से अधिक हार्डवेयर काउंटर को उजागर करता है। प्रमुख मेट्रिक्स में शामिल हैं: प्रति-पोर्ट थ्रूपुट, पैकेट ड्रॉप, PFC पॉज़ फ्रेम, ECN चिह्नित पैकेट, और RoCEv2 कंजेशन इवेंट
• फैब्रिक-स्तरीय दृश्यता: NVIDIA के एकीकृत प्रबंधन मंच के साथ एकीकरण टोपोलॉजी विज़ुअलाइज़ेशन और फ्लो पाथ विश्लेषण प्रदान करता है
• एप्लिकेशन प्रदर्शन निगरानी: एडॉप्टर प्रति-क्यू और प्रति-RDMA कंप्लीशन क्यू आँकड़े प्रदान करता है, जिससे नेटवर्क प्रदर्शन को एप्लिकेशन-स्तरीय लेनदेन लेटेंसी के साथ सहसंबंधित किया जा सकता है

सामान्य समस्या निवारण परिदृश्य

परिचालन अनुभव के आधार पर, निम्नलिखित पैटर्न MCX631432AN-ADAB विनिर्देश और टेलीमेट्री डेटा का उपयोग करके पहचाने जाते हैं:

• PFC स्टॉर्म डिटेक्शन: प्रति प्राथमिकता PFC पॉज़ फ्रेम काउंटरों की निगरानी करें - लाइन रेट के 5% से अधिक का निरंतर पॉज़िंग कंजेशन या गलत कॉन्फ़िगरेशन का संकेत देता है
• RoCEv2 पैकेट ड्रॉप: यह अलग करने के लिए एडॉप्टर के ड्रॉप काउंटरों (जैसे, rx_discard_* काउंटर) की जाँच करें कि क्या ड्रॉप एडॉप्टर, स्विच पर होते हैं, या ECN-थ्रॉटलिंग के कारण होते हैं
• प्रदर्शन ट्यूनिंग: सीपीयू उपयोग के बदले लेटेंसी का व्यापार करने के लिए इंटरप्ट कोलेसिंग पैरामीटर (इंटरप्ट मॉडरेशन रेट) को समायोजित करें - आमतौर पर ट्रेडिंग अनुप्रयोगों के लिए न्यूनतम कोलेसिंग के साथ स्टोरेज वर्कलोड के लिए मध्यम कोलेसिंग सेट करना

अनुकूलन दिशानिर्देश

अधिकतम थ्रूपुट और न्यूनतम लेटेंसी प्राप्त करने के लिए, निम्नलिखित अनुकूलन MCX631432AN-ADAB डेटाशीट के आधार पर अनुशंसित हैं:

• होस्ट मेमोरी बैंडविड्थ खपत को कम करने के लिए हार्डवेयर सीआरसी और हेडर/डेटा स्प्लिट ऑफलोड सक्षम करें
• वर्कलोड प्रोफाइल के आधार पर प्रति-प्राथमिकता PFC थ्रेसहोल्ड को गतिशील रूप से कॉन्फ़िगर करें - एडॉप्टर के विक्रेता-विशिष्ट बफर कॉन्फ़िगरेशन टूल का उपयोग करना
• एडॉप्टर की उन्नत क्यूओएस सुविधाओं को सक्षम करें, जिसमें प्रति ट्रैफिक क्लास रेट लिमिटिंग और स्ट्रिक्ट प्रायोरिटी या वेटेड फेयर क्यूइंग शामिल है
• बड़े पैमाने पर परिनियोजन के लिए, स्विच के साथ PFC और ECN बातचीत को स्वचालित करने के लिए 802.1Qaz डेटा सेंटर ब्रिजिंग एक्सचेंज (DCBX) के लिए एडॉप्टर के समर्थन का उपयोग करें

6. सारांश और मूल्य मूल्यांकन

एनवीडिया मेलानॉक्स MCX631432AN-ADAB पर केंद्रित तकनीकी समाधान सब-10 माइक्रोसेकंड RDMA लेटेंसी प्राप्त करने के लिए एक स्पष्ट मार्ग प्रदान करता है, साथ ही पारंपरिक 10GbE TCP/IP परिनियोजन की तुलना में सर्वर थ्रूपुट को 5-6x तक बढ़ाता है। प्रमुख मूल्य प्रस्तावों में शामिल हैं:

• बुनियादी ढांचे का सरलीकरण: सभी ट्रैफिक प्रकारों के लिए लॉसलेस ईथरनेट को सक्षम करके अलग स्टोरेज और कंप्यूट नेटवर्क की आवश्यकता को समाप्त करता है
• प्रदर्शन पूर्वानुमेयता: हार्डवेयर-ऑफलोडेड RoCEv2 90%+ लाइन-रेट उपयोग के तहत भी नियतात्मक लेटेंसी सुनिश्चित करता है
• परिचालन दक्षता: व्यापक टेलीमेट्री और सेल्फ-हीलिंग कंजेशन प्रबंधन नेटवर्किंग मुद्दों के लिए समाधान के औसत समय (MTTR) को कम करता है
• निवेश संरक्षण: एडॉप्टर का पीसीआईई जेन 4.0 इंटरफ़ेस और प्रोग्रामेबिलिटी भविष्य के सीपीयू और स्विच पीढ़ियों के साथ संगतता सुनिश्चित करती है

उन संगठनों के लिए जो सक्रिय रूप से MCX631432AN-ADAB बिक्री के लिए विकल्पों का मूल्यांकन कर रहे हैं, यह समाधान एक सिद्ध संदर्भ वास्तुकला प्रदान करता है जिसे वित्तीय सेवाओं, क्लाउड प्रदाताओं और एंटरप्राइज़ स्टोरेज परिनियोजन में उत्पादन वातावरण में मान्य किया गया है। प्रदर्शन, स्केलेबिलिटी और परिचालन परिपक्वता का संयोजन MCX631432AN-ADAB ईथरनेट एडॉप्टर कार्ड को आधुनिक डेटा सेंटर परिवर्तन के लिए एक रणनीतिक निवेश बनाता है।