Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT सर्वर एडाप्टर क्रिया में

एक्शन में मेलानॉक्स (एनवीडिया मेलानॉक्स) MCX623106AN-CDAT सर्वर एडॉप्टर | RDMA/RoCE लो-लेटेंसी ट्रांसपोर्ट और सर्वर थ्रूपुट ऑप्टिमाइज़ेशन

एक बड़े पैमाने पर इंटरनेट कंपनी के इलास्टिक बेयर-मेटल और एआई इन्फेरेंस हाइब्रिड डिप्लॉयमेंट परिदृश्य में, नेटवर्क लेटेंसी और सीपीयू ओवरहेड जीपीयू यूटिलाइजेशन और स्टोरेज परफॉरमेंस को स्केल करने में महत्वपूर्ण बाधा बन गए थे। इंफ्रास्ट्रक्चर टीम को एक ऐसे समाधान की आवश्यकता थी जो वितरित प्रशिक्षण नौकरियों के लिए सब-माइक्रोसेकंड लेटेंसी प्रदान कर सके, साथ ही उच्च-थ्रूपुट NVMe-oF स्टोरेज ट्रैफिक का समर्थन कर सके - यह सब मौजूदा केबलिंग इंफ्रास्ट्रक्चर के महंगे अपग्रेड को मजबूर किए बिना। यह केस स्टडी जांच करती है कि कैसे MCX623106AN-CDAT मेलानॉक्स (एनवीडिया मेलानॉक्स) से ने इन चुनौतियों का समाधान किया और नेटवर्क फैब्रिक को एक वास्तविक कंप्यूट एक्सेलेरेटर में बदल दिया।

पृष्ठभूमि और चुनौतियाँ: जब 25G NIC अपनी सीमा तक पहुँच गए

उत्पादन वातावरण में दो उपलब्धता क्षेत्रों में विभाजित 1,200 से अधिक कंप्यूट नोड्स शामिल थे, जो ऑनलाइन इन्फेरेंस सेवाओं, ऑफ़लाइन एआई प्रशिक्षण और वितरित ऑब्जेक्ट स्टोरेज के मिश्रण पर चल रहे थे। मौजूदा 25G ईथरनेट एडॉप्टर, हालांकि बुनियादी कनेक्टिविटी के लिए पर्याप्त थे, समवर्ती वर्कलोड के तहत संघर्ष कर रहे थे। मुख्य दर्द बिंदु शामिल थे:

• उच्च सीपीयू उपयोग: सॉफ्टवेयर-आधारित टीसीपी/आईपी स्टैक प्रोसेसिंग ने पीक आई/ओ बर्स्ट के दौरान स्टोरेज नोड्स पर सीपीयू कोर का 35% तक उपभोग किया।
• असंगत लेटेंसी: वितरित ऑल-रिड्यूस ऑपरेशंस के लिए टेल लेटेंसी (p99) अक्सर 50µs से अधिक हो जाती थी, जिससे पैरामीटर सिंक्रनाइज़ेशन के दौरान जीपीयू का कम उपयोग होता था।
• स्टोरेज बॉटलनेक: लॉस ईथरनेट पर NVMe-oF ट्रैफिक पैकेट ड्रॉप्स से ग्रस्त था, जिससे रीट्रांसमिशन ट्रिगर हो रहे थे जिसने प्रभावी थ्रूपुट को लगभग 40% तक कम कर दिया था।

कई विकल्पों का मूल्यांकन करने के बाद - जिसमें मालिकाना इन्फिनीबैंड और प्रतिस्पर्धी 25G NIC शामिल थे - टीम ने हार्डवेयर-आधारित RoCEv2 एक्सेलेरेशन, प्रोग्रामेबल डेटा पाथ और व्यापक प्लेटफ़ॉर्म संगतता के अपने अनूठे संयोजन के लिए एनवीडिया मेलानॉक्स MCX623106AN-CDAT का चयन किया।

समाधान और डिप्लॉयमेंट दृष्टिकोण

डिप्लॉयमेंट रणनीति तीन स्तंभों पर केंद्रित थी: RDMA/RoCE सक्षम करना, स्मार्ट ऑफ़लोड सक्रियण, और क्रमिक फ्लीट माइग्रेशन. प्रत्येक कंप्यूट नोड को एक MCX623106AN-CDAT ईथरनेट एडॉप्टर कार्ड प्राप्त हुआ, जिसने पिछली पीढ़ी के NIC को अंतर्निहित 25G कॉपर/फाइबर इंफ्रास्ट्रक्चर को बदले बिना बदल दिया।

कॉन्फ़िगरेशन के दृष्टिकोण से, टीम ने निम्नलिखित मापदंडों को ठीक करने के लिए MCX623106AN-CDAT डेटाशीट का लाभ उठाया:

• RoCEv2 PFC (प्रायोरिटी फ्लो कंट्रोल) सेटअप: स्टोरेज (NVMe-oF) और एआई कलेक्टिव कम्युनिकेशंस के लिए समर्पित लॉसलेस ट्रैफिक क्लास को परिभाषित किया गया था, जबकि बेस्ट-एफर्ट ट्रैफिक अलग लॉस वाले कतारों पर बना रहा।
• हार्डवेयर ऑफ़लोड सक्षम: VXLAN/NVGRE टनल ऑफ़लोड, चेकसम सेगमेंटेशन, और LRO (लार्ज रिसीव ऑफ़लोड) को प्रति-पैकेट सीपीयू हस्तक्षेप को कम करने के लिए सक्रिय किया गया था।
• DPU-तैयार प्रोग्रामेबिलिटी: ASAP² का उपयोग करके, टीम ने कर्नेल नेटवर्क स्टैक को पूरी तरह से बायपास करते हुए, स्टोरेज ट्रैफिक को सीधे NVMe-oF टारगेट एंडपॉइंट्स पर निर्देशित करने के लिए हल्के फ्लो नियम तैनात किए।

संगतता सत्यापन सीधा था - MCX623106AN-CDAT संगत सूची ने फ्लीट (डेल पावरएज R750 और सुपरमाइक्रो अल्ट्रा सीरीज़) में सभी सर्वर मॉडल को कवर किया, और मौजूदा रेड हैट ओपनशिफ्ट और उबंटू-आधारित नोड्स ने बिना किसी समस्या के नए ड्राइवरों को अपनाया।

परिणाम और मापने योग्य लाभ

कंप्यूट फ्लीट के 40% पर तीन सप्ताह के उत्पादन डिप्लॉयमेंट के बाद, प्रदर्शन लाभ तुरंत दिखाई दे रहे थे। निम्नलिखित तालिका प्रमुख पहले और बाद के मेट्रिक्स का सारांश प्रस्तुत करती है:

मात्रात्मक सुधारों से परे, इंजीनियरिंग टीम ने परिचालन स्थिरता में एक गुणात्मक बदलाव की सूचना दी। हार्डवेयर-आधारित PFC और ECN (एक्सप्लिसिट कंजेशन नोटिफिकेशन) तंत्र ने सुनिश्चित किया कि स्टोरेज ट्रैफिक लगभग लॉसलेस बना रहा, जिससे कैस्केडिंग रीट्रांसमिशन स्टॉर्म समाप्त हो गए, जिन्होंने पहले एप्लिकेशन SLA को प्रभावित किया था। इसके अलावा, MCX623106AN-CDAT कनेक्टएक्स एडॉप्टर PCIe नेटवर्क कार्ड ने ज़ोन-भर प्रतिकृति ट्रैफिक के लिए लाइन-रेट IPSec एन्क्रिप्शन को संभाला, जिससे सुरक्षा टीम को समर्पित एन्क्रिप्शन उपकरणों को तैनात किए बिना जीरो-ट्रस्ट नीतियों को लागू करने में सक्षम बनाया गया।

सारांश और आगे की ओर परिप्रेक्ष्य

यह डिप्लॉयमेंट इस बात पर जोर देता है कि MCX623106AN-CDAT ईथरनेट एडॉप्टर कार्ड समाधान केवल एक वृद्धिशील NIC अपग्रेड नहीं है - यह आधुनिक डेटा सेंटर आर्किटेक्चर के लिए एक रणनीतिक प्रवर्तक है। हार्डवेयर-त्वरित RoCEv2, लचीली प्रोग्रामेबिलिटी और व्यापक ऑफ़लोड क्षमताओं को मिलाकर, एडॉप्टर प्रभावी रूप से एक मानक ईथरनेट फैब्रिक को एक लो-लेटेंसी, उच्च-दक्षता वाले इंफ्रास्ट्रक्चर लेयर में बदल देता है। आईटी संगठन अब सभी शेष नोड्स पर डिप्लॉयमेंट का विस्तार करने की योजना बना रहा है और सक्रिय रूप से MCX623106AN-CDAT विनिर्देशों का मूल्यांकन कर रहा है अगली पीढ़ी के 50G स्पाइन-लीफ डिजाइनों के लिए।

समान प्रदर्शन बाधाओं का सामना करने वाले इंफ्रास्ट्रक्चर आर्किटेक्ट्स और आईटी प्रबंधकों के लिए, MCX623106AN-CDAT एक सम्मोहक, सिद्ध मार्ग प्रदान करता है। जैसा कि एक वरिष्ठ आर्किटेक्ट ने नोट किया: "हमने अपने पिछले 25G NIC की तुलना में आधी सीपीयू लागत पर बेहतर लेटेंसी हासिल की, और हमें एक भी रैक को फिर से केबल करने की आवश्यकता नहीं पड़ी।" अपने व्यापक MCX623106AN-CDAT संगत इकोसिस्टम और प्रतिस्पर्धी MCX623106AN-CDAT मूल्य पोजिशनिंग के साथ, यह एडॉप्टर 25G RoCE डिप्लॉयमेंट के लिए डिफ़ॉल्ट विकल्प बनने के लिए अच्छी स्थिति में है - चाहे वर्कलोड एआई प्रशिक्षण, वितरित स्टोरेज, या रीयल-टाइम एनालिटिक्स हो।