Mellanox (NVIDIA Mellanox) कार्य में MCX623106AN-CDAT सर्वर एडाप्टर।

Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT सर्वर एडाप्टर कार्रवाई में।

एक बड़े पैमाने पर इंटरनेट कंपनी के लोचदार नंगे धातु और एआई निष्कर्ष संकर तैनाती परिदृश्य में,नेटवर्क विलंबता और सीपीयू ओवरहेड जीपीयू उपयोग और भंडारण प्रदर्शन को स्केलिंग करने के लिए महत्वपूर्ण बाधाएं बन गए थे. The infrastructure team needed a solution that could deliver sub-microsecond latency for distributed training jobs while simultaneously supporting high-throughput NVMe-oF storage traffic—all without forcing costly upgrades to the existing cabling infrastructureइस केस स्टडी में इस बात की जांच की गई है किMCX623106AN-CDATसे Mellanox (NVIDIA Mellanox) ने इन चुनौतियों का सामना किया और नेटवर्क कपड़े को एक सच्चे कंप्यूटिंग त्वरक में बदल दिया।

पृष्ठभूमि और चुनौतियांः जब 25जी एनआईसी अपनी सीमाओं तक पहुंचते हैं

उत्पादन वातावरण में दो उपलब्धता क्षेत्रों में विभाजित 1,200 से अधिक कंप्यूटिंग नोड्स शामिल थे, जो ऑनलाइन निष्कर्ष सेवाओं, ऑफ़लाइन एआई प्रशिक्षण और वितरित ऑब्जेक्ट स्टोरेज के मिश्रण को चला रहे थे।मौजूदा 25G ईथरनेट एडाप्टर, जबकि बुनियादी कनेक्टिविटी के लिए पर्याप्त है, समवर्ती कार्यभार के तहत संघर्ष किया। प्रमुख दर्द बिंदुओं में शामिल हैंः

• उच्च सीपीयू उपयोग: सॉफ्टवेयर आधारित टीसीपी/आईपी स्टैक प्रोसेसिंग ने पीक आई/ओ बर्स्ट के दौरान स्टोरेज नोड्स पर सीपीयू कोर के 35% तक का उपभोग किया।
• असंगत विलंबता: वितरित ऑल-रिड्यूस ऑपरेशंस के लिए टेल लेटेंसी (p99) अक्सर 50μs से अधिक होती है, जिससे पैरामीटर सिंक्रनाइज़ेशन के दौरान GPU का उपयोग कम होता है।
• भंडारण की बाधा: हानि वाले ईथरनेट पर एनवीएम-ओएफ यातायात को पैकेट ड्रॉप का सामना करना पड़ा, जिससे रीट्रांसमिशन शुरू हो गया जिसने प्रभावी थ्रूपुट को लगभग 40% तक कम कर दिया।

स्वामित्व वाले InfiniBand और प्रतिस्पर्धी 25G NICs सहित कई विकल्पों का मूल्यांकन करने के बाद, टीम नेNVIDIA Mellanox MCX623106AN-CDATहार्डवेयर आधारित RoCEv2 त्वरण, प्रोग्राम करने योग्य डेटा पथ और व्यापक प्लेटफार्म संगतता के अपने अनूठे संयोजन के लिए।

समाधान और तैनाती दृष्टिकोण

इस रणनीति में तीन स्तंभों पर ध्यान केंद्रित किया गया हैःRDMA/RoCE सक्षम करना,स्मार्ट डिस्चार्ज सक्रियण, औरक्रमिक बेड़े की पलायन. प्रत्येक गणना नोड एक प्राप्त कियाMCX623106AN-CDAT ईथरनेट एडाप्टर कार्ड, पिछले पीढी के एनआईसी को बदलने के बिना अंतर्निहित 25जी तांबा/फाइबर बुनियादी ढांचे को बदलने के लिए।

कॉन्फ़िगरेशन के दृष्टिकोण से, टीमMCX623106AN-CDAT डेटाशीटनिम्नलिखित मापदंडों को ठीक करने के लिएः

• RoCEv2 PFC (प्राथमिकता प्रवाह नियंत्रण) सेटअप: स्टोरेज (एनवीएमई-ओएफ) और एआई सामूहिक संचार के लिए समर्पित हानि रहित यातायात वर्गों को परिभाषित किया गया था, जबकि सर्वोत्तम प्रयास यातायात अलग-अलग हानि वाली कतारों पर बना रहा।
• हार्डवेयर को उतारने की अनुमति: VXLAN/NVGRE टनल ऑफलोड, चेकसम सेगमेंटेशन और LRO (लार्ज रिसीव ऑफलोड) प्रति पैकेट CPU हस्तक्षेप को कम करने के लिए सक्रिय किए गए थे.
• डीपीयू-तैयार प्रोग्रामेबिलिटी: ASAP2 का उपयोग करते हुए, टीम ने स्टोरेज ट्रैफ़िक को सीधे NVMe-oF लक्ष्य एंडपॉइंट्स पर निर्देशित करने के लिए हल्के प्रवाह नियमों को तैनात किया, पूरी तरह से कर्नेल नेटवर्क स्टैक को बायपास किया।

संगतता सत्यापन सरल थाMCX623106AN-CDAT संगतसूची में फ्लीट में सभी सर्वर मॉडल (डेल पावरएज आर 750 और सुपरमाइक्रो अल्ट्रा श्रृंखला) शामिल थे, और मौजूदा रेड हैट ओपनशिफ्ट और उबंटू आधारित नोड्स ने नए ड्राइवरों को बिना किसी समस्या के अपनाया।

परिणाम और मापने योग्य लाभ

तीन सप्ताह के उत्पादन की तैनाती के बाद 40% कंप्यूटिंग बेड़े में, प्रदर्शन में वृद्धि तुरंत दिखाई दी। निम्नलिखित तालिका में प्रमुख पहले और बाद के मीट्रिक को सारांशित किया गया हैः

मात्रात्मक सुधारों के अलावा, इंजीनियरिंग टीम ने परिचालन स्थिरता में गुणात्मक बदलाव की सूचना दी।हार्डवेयर आधारित पीएफसी और ईसीएन (स्पष्ट भीड़ सूचना) तंत्र ने यह सुनिश्चित किया कि भंडारण यातायात लगभग हानि रहित रहे, जो पहले एप्लिकेशन एसएलए को प्रभावित करते थे।MCX623106AN-CDAT कनेक्टएक्स एडाप्टर PCIe नेटवर्क कार्डक्रॉस-ज़ोन प्रतिकृति यातायात के लिए लाइन-रेट IPSec एन्क्रिप्शन को संभाला, सुरक्षा टीम को समर्पित एन्क्रिप्शन उपकरण तैनात किए बिना शून्य-विश्वास नीतियों को लागू करने में सक्षम बनाता है।

सारांश और भविष्य की ओर देखने वाला दृष्टिकोण

यह तैनाती इस बात को रेखांकित करती है किMCX623106AN-CDAT ईथरनेट एडाप्टर कार्ड समाधानयह केवल एक वृद्धिशील एनआईसी उन्नयन नहीं है, यह आधुनिक डेटा सेंटर आर्किटेक्चर के लिए एक रणनीतिक सक्षमकर्ता है। हार्डवेयर-त्वरित रोसेव 2 को जोड़कर, लचीली प्रोग्रामेबिलिटी,और व्यापक उतार-चढ़ाव क्षमता, एडाप्टर प्रभावी रूप से एक मानक ईथरनेट कपड़े को कम विलंबता, उच्च दक्षता वाले बुनियादी ढांचे की परत में बदल देता है।आईटी संगठन अब शेष सभी नोड्स में तैनाती का विस्तार करने की योजना बना रहा है और सक्रिय रूप से मूल्यांकन कर रहा हैMCX623106AN-CDAT विनिर्देशअगली पीढ़ी के 50G स्पाइन-लेफ डिजाइन के लिए।

बुनियादी ढांचे के वास्तुकारों और आईटी प्रबंधकों के लिए समान प्रदर्शन सीमाओं का सामना करना पड़ रहा है,MCX623106AN-CDATएक वरिष्ठ वास्तुकार ने कहा है:"हमने अपनी पिछली 25G एनआईसी की तुलना में आधी सीपीयू लागत पर बेहतर विलंबता प्राप्त की, और हमें एक भी रैक को फिर से केबल करने की आवश्यकता नहीं थी।अपनी बड़ीMCX623106AN-CDAT संगतपारिस्थितिकी तंत्र और प्रतिस्पर्धीMCX623106AN-CDAT कीमतयह एडाप्टर 25G RoCE तैनाती के लिए डिफ़ॉल्ट विकल्प बनने के लिए अच्छी तरह से तैयार है, चाहे कार्यभार एआई प्रशिक्षण, वितरित भंडारण या वास्तविक समय विश्लेषण हो।

टैगःMCX623106AN-CDATNVIDIA Mellanox ConnectX-6 Dx RDMA/RoCE तैनाती कम विलंबता नेटवर्क सर्वर थ्रूपुट अनुकूलन