मेलनॉक्स (NVIDIA Mellanox) MCX623106AN-CDAT सर्वर एडाप्टर तकनीकी श्वेतपत्र

यह तकनीकी श्वेतपत्र नेटवर्क आर्किटेक्ट्स, पूर्व-बिक्री इंजीनियरों और संचालन प्रबंधकों के लिए डिज़ाइन किया गया है।मेलनॉक्स (NVIDIA Mellanox) MCX623106AN-CDATसर्वर एडाप्टर और प्रदर्शित करता है कि आरडीएमए/आरओसीई तकनीक का उपयोग करके कम विलंबता, उच्च थ्रूपुट डेटा सेंटर नेटवर्क कैसे बनाया जाए।तैनाती और स्केलिंग रणनीतियों, साथ ही परिचालन और अनुगमन वास्तविक दुनिया के कार्यान्वयन के लिए कार्रवाई योग्य मार्गदर्शन प्रदान करता है।

आधुनिक डेटा केंद्रों को तीन मुख्य चुनौतियों का सामना करना पड़ता हैः सीपीयू एक नेटवर्क की बोतल का गला बन जाता है, अत्यधिक स्टोरेज एक्सेस विलंबता, और वितरित अनुप्रयोगों के लिए अनियंत्रित संचार ओवरहेड।पारंपरिक टीसीपी/आईपी प्रोटोकॉल स्टैक प्रोटोकॉल प्रसंस्करण और बड़े पैमाने पर समानांतर संचार के दौरान डेटा कॉपी करने पर सीपीयू संसाधनों का 30% से अधिक खपत करता हैइस बीच, NVMe over Fabrics जैसे अनुप्रयोग, वितरित मशीन लर्निंग फ्रेमवर्क (जैसे, NCCL),और इन-मेमोरी डेटाबेस 20 माइक्रोसेकंड से कम अंत से अंत तक विलंबता की आवश्यकता होती है. क्या तत्काल की जरूरत है एक समाधान है कि कर्नेल को दरकिनार करता है और हार्डवेयर स्तर के परिवहन offload प्रदान करता हैMCX623106AN-CDATRoCE प्रौद्योगिकी समाधानों के साथ संयुक्त।

यह समाधान एक दो-परत स्पाइन-लीफ टोपोलॉजी को अपनाता है। सभी कंप्यूटिंग और भंडारण नोड्सNVIDIA Mellanox MCX623106AN-CDATईथरनेट एडाप्टर. पत्ती स्विच खो खो के बिना RoCE संचालन के लिए विन्यस्त कर रहे हैं, PFC (प्राथमिकता प्रवाह नियंत्रण) और ECN (स्पष्ट भीड़ सूचना) सक्षम,RoCE यातायात के लिए आवंटित एक समर्पित प्राथमिकता कतार के साथमुख्य डिजाइन सिद्धांतों में शामिल हैंः

• नियंत्रण और डेटा विमानों का पृथक्करण: RoCE डेटा प्रवाह पूरी तरह से एडाप्टर पर हार्डवेयर द्वारा संसाधित होते हैं, जबकि नियंत्रण प्रोटोकॉल (जैसे, ARP, DHCP) अभी भी पारंपरिक पथ का पालन करते हैं।
• एकजुट कपड़ा: ईथरनेट मानक टीसीपी/आईपी और आरओसीई यातायात दोनों को ले जाता है, डीएससीपी मार्किंग के माध्यम से QoS अलगाव प्राप्त होता है।
• अंत से अंत तक जाम प्रबंधन: डीसीक्यूसीएन एल्गोरिथ्म के आधार पर, स्रोत एडाप्टर और स्विच के बीच एक बंद-लूप फीडबैक तंत्र स्थापित करना।

दMCX623106AN-CDAT ईथरनेट एडाप्टर कार्डप्रत्येक सर्वर नोड में महत्वपूर्ण भूमिका निभाता है। इसकी दोहरी-पोर्ट 100GbE डिजाइन रिडंडेंसी के लिए विभिन्न लीफ स्विच से कनेक्ट हो सकती है या स्टोरेज और कंप्यूटिंग ट्रैफ़िक के बीच भौतिक अलगाव प्रदान कर सकती है।

इस समाधान के मुख्य डेटा प्लेन घटक के रूप में,MCX623106AN-CDAT कनेक्टएक्स एडाप्टर PCIe नेटवर्क कार्डनिम्नलिखित निर्णायक क्षमताएं प्रदान करता है:

• हार्डवेयर RoCE लोड से बाहर निकलने वाला इंजन: होस्ट सीपीयू हस्तक्षेप के बिना परिवहन परत प्रसंस्करण (खंडन, पुनर्मिलन, पुष्टि, पुनः प्रसारण) को संभालता है।
• डायनामिक कनेक्टएक्स डिस्चार्ज: स्वचालित रूप से बहु-पंक्ति यातायात वितरित करता है, बहु-कोर सर्वरों पर थ्रूपुट में सुधार करता है।
• पीसीआईई 4.0 x16 होस्ट इंटरफ़ेस: सैद्धांतिक रूप से 256Gb/s का बैंडविड्थ, जो लाइन-रेट फॉरवर्डिंग के लिए कोई बाधा नहीं सुनिश्चित करता है।
• उन्नत भंडारण से माल निकालना: कपड़े पर NVMe के लिए हार्डवेयर त्वरण का समर्थन करता है, जिसमें नामस्थान लुकअप और डेटा अखंडता जांच शामिल हैं.

के अनुसारMCX623106AN-CDAT डेटाशीटऔर सार्वजनिक रूप से उपलब्धMCX623106AN-CDAT विनिर्देश, यह एडाप्टर 600 नैनो सेकंड से कम पोर्ट-टू-पोर्ट विलंबता प्राप्त करता है और 200 मिलियन पैकेट प्रति सेकंड तक के पैकेट प्रोसेसिंग दरों का समर्थन करता है।MCX623106AN-CDAT कीमततुलनात्मक 100GbE RoCE एडाप्टरों के बीच अत्यधिक प्रतिस्पर्धी है औरबिक्री के लिए MCX623106AN-CDATमानक वितरण चैनलों के माध्यम से उपलब्ध है। चयन से पहले, यह पुष्टि करना उचित है कि सर्वर मॉडलMCX623106AN-CDAT संगतमुख्यधारा के ओईएम प्लेटफार्मों की सूची सभी को मान्य किया गया है।

विशिष्ट टोपोलॉजी विवरणः
एक क्लोज आर्किटेक्चर जिसमें 2 स्पाइन स्विच और 4 लीफ स्विच होते हैं। प्रत्येक सर्वर नोड एक से लैस होता हैMCX623106AN-CDAT, दोनों 100GbE पोर्ट दो अलग-अलग लीफ स्विच से जुड़े हुए हैं। लीफ अपलिंक पोर्ट 4: 1 ओवरसब्सक्राइब अनुपात में स्पाइन्स से जुड़ते हैं। RoCE ट्रैफ़िक के लिए एक समर्पित VLAN का उपयोग किया जाता है।

तैनाती के चरण:

• चरण 1: भौतिक रूप सेMCX623106AN-CDATएक PCIe 4.0 x16 स्लॉट में, फिर नवीनतम फर्मवेयर और NVIDIA MLNX_OFED ड्राइवर स्थापित करें।
• चरण 2: स्विच पर, RoCE ट्रैफ़िक के लिए PFC (प्राथमिकता 3 अनुशंसित) और ECN (सेट Kmin/Kmax) को कॉन्फ़िगर करें।
• चरण 3: ऑपरेटिंग सिस्टम पर, RoCEv2 मोड को सक्षम करें और DCQCN पैरामीटर कॉन्फ़िगर करें (प्रारंभिक मानः α=1, β=1, टाइमर अवधि 100μs) ।
• चरण 4: प्रदर्शन आधार रेखा को सत्यापित करने के लिए ib_write_bw और ib_write_lat टूल का उपयोग करें.

स्केलिंग अनुशंसाएंःजब क्लस्टर 500 नोड्स से परे स्केल करता है, तो एडेप्टर के प्रवाह नियंत्रण (पीपीसी) और QoS मैपिंग तालिकाओं को सक्षम करने पर विचार करें, और हेड-ऑफ-लाइन ब्लॉक से बचने के लिए कई RoCE प्राथमिकताओं का उपयोग करने पर विचार करें।

ऑपरेशंस टीमों के स्वास्थ्य की निगरानी के लिए निम्नलिखित उपकरणों का उपयोग कर सकते हैंMCX623106AN-CDAT ईथरनेट एडाप्टर कार्ड समाधान:

• mlxconfig / mlxfwmanager: फर्मवेयर पैरामीटर को कॉन्फ़िगर करें और फर्मवेयर उन्नयन प्रबंधित करें.
• एथटूल -S: RoCE प्रसारण/प्राप्त करने वाले काउंटर और PFC पज़ फ्रेम की गिनती देखें.
• आईबीडायग्नेट: अनावश्यक पीएफसी तूफानों का पता लगाने के लिए व्यापक आरओसीई नेटवर्क निदान करना।
• टेलीमेट्री और HIST: पूंछ विलंबता विसंगतियों की पहचान करने के लिए एडाप्टर पर अंतर्निहित ऐतिहासिक विलंबता वितरण तालिकाओं का उपयोग करें.

सामान्य समस्या निवारणः

• अपेक्षाओं से कम थ्रूपुटः PCIe वार्ता स्थिति की जाँच करें (Gen4 x16 होना चाहिए) और यह सुनिश्चित करें कि MTU को 9000 जंबो फ्रेम पर समान रूप से सेट किया गया है।
• RoCE कनेक्शन विफलताः DSCP मैपिंग और VLAN कॉन्फ़िगरेशन की जाँच करें, यह सुनिश्चित करें कि स्विच RoCE चिह्नित पैकेट नहीं छोड़ रहा है।
• उच्च सीपीयू उपयोगः यह संकेत दे सकता है कि हार्डवेयर ऑफलोड सक्षम नहीं है; ethtool ऑफलोड सेटिंग्स की जाँच करें.

अनुकूलन सिफारिशेंःअति विलंबता-संवेदनशील अनुप्रयोगों के लिए (उदाहरण के लिए, उच्च आवृत्ति व्यापार, आरडीएमए लॉग प्रतिकृति),RoCE सेवा प्रकार को "कनेक्टेड" से "डेटाग्राम" में बदलने और भीड़ नियंत्रण को अक्षम करने पर विचार करें.

आरडीएमए/आरओसीई समाधानMCX623106AN-CDATवितरित अनुप्रयोगों के लिए मौजूदा ईथरनेट बुनियादी ढांचे को प्रतिस्थापित किए बिना अंत से अंत तक विलंबता को परिमाण के क्रम (सैकड़ों माइक्रोसेकंड से लेकर दसियों माइक्रोसेकंड तक) में कम करता है,जबकि एक ही समय में सीपीयू कंप्यूटिंग संसाधनों के 20~30% मुक्त. एआई प्रशिक्षण, हाइपरकन्वर्ज्ड स्टोरेज और वास्तविक समय विश्लेषण जैसे परिदृश्यों के लिए, यह सीधे कम कार्य पूरा करने के समय और उच्च सर्वर घनत्व में अनुवाद करता है।MCX623106AN-CDAT ईथरनेट एडाप्टर कार्ड समाधान, यह दर्शाता है कि "हानि रहित ईथरनेट + स्मार्ट एनआईसी" उच्च थ्रूपुट और कम विलंबता दोनों प्राप्त करने के लिए एक व्यवहार्य मार्ग है।MCX623106AN-CDAT डेटाशीट, कृपया आधिकारिक NVIDIA प्रलेखन देखें या समाधान वास्तुकला टीम से संपर्क करें।