NVIDIA Mellanox MCX653106A-HDAT सर्वर एडॉप्टर तकनीकी श्वेत पत्र

April 30, 2026

NVIDIA Mellanox MCX653106A-HDAT सर्वर एडॉप्टर तकनीकी श्वेत पत्र

यह तकनीकी श्वेत पत्र नेटवर्क आर्किटेक्ट, प्री-सेल्स इंजीनियरों और संचालन प्रबंधकों के लिए है। यह RDMA/RoCE ट्रांसपोर्ट और मापने योग्य सर्वर थ्रूपुट लाभों पर ध्यान केंद्रित करते हुए, NVIDIA Mellanox MCX653106A-HDAT सर्वर NIC का उपयोग करके उच्च-प्रदर्शन, कम-विलंबता डेटा सेंटर नेटवर्क को डिजाइन और तैनात करने के लिए एक व्यापक संदर्भ प्रदान करता है।आधुनिक डेटा सेंटर वर्कलोड - जिसमें NVMe-oF स्टोरेज फैब्रिक्स, वितरित AI प्रशिक्षण, उच्च-आवृत्ति ट्रेडिंग और वास्तविक समय विश्लेषण शामिल हैं - नेटवर्क इन्फ्रास्ट्रक्चर पर अत्यधिक मांग रखते हैं। पारंपरिक TCP/IP स्टैक प्रोसेसिंग तीन मौलिक बाधाएं पेश करती है: उच्च CPU ओवरहेड (अक्सर कोर चक्रों का 50% से अधिक), कर्नेल बायपास सीमाओं के कारण परिवर्तनशील विलंबता, और प्रोटोकॉल प्रोसेसिंग ओवरहेड से कम प्रभावी थ्रूपुट। संगठनों को एक ऐसे समाधान की आवश्यकता है जो लाइन-रेट बैंडविड्थ को सब-माइक्रोसेकंड विलंबता के साथ प्रदान करे, जबकि सीपीयू संसाधनों को एप्लिकेशन लॉजिक के लिए मुक्त करे। प्रमुख आवश्यकताओं में हार्डवेयर-ऑफलोडेड RDMA, लॉसलेस RoCE ट्रांसपोर्ट, मौजूदा ईथरनेट फैब्रिक्स के साथ निर्बाध एकीकरण, और निगरानी और समस्या निवारण के लिए व्यापक परिचालन टूलिंग शामिल हैं।

2. समग्र नेटवर्क और सिस्टम आर्किटेक्चर डिजाइन

प्रस्तावित आर्किटेक्चर RoCE ट्रांसपोर्ट के लिए अनुकूलित दो-स्तरीय क्लोज (स्पाइन-लीफ) टोपोलॉजी को अपनाता है। लीफ स्विच DCB (प्रायोरिटी फ्लो कंट्रोल, एन्हांस्ड ट्रांसमिशन सिलेक्शन) के साथ सर्वर कनेक्टिविटी प्रदान करते हैं, जिसे RDMA ट्रैफिक के लिए लॉसलेस व्यवहार की गारंटी के लिए कॉन्फ़िगर किया गया है। स्पाइन स्विच फैब्रिक में नॉन-ब्लॉकिंग एनी-टू-एनी संचार को सक्षम करते हैं। प्रत्येक कंप्यूट और स्टोरेज नोड MCX653106A-HDAT ईथरनेट एडॉप्टर कार्ड को शामिल करता है, जो सक्रिय-एक्टिव बॉन्डिंग में डुअल 100GbE पोर्ट के माध्यम से लीफ स्विच से जुड़ता है। आर्किटेक्चर RDMA ट्रैफिक (PFC सक्षम के साथ समर्पित प्रायोरिटी क्यू) को नियमित TCP/IP ट्रैफिक (सर्वश्रेष्ठ-प्रयास क्यू) से अलग करता है, महत्वपूर्ण प्रवाह के लिए नियतात्मक कम विलंबता सुनिश्चित करता है। VLAN सेगमेंटेशन RDMA डोमेन को अलग करता है जबकि रूटिंग आवश्यक होने पर क्रॉस-सबनेट संचार को संभालती है।

3. NVIDIA Mellanox MCX653106A-HDAT की भूमिका और मुख्य विशेषताएं

MCX653106A-HDAT ConnectX एडॉप्टर PCIe नेटवर्क कार्ड इस समाधान की नींव के रूप में कार्य करता है। PCIe 4.0 x16 होस्ट इंटरफ़ेस के साथ ConnectX-6 आर्किटेक्चर पर निर्मित, यह RDMA वर्कलोड के तहत सब-600ns विलंबता के साथ डुअल-पोर्ट 100GbE (या सिंगल-पोर्ट 200GbE) थ्रूपुट प्रदान करता है। इस डिजाइन में उपयोग की जाने वाली प्रमुख विशेषताओं में शामिल हैं:क्षमता योजना:RDMA वर्ब्स का पूर्ण ऑफलोड, डेटा मूवमेंट के लिए होस्ट सीपीयू की भागीदारी को समाप्त करता है। RoCE v1 और v2 दोनों का समर्थन करता है।

NVMe-oF एक्सेलेरेटर:

प्रोग्रामेबल डेटा पाथ (ASAP²):पैकेट प्रोसेसिंग और ओवरले नेटवर्क (VXLAN, GENEVE) के ऑफलोड को सक्षम बनाता है।

  • मल्टी-होस्ट और GPU डायरेक्ट RDMA:नोड्स में GPUs के बीच सीधे पीयर-टू-पीयर संचार सीपीयू हस्तक्षेप के बिना - AI क्लस्टर के लिए महत्वपूर्ण।
  • टेलीमेट्री और कंजेशन कंट्रोल:हार्डवेयर-आधारित फ्लो मॉनिटरिंग, ECN मार्किंग और डायनामिक रेट लिमिटिंग।
  • MCX653106A-HDAT डेटाशीट की समीक्षा करने वाले इंजीनियर मानक और OCP 3.0 फॉर्म फैक्टर दोनों के लिए समर्थन, व्यापक ऑपरेटिंग सिस्टम कवरेज (MLNX_OFED के साथ लिनक्स डिस्ट्रिब्यूशन, विंडोज, ESXi), और व्यापक सर्वर संगतता को नोट करेंगे। MCX653106A-HDAT विनिर्देश 75W अधिकतम बिजली की खपत और 0°C से 55°C तक के ऑपरेटिंग तापमान की भी पुष्टि करते हैं, जो उच्च-घनत्व परिनियोजन के लिए उपयुक्त हैं।4. परिनियोजन और स्केलिंग सिफारिशें (टोपोलॉजी के साथ)
  • परिनियोजन एक चरणबद्ध दृष्टिकोण का अनुसरण करता है। एक विशिष्ट दो-रैक पायलट टोपोलॉजी नीचे चित्रित की गई है:घटक
  • विन्यासमात्रा

कंप्यूट/स्टोरेज नोड्स16MCX653106A-HDAT (डुअल-पोर्ट 100GbE)

16

लीफ स्विच

मेलानॉक्स SN3700 (32x 100GbE, DCB सक्षम) 2 स्पाइन स्विच
मेलानॉक्स SN3700 (100GbE अपलिंक) 1 (अतिरिक्तता के लिए 2 तक स्केल करें) सभी नोड्स पर MLNX_OFED ड्राइवर पैकेज (न्यूनतम संस्करण 5.8) तैनात करें। RDMA और RoCE कर्नेल मॉड्यूल सक्षम करें।
चरण 1 - सत्यापन: चरण 2 - ड्राइवर इंस्टॉलेशन: सभी नोड्स पर MLNX_OFED ड्राइवर पैकेज (न्यूनतम संस्करण 5.8) तैनात करें। RDMA और RoCE कर्नेल मॉड्यूल सक्षम करें।
चरण 3 - फैब्रिक कॉन्फ़िगरेशन: लीफ स्विच पर PFC (RDMA के लिए प्रायोरिटी 3) और ETS सक्षम करें। जंबो फ्रेम समर्थन के लिए MTU 9000 कॉन्फ़िगर करें। चरण 4 - RoCE सेटअप:
प्रत्येक MCX653106A-HDAT ईथरनेट एडॉप्टर कार्ड को RoCE v2 (रूट करने योग्य) या v1 (गैर-रूट करने योग्य) के साथ कॉन्फ़िगर करें। GID मोड को IPv4 एड्रेसिंग के साथ RoCE v2 पर सेट करें। चरण 5 - सत्यापन: बैंडविड्थ और विलंबता को मान्य करने के लिए नोड्स के बीच ib_write_bw और ib_send_lat परीक्षण चलाएं। perfquery और mlnx_perf के साथ मॉनिटर करें।

16 नोड्स से परे स्केल करने के लिए, 128 नोड्स तक का समर्थन करने वाले रिडंडेंट स्पाइन स्विच के साथ स्पाइन-लीफ टोपोलॉजी में संक्रमण करें। MCX653106A-HDAT ईथरनेट एडॉप्टर कार्ड समाधान फैब्रिक रीकॉन्फ़िगरेशन के बिना रैखिक रूप से स्केल करता है, क्योंकि RoCE कई पथों पर लोड वितरण के लिए ECMP का उपयोग करता है।

  1. 5. संचालन, निगरानी, समस्या निवारण और अनुकूलनRDMA/RoCE वातावरण के प्रभावी संचालन के लिए विशेष टूलिंग की आवश्यकता होती है। निम्नलिखित प्रथाओं की सिफारिश की जाती है:कंजेशन डिटेक्शन:स्विच टेलीमेट्री (जैसे, मेलानॉक्स SHARP) का उपयोग करके प्रति पोर्ट PFC पॉज़ फ्रेम की निगरानी करें। बढ़े हुए पॉज़ दरें इनकास्ट या माइक्रो-बर्स्ट का संकेत देती हैं जिनके लिए फ्लो कंट्रोल ट्यूनिंग की आवश्यकता होती है।दक्षता:
  2. ECN और DCQCN ट्यूनिंग:स्विच पर एक्सप्लिसिट कंजेशन नोटिफिकेशन (ECN) सक्षम करें और MCX653106A-HDAT ड्राइवर पर डायनामिक कंजेशन कंट्रोल (DCQCN) पैरामीटर कॉन्फ़िगर करें (जैसे, dcqcn_r_ai=40, dcqcn_r_hai=10)।
  3. लॉग विश्लेषण:RDMA कनेक्शन विफलताओं के लिए /var/log/messages की समीक्षा करें (जैसे, “mlx5_core: failed to create QP”)। एंडपॉइंट्स के बीच GID इंडेक्स मिलान सत्यापित करें।
  4. फर्मवेयर अपडेट:mlxfwmanager के माध्यम से नियमित रूप से NIC फर्मवेयर अपडेट करें। MCX653106A-HDAT विनिर्देश इष्टतम RoCE प्रदर्शन के लिए xx.36.1010 या बाद के फर्मवेयर बेसलाइन की सलाह देते हैं।क्षमता योजना:MCX653106A-HDAT मूल्य और MCX653106A-HDAT बिक्री के लिए वॉल्यूम छूट का अनुमान लगाने वाले संगठनों के लिए, RDMA ट्रैफिक के लिए परियोजना वृद्धि दर का अनुमान लगाएं और लीफ स्विच ओवरसब्सक्रिप्शन अनुपात (आमतौर पर स्टोरेज फैब्रिक्स के लिए 3:1) की योजना बनाएं।
  5. एक सामान्य समस्या निवारण परिदृश्य: एक-तरफ़ा उच्च विलंबता शून्य पैकेट हानि के साथ अक्सर गलत कॉन्फ़िगर ECN थ्रेशोल्ड या असममित PFC सेटिंग्स का संकेत देती है। सभी नेटवर्क तत्वों में ट्रस्ट मोड और डीएससीपी-टू-प्रायोरिटी मैपिंग को सत्यापित करने के लिए mlnx_qos का उपयोग करें।6. सारांश और मूल्य मूल्यांकनNVIDIA Mellanox MCX653106A-HDAT सर्वर NIC उच्च-प्रदर्शन RDMA/RoCE नेटवर्क को तैनात करने के लिए एक उत्पादन-तैयार नींव प्रदान करता है। यह तकनीकी समाधान कई आयामों में मात्रात्मक मूल्य प्रदान करता है:प्रति एडॉप्टर 200Gb/s तक थ्रूपुट सब-माइक्रोसेकंड विलंबता के साथ, स्केल-आउट स्टोरेज और वितरित कंप्यूटिंग वर्कलोड को सक्षम करता है जो पहले टीसीपी ओवरहेड द्वारा सीमित थे।दक्षता:

हार्डवेयर ऑफलोड नेटवर्क-संबंधित सीपीयू खपत को >50% से 15% से कम कर देता है, जिससे कोर एप्लिकेशन प्रोसेसिंग के लिए मुक्त हो जाते हैं।MCX653106A-HDAT ईथरनेट एडॉप्टर कार्ड समाधान एक दिए गए थ्रूपुट लक्ष्य के लिए आवश्यक नोड गणना को कम करता है, जिससे पूंजी और परिचालन व्यय कम होता है। MCX653106A-HDAT मूल्य का मूल्यांकन करते समय, केवल दक्षता लाभ से 9-12 महीने की वापसी अवधि पर विचार करें।

भविष्य की तैयारी:

PCIe 5.0 (पिछड़े संगत) और DOCA के माध्यम से प्रोग्रामेबिलिटी के लिए समर्थन डेटा सेंटर की गति 200/400GbE की ओर बढ़ने पर निवेश सुरक्षा सुनिश्चित करता है।

  • उत्पादन-परीक्षणित डिजाइन पैटर्न की तलाश करने वाले आर्किटेक्ट्स के लिए, यह समाधान मौजूदा ईथरनेट संचालन में निर्बाध रूप से एकीकृत होता है, जबकि RDMA की पूरी क्षमता को अनलॉक करता है। विस्तृत यांत्रिक चित्र, टाइमिंग डायग्राम और उन्नत सुविधा विवरण के लिए MCX653106A-HDAT डेटाशीट से परामर्श लें। खरीद मार्गदर्शन के लिए, जिसमें वर्तमान MCX653106A-HDAT मूल्य और MCX653106A-HDAT बिक्री के लिए लीड टाइम शामिल हैं, अधिकृत NVIDIA Mellanox वितरण भागीदारों से संपर्क करें।