NVIDIA Mellanox MCX653105A-HDAT सर्वर एडाप्टर तकनीकी श्वेतपत्र

एनवीडिया मेलानॉक्स MCX653105A-HDAT सर्वर एडॉप्टर तकनीकी व्हाइट पेपर | RDMA/RoCE लो-लेटेंसी ट्रांसपोर्ट और सर्वर थ्रूपुट ऑप्टिमाइज़ेशन

1. प्रोजेक्ट पृष्ठभूमि और आवश्यकता विश्लेषण

डेटा सेंटर वर्कलोड का विकास — विशेष रूप से आर्टिफिशियल इंटेलिजेंस, हाई-परफॉरमेंस कंप्यूटिंग (HPC), और डिस्ट्रीब्यूटेड स्टोरेज में — ने सर्वर इंफ्रास्ट्रक्चर के लिए नेटवर्किंग आवश्यकताओं को मौलिक रूप से बदल दिया है। पारंपरिक नेटवर्क स्टैक, जो सामान्य-उद्देश्य वाले ट्रैफ़िक के लिए डिज़ाइन किए गए हैं, विलंबता और सीपीयू ओवरहेड पेश करते हैं जो बड़े पैमाने पर निषेधात्मक हो जाते हैं। NVMe ओवर फैब्रिक्स (NVMe-oF), डिस्ट्रीब्यूटेड मशीन लर्निंग ट्रेनिंग, और रियल-टाइम एनालिटिक्स जैसे एप्लिकेशन नियतात्मक, सब-माइक्रोसेकंड विलंबता और हार्डवेयर-त्वरित डेटा मूवमेंट की मांग करते हैं।

नेटवर्क आर्किटेक्ट और इंफ्रास्ट्रक्चर लीडर इन वर्कलोड के लिए पसंद के ट्रांसपोर्ट के रूप में Converged Ethernet (RoCE) पर RDMA की ओर तेजी से रुख कर रहे हैं। हालांकि, सफल RoCE परिनियोजन अंतर्निहित एडॉप्टर की ट्रांसपोर्ट प्रोसेसिंग को ऑफलोड करने, भीड़भाड़ को प्रभावी ढंग से प्रबंधित करने और मौजूदा ईथरनेट फैब्रिक्स के साथ निर्बाध रूप से एकीकृत करने की क्षमता पर निर्भर करता है। एंटरप्राइज़ और क्लाउड परिनियोजन में पहचानी गई प्रमुख आवश्यकताएं शामिल हैं:

• विलंबता-संवेदनशील अनुप्रयोगों के लिए 3 माइक्रोसेकंड से कम एंड-टू-एंड RDMA विलंबता
• उच्च-घनत्व वाले स्टोरेज और कंप्यूट नोड्स का समर्थन करने के लिए प्रति सर्वर 40 Gb/s से अधिक कुल थ्रूपुट
• AI वर्कलोड में होस्ट-साइड मेमोरी कॉपी को समाप्त करने के लिए GPUDirect के लिए हार्डवेयर ऑफलोड
• नियतात्मक प्रदर्शन के लिए PFC और ECN के साथ लॉसलेस ईथरनेट ट्रांसपोर्ट
• परिचालन दृश्यता के लिए व्यापक टेलीमेट्री और प्रोग्रामेबल डेटा पाथ

4. परिनियोजन और स्केलेबिलिटी सिफारिशें2. समग्र नेटवर्क और सिस्टम आर्किटेक्चर डिज़ाइन

प्रस्तावित समाधान आर्किटेक्चर सर्वर एक्सेस लेयर पर 25/50/100GbE कनेक्टिविटी के साथ एक लीफ-स्पाइन टोपोलॉजी को नियोजित करता है। प्रत्येक कंप्यूट, स्टोरेज, या GPU-त्वरित नोड MCX653105A-HDAT कनेक्टएक्स एडॉप्टर PCIe नेटवर्क कार्ड से लैस है, जो टॉप-ऑफ-रैक (ToR) स्विच तक रिडंडेंट कनेक्टिविटी प्रदान करता है। आर्किटेक्चर में चार अलग-अलग परतें शामिल हैं:

कंप्यूट/स्टोरेज एज:MCX653105A-HDAT ईथरनेट एडॉप्टर कार्ड PCIe Gen 4.0 x16 के माध्यम से होस्ट से जुड़ता है, जो 256 GB/s तक द्विदिश होस्ट बैंडविड्थ प्रदान करता है — बस्ट ट्रैफ़िक के लिए हेडरूम बनाए रखते हुए डुअल 100GbE पोर्ट को पूरी तरह से संतृप्त करने के लिए पर्याप्त है।नेटवर्क फैब्रिक:

• डुअल पोर्ट फ्लेक्सिबल मीडिया (25GbE के लिए SFP28, 50/100GbE के लिए QSFP) को एक्टिव-एक्टिव लोड बैलेंसिंग और हार्डवेयर LAG ऑफलोड के साथ सपोर्ट करते हैं। एडॉप्टर 200 Gb/s तक कुल थ्रूपुट का समर्थन करता है।इंफ्रास्ट्रक्चर समेकन:प्रबंधन और टेलीमेट्री:
• पूर्ण Redfish और SNMP समर्थन के साथ आउट-ऑफ-बैंड प्रबंधन, रियल-टाइम फैब्रिक मॉनिटरिंग के लिए इन-बैंड टेलीमेट्री द्वारा पूरक।डिजाइन एक कन्वर्ज्ड, लॉसलेस ईथरनेट फैब्रिक पर जोर देता है जहां एनवीडिया मेलानॉक्स MCX653105A-HDAT RDMA एंडपॉइंट के रूप में कार्य करता है, जिससे होस्ट सीपीयू हस्तक्षेप के बिना डायरेक्ट मेमोरी-टू-मेमोरी ट्रांसफर सक्षम होता है। आर्किटेक्चर मौजूदा ईथरनेट स्विचिंग इंफ्रास्ट्रक्चर के साथ पूरी तरह से MCX653105A-HDAT संगत है, जिसके लिए केवल PFC और ECN समर्थन की आवश्यकता होती है — जो आमतौर पर आधुनिक डेटा सेंटर स्विच में उपलब्ध सुविधाएँ हैं।
• 3. एनवीडिया मेलानॉक्स MCX653105A-HDAT की भूमिका और मुख्य विशेषताएंMCX653105A-HDAT आर्किटेक्चर में एक केंद्रीय भूमिका निभाता है, जो तीन अलग-अलग मूल्य परतें प्रदान करता है जो सामूहिक रूप से लो-लेटेंसी, हाई-थ्रूपुट नेटवर्किंग को सक्षम करती हैं:
• A. हार्डवेयर-त्वरित RDMA इंजनएडॉप्टर एक पूरी तरह से प्रोग्रामेबल पैकेट प्रोसेसिंग पाइपलाइन को एकीकृत करता है जो RoCEv2 ट्रांसपोर्ट ऑपरेशंस — जिसमें सेगमेंटेशन, रीअसेंबली, भीड़ नियंत्रण और कंप्लीशन हैंडलिंग शामिल हैं — को होस्ट सीपीयू से पूरी तरह से ऑफलोड करता है। MCX653105A-HDAT डेटाशीट के अनुसार, हार्डवेयर सभी पैकेट आकारों में वायर-रेट प्रदर्शन का समर्थन करता है, जिसमें 200 Mpps का अधिकतम संदेश दर है।

B. GPUDirect और NVMe-oF ऑफलोडC. उन्नत QoS और भीड़ प्रबंधनएडॉप्टर स्ट्रिक्ट प्रायोरिटी, वेटेड फेयर क्यूइंग और रेट लिमिटिंग के समर्थन के साथ प्रति-ट्रैफ़िक-क्लास प्राथमिकता प्रदान करता है। भीड़ प्रबंधन सुविधाओं में हार्डवेयर-आधारित ECN मार्किंग, PFC जनरेशन और एडैप्टिव रूटिंग क्षमताएं शामिल हैं — सभी MCX653105A-HDAT स्पेसिफिकेशन्स के माध्यम से कॉन्फ़िगर करने योग्य हैं।D. सुरक्षा और प्रोग्रामेबिलिटी

एडॉप्टर में हार्डवेयर रूट ऑफ ट्रस्ट, सिक्योर बूट और एन्क्रिप्टेड फर्मवेयर अपडेट शामिल हैं। इसका प्रोग्रामेबल डेटा पाथ फ्लेक्सिबल मैच-एक्शन प्रोसेसिंग का समर्थन करता है, जो कस्टम ऑफलोड और इन-बैंड नेटवर्क टेलीमेट्री (INT) संग्रह को सक्षम करता है।

4. परिनियोजन और स्केलेबिलिटी सिफारिशेंअनुशंसित परिनियोजन निम्नलिखित कॉन्फ़िगरेशन के साथ "स्पाइन-लीफ" टोपोलॉजी का अनुसरण करता है:

लीफ स्विच:
25/50/100GbE ToR स्विच RoCEv2 समर्थन के साथ, समर्पित प्राथमिकता कतारों पर PFC और भीड़ संकेत के लिए ECN के साथ कॉन्फ़िगर किया गया है। इष्टतम RoCE प्रदर्शन के लिए जंबो फ्रेम (MTU 9000) की सिफारिश की जाती है।प्रत्येक नोड MCX653105A-HDAT से लैस है, जो रिडंडेंसी के लिए प्राथमिक और माध्यमिक लीफ स्विच से डुअल होमिंग के माध्यम से जुड़ा हुआ है। एडॉप्टर का PCIe Gen 4.0 x16 इंटरफ़ेस कोई होस्ट-साइड बॉटलनेक सुनिश्चित करता है।

स्पाइन लेयर:
100/400GbE स्पाइन स्विच जो माइक्रो-बर्स्ट को अवशोषित करने के लिए पर्याप्त बफर क्षमता के साथ नॉन-ब्लॉकिंग इंटर-रैक कनेक्टिविटी प्रदान करते हैं।NVMe-oF परिनियोजन के लिए, टारगेट नोड्स लगातार RDMA क्षमताओं के लिए समान एडॉप्टर प्रकार का उपयोग करते हैं। AI क्लस्टर के लिए, ग्रेडिएंट सिंक्रोनाइज़ेशन के लिए एडॉप्टर के GPUDirect समर्थन का लाभ उठाया जाता है।

स्केलेबिलिटी विचार
भीड़ डोमेन:PFC प्रसार को सीमित करने के लिए फैब्रिक को कई भीड़ प्रबंधन क्षेत्रों (जैसे, प्रति-रैक या प्रति-क्लस्टर) में विभाजित करें। एडॉप्टर की प्रति-पोर्ट रेट लिमिटिंग शोर पड़ोसियों को अलग करने में मदद करती है।ऑर्केस्ट्रेशन एकीकरण:

एडॉप्टर Kubernetes (NVIDIA नेटवर्क ऑपरेटर के माध्यम से) और OpenStack द्वारा पूरी तरह से समर्थित है, जो क्लाउड-स्केल वातावरण में स्वचालित प्रावधान और जीवनचक्र प्रबंधन को सक्षम करता है।
भविष्य-प्रूफिंग:

MCX653105A-HDAT 100GbE और उच्च गति का समर्थन करता है, एडॉप्टर प्रतिस्थापन के बिना भविष्य के नेटवर्क अपग्रेड के लिए हेडरूम प्रदान करता है।

MCX653105A-HDAT मूल्य का मूल्यांकन करने वाले संगठनों के लिए, कुल स्वामित्व लागत में समर्पित स्टोरेज नेटवर्क को समाप्त करने, कम सीपीयू कोर आवंटन (आमतौर पर प्रति सर्वर 4-6 कोर की वसूली), और एकीकृत फैब्रिक प्रबंधन से परिचालन दक्षता से बचत शामिल होनी चाहिए।

5. संचालन, निगरानी, समस्या निवारण और अनुकूलन

• निगरानी ढांचासमाधान एक बहु-स्तरीय अवलोकन दृष्टिकोण को शामिल करता है:
• एडॉप्टर-स्तरीय टेलीमेट्री:MCX653105A-HDAT ethtool, sysfs, और NVIDIA के प्रबंधन टूल के माध्यम से सैकड़ों हार्डवेयर काउंटर को उजागर करता है। प्रमुख मेट्रिक्स में प्रति-पोर्ट थ्रूपुट, PFC पॉज़ फ्रेम, ECN चिह्नित पैकेट, RoCEv2 भीड़ घटनाएँ, और RDMA कंप्लीशन क्यू आँकड़े शामिल हैं।NVIDIA के एकीकृत प्रबंधन प्लेटफ़ॉर्म के साथ एकीकरण टोपोलॉजी विज़ुअलाइज़ेशन, फ्लो पाथ विश्लेषण और विसंगति का पता लगाने की सुविधा प्रदान करता है।
• एप्लिकेशन सहसंबंध:एडॉप्टर प्रति-फ्लो और प्रति-क्यू विलंबता हिस्टोग्राम प्रदान करता है, जिससे नेटवर्क प्रदर्शन का एप्लिकेशन-स्तरीय लेनदेन विलंबता के साथ सटीक सहसंबंध सक्षम होता है।
• सामान्य समस्या निवारण परिदृश्यNVIDIA मेलानॉक्स MCX653105A-HDAT के साथ परिचालन अनुभव के आधार पर, निम्नलिखित नैदानिक पैटर्न की पहचान की गई है:

PFC स्टॉर्म डिटेक्शन:

• प्रति प्राथमिकता PFC पॉज़ फ्रेम काउंटर की निगरानी करें — लाइन रेट के 5% से अधिक का निरंतर पॉज़िंग भीड़ या गलत कॉन्फ़िगरेशन का संकेत देता है। एडॉप्टर के प्रति-क्यू बफर उपयोग काउंटर का उपयोग करके स्रोत की जांच करें।RoCEv2 पैकेट ड्रॉप्स:
• एडॉप्टर के ड्रॉप काउंटर (rx_discard, tx_discard) की जांच करें और एडॉप्टर-स्तरीय ड्रॉप्स और फैब्रिक-स्तरीय थ्रॉटलिंग के बीच अंतर करने के लिए ECN चिह्नित पैकेट के साथ सहसंबंधित करें।प्रदर्शन ट्यूनिंग:
• विलंबता बनाम सीपीयू उपयोग को संतुलित करने के लिए इंटरप्ट कोलेसिंग पैरामीटर समायोजित करें — आमतौर पर स्टोरेज वर्कलोड के लिए मध्यम कोलेसिंग और ट्रेडिंग अनुप्रयोगों के लिए न्यूनतम कोलेसिंग सेट करना। MCX653105A-HDAT डेटाशीट ट्यून करने योग्य मापदंडों पर विस्तृत मार्गदर्शन प्रदान करता है।इंफ्रास्ट्रक्चर समेकन:ट्रैफ़िक को कई सीपीयू कोर में कुशलतापूर्वक वितरित करने के लिए हार्डवेयर सीआरसी, हेडर/डेटा स्प्लिट ऑफलोड और रिसीव-साइड स्केलिंग (RSS) सक्षम करें

देखे गए वर्कलोड प्रोफाइल के आधार पर एडॉप्टर के विक्रेता-विशिष्ट बफर कॉन्फ़िगरेशन टूल का उपयोग करके गतिशील रूप से प्रति-प्राथमिकता PFC थ्रेसहोल्ड कॉन्फ़िगर करेंएडॉप्टर की उन्नत QoS सुविधाओं को सक्षम करें, जिसमें प्रति ट्रैफिक क्लास रेट लिमिटिंग और स्ट्रिक्ट प्रायोरिटी या वेटेड फेयर क्यूइंग शामिल हैबड़े पैमाने पर परिनियोजन के लिए, स्विच के साथ PFC और ECN बातचीत को स्वचालित करने के लिए 802.1Qaz DCBX के लिए एडॉप्टर के समर्थन का लाभ उठाएं

कस्टम टेलीमेट्री संग्रह या विशेष पैकेट प्रोसेसिंग ऑफलोड लागू करने के लिए एडॉप्टर के प्रोग्रामेबल डेटा पाथ का उपयोग करें

6. सारांश और मूल्य मूल्यांकन

एनवीडिया मेलानॉक्स से MCX653105A-HDAT पर केंद्रित तकनीकी समाधान सब-3 माइक्रोसेकंड RDMA विलंबता और प्रति सर्वर 100 Gb/s से अधिक कुल थ्रूपुट प्राप्त करने के लिए एक स्पष्ट मार्ग प्रदान करता है। MCX653105A-HDAT ईथरनेट एडॉप्टर कार्ड आधुनिक, कन्वर्ज्ड डेटा सेंटर फैब्रिक्स के लिए मूलभूत बिल्डिंग ब्लॉक के रूप में कार्य करता है जो एक साथ AI ट्रेनिंग, HPC और एंटरप्राइज़ स्टोरेज वर्कलोड का समर्थन करता है।

• मुख्य मूल्य प्रस्तावों में शामिल हैं:इंफ्रास्ट्रक्चर समेकन:प्रदर्शन नेतृत्व:
• GPUDirect के साथ हार्डवेयर-ऑफलोडेड RoCEv2 90%+ लाइन-रेट उपयोग के तहत भी नियतात्मक, सब-माइक्रोसेकंड विलंबता सुनिश्चित करता है — AI ट्रेनिंग और रियल-टाइम एनालिटिक्स के लिए महत्वपूर्णपरिचालन दक्षता:
• व्यापक टेलीमेट्री, सेल्फ-हीलिंग भीड़ प्रबंधन, और स्वचालित ऑर्केस्ट्रेशन एकीकरण मीन टाइम टू रेज़ोल्यूशन (MTTR) और परिचालन ओवरहेड को कम करते हैंनिवेश संरक्षण:

एडॉप्टर का PCIe Gen 4.0 इंटरफ़ेस, प्रोग्रामेबिलिटी, और मल्टी-स्पीड पोर्ट समर्थन भविष्य के सीपीयू पीढ़ियों और उच्च-गति वाले नेटवर्क फैब्रिक्स के साथ संगतता सुनिश्चित करता है

MCX653105A-HDAT बिक्री के लिए विकल्पों का सक्रिय रूप से मूल्यांकन करने वाले संगठनों के लिए, यह समाधान वित्तीय सेवाओं, क्लाउड प्रदाताओं, स्वास्थ्य सेवा और अनुसंधान संस्थानों में उत्पादन वातावरण में मान्य एक सिद्ध संदर्भ वास्तुकला प्रदान करता है। प्रदर्शन, स्केलेबिलिटी और परिचालन परिपक्वता का संयोजन एनवीडिया मेलानॉक्स MCX653105A-HDAT को हाई-परफॉरमेंस, भविष्य के लिए तैयार डेटा सेंटर इंफ्रास्ट्रक्चर बनाने के लिए प्रतिबद्ध किसी भी संगठन के लिए एक रणनीतिक निवेश बनाता है।