NVIDIA Mellanox MCX653106A-HDAT सर्वर एडाप्टर तकनीकी श्वेतपत्र RDMA/RoCE कम विलंबता परिवहन और सर्वर थ्रूपुट

NVIDIA Mellanox MCX653106A-HDAT सर्वर एडाप्टर तकनीकी श्वेतपत्र ♪ RDMA / RoCE कम विलंबता परिवहन और सर्वर थ्रूपुट अनुकूलन

1परियोजना पृष्ठभूमि और आवश्यकताओं का विश्लेषण

आधुनिक डाटा सेंटर कार्यभार ️ कृत्रिम बुद्धिमत्ता, उच्च प्रदर्शन कंप्यूटिंग (एचपीसी), वितरित डेटाबेस,और एंटरप्राइज स्टोरेज ने नेटवर्किंग आवश्यकताओं को मौलिक रूप से बदल दिया है. पारंपरिक टीसीपी/आईपी आधारित नेटवर्क स्टैक, जबकि सर्वव्यापी हैं, विलंबता और सीपीयू ओवरहेड पेश करते हैं जो पैमाने पर निषेधात्मक हो जाते हैं।वितरित मशीन लर्निंग प्रशिक्षण, और वास्तविक समय विश्लेषण निर्धारक, 5 माइक्रोसेकंड से कम विलंबता और इष्टतम प्रदर्शन प्राप्त करने के लिए हार्डवेयर-त्वरित डेटा आंदोलन की आवश्यकता है।

नेटवर्क आर्किटेक्ट और बुनियादी ढांचे के लीड तेजी से इन प्रदर्शन-महत्वपूर्ण कार्यभारों के लिए आरडीएमए ओवर कन्वर्ज्ड ईथरनेट (आरओसीई) को पसंद के परिवहन के रूप में अपना रहे हैं।सफल RoCE तैनाती अंतर्निहित एडेप्टर की क्षमता पर निर्भर करती है परिवहन प्रसंस्करण को ऑफलोड करने के लिए, प्रभावी ढंग से भीड़भाड़ का प्रबंधन करें, और फोर्कलिफ्ट अपग्रेड की आवश्यकता के बिना मौजूदा ईथरनेट कपड़े के साथ निर्बाध रूप से एकीकृत करें।और एचपीसी वातावरण में शामिल हैं:

• उच्च आवृत्ति व्यापार और इन-मेमोरी डेटाबेस जैसे विलंबता-संवेदनशील अनुप्रयोगों के लिए 3 माइक्रोसेकंड से कम एंड-टू-एंड आरडीएमए विलंबता
• उच्च घनत्व वाले स्टोरेज नोड्स और GPU-एक्सेलेरेटेड कंप्यूटिंग क्लस्टरों का समर्थन करने के लिए प्रति सर्वर 100 Gb/s से अधिक कुल थ्रूपुट
• एआई और एचपीसी वर्कलोड में होस्ट-साइड मेमोरी कॉपी को समाप्त करने के लिए जीपीयूडीइरेक्ट के लिए हार्डवेयर ऑफलोड
• निर्धारक, झटका मुक्त प्रदर्शन के लिए पीएफसी और ईसीएन के साथ हानि रहित ईथरनेट परिवहन
• सक्रिय परिचालन दृश्यता और समस्या निवारण के लिए व्यापक टेलीमेट्री और प्रोग्राम करने योग्य डेटा पथ

दNVIDIA Mellanox MCX653106A-HDATअपने उन्नत कनेक्टएक्स आर्किटेक्चर के माध्यम से इन आवश्यकताओं को सीधे संबोधित करता है, हार्डवेयर-त्वरित RoCEv2 प्रदान करता है, उन्नत भीड़ प्रबंधन,और सबसे अधिक मांग वाले उद्यम और क्लाउड वातावरण के लिए उपयुक्त एक व्यापक प्रोग्रामेबिलिटी फ्रेमवर्क.

2समग्र नेटवर्क और सिस्टम आर्किटेक्चर डिजाइन

प्रस्तावित समाधान आर्किटेक्चर सर्वर एक्सेस लेयर पर 25/50/100GbE कनेक्टिविटी के साथ एक लीफ-स्पाइन टोपोलॉजी का उपयोग करता है।MCX653106A-HDAT कनेक्टएक्स एडाप्टर PCIe नेटवर्क कार्ड, जो टॉप-ऑफ-रैक (ToR) स्विच के लिए रिडंडेंट कनेक्टिविटी प्रदान करता है। आर्किटेक्चर में चार अलग-अलग परतें शामिल हैंः

• कम्प्यूटिंग/स्टोरेज एजःदMCX653106A-HDAT ईथरनेट एडाप्टर कार्डPCIe Gen 4.0 x16 के माध्यम से मेजबान से जुड़ता है,256 जीबी/सेकंड तक की द्विदिशात्मक होस्ट बैंडविड्थ प्रदान करना, 100 जीबीई दोहरे बंदरगाहों को पूरी तरह से संतृप्त करने के लिए पर्याप्त है, जबकि तेजी से यातायात और भविष्य के गति उन्नयन के लिए हेडरूम बनाए रखना.
• नेटवर्क फैब्रिकःदोहरी बंदरगाहें लचीले मीडिया (SFP28 25GbE के लिए, QSFP 50/100GbE के लिए) को सक्रिय-सक्रिय लोड संतुलन और हार्डवेयर LAG ऑफलोड के साथ समर्थन करती हैं।एडेप्टर हार्डवेयर आधारित विफलता के साथ 200 Gb / s तक के समग्र थ्रूपुट का समर्थन करता है.
• आरडीएमए ट्रांसपोर्ट लेयर:हार्डवेयर-गतिवर्धित RoCEv2 सेगमेंटेशन, पुनः संयोजन, भीड़ नियंत्रण और पूर्णता हैंडलिंग के पूर्ण उतार-चढ़ाव के साथ।एडेप्टर उप-माइक्रोसेकंड विलंबता के साथ प्रति सेकंड 200 मिलियन संदेशों (एमपीपीएस) का समर्थन करता है.
• प्रबंधन और टेलीमेट्रीःपूर्ण रेडफिश और एसएनएमपी समर्थन के साथ आउट-बैंड प्रबंधन, वास्तविक समय कपड़े निगरानी और प्रदर्शन अनुकूलन के लिए इन-बैंड टेलीमेट्री द्वारा पूरक।

डिजाइन एक अभिसरित, हानि रहित ईथरनेट कपड़े पर जोर देता है जहांNVIDIA Mellanox MCX653106A-HDATआरडीएमए एंडपॉइंट के रूप में कार्य करता है, जो मेजबान सीपीयू हस्तक्षेप के बिना सीधे मेमोरी-टू-मेमोरी हस्तांतरण को सक्षम करता है।MCX653106A-HDAT संगतमौजूदा ईथरनेट स्विचिंग बुनियादी ढांचे के साथ, केवल पीएफसी और ईसीएन समर्थन की आवश्यकता होती है, सभी प्रमुख विक्रेताओं के आधुनिक डेटा सेंटर स्विच में आम तौर पर उपलब्ध सुविधाएं।

3. NVIDIA Mellanox MCX653106A-HDAT की भूमिका और प्रमुख विशेषताएं

दMCX653106A-HDATवास्तुकला में एक केंद्रीय भूमिका निभाता है, चार अलग-अलग मूल्य परतें प्रदान करता है जो सामूहिक रूप से कम विलंबता, उच्च-प्रवाह नेटवर्क को सक्षम करते हैंः

ए. हार्डवेयर-एक्सेलेरेटेड आरडीएमए इंजन
एडेप्टर एक पूरी तरह से प्रोग्राम करने योग्य पैकेट प्रोसेसिंग पाइपलाइन को एकीकृत करता है जो RoCEv2 परिवहन संचालन को उतारता है जिसमें विभाजन, पुनः संयोजन, भीड़ नियंत्रण,और पूरा करने के प्रसंस्करण पूरी तरह से होस्ट सीपीयू से.MCX653106A-HDAT डेटाशीट, हार्डवेयर सभी पैकेट आकारों में वायर-रेट प्रदर्शन का समर्थन करता है, जिसमें अधिकतम संदेश दर 200 एमपीपीएस और सब-माइक्रोसेकंड एंड-टू-एंड लेटेंसी होती है।

B. GPUDirect & NVMe-oF ऑफलोड्स
एक महत्वपूर्ण अंतरMCX653106A-HDATGPUDirect के लिए इसका एकीकृत समर्थन है,जीपीयू मेमोरी और नेटवर्क इंटरफेस के बीच सीधे डेटा स्थानांतरण को होस्ट-साइड कॉपी के बिना सक्षम करना ️ वितरित एआई प्रशिक्षण में एक महत्वपूर्ण बाधा को समाप्त करनाभंडारण कार्यभारों के लिए, एडाप्टर NVMe-oF संचालन को बंद करता है,मानक ईथरनेट को एक उच्च प्रदर्शन भंडारण कपड़े में बदलना जिसमें विलंबता विशेषताएं पहले केवल समर्पित InfiniBand के साथ प्राप्त की जा सकती थीं.

सी. उन्नत गुणवत्ता और भीड़ प्रबंधन
एडेप्टर सख्त प्राथमिकता, भारित निष्पक्ष कतार और दर सीमा के समर्थन के साथ प्रति यातायात वर्ग प्राथमिकता प्रदान करता है। भीड़ प्रबंधन सुविधाओं में हार्डवेयर-आधारित ईसीएन मार्किंग,पीएफसी उत्पादन, और अनुकूली रूटिंग क्षमताएं MCX653106A-HDAT विनिर्देश.

डी. सुरक्षा और प्रोग्रामेबिलिटी
एडेप्टर में एक हार्डवेयर रूट ऑफ ट्रस्ट, सुरक्षित बूट, एन्क्रिप्टेड फर्मवेयर अपडेट और सुरक्षित प्रबंधन इंटरफेस शामिल हैं। इसका प्रोग्राम करने योग्य डेटा पथ लचीला मैच-एक्शन प्रोसेसिंग का समर्थन करता है,उन्नत परिचालन दृश्यता के लिए कस्टम ऑफलोड और इन-बैंड नेटवर्क टेलीमेट्री (INT) संग्रह को सक्षम करना.

4. तैनाती और स्केलेबिलिटी सिफारिशें

विशिष्ट तैनाती टोपोलॉजी

अनुशंसित तैनाती निम्नलिखित विन्यास के साथ "पीठ-पत्ती" टोपोलॉजी का पालन करती हैः

• पत्ती स्विचःRoCEv2 समर्थन के साथ 25/50/100GbE ToR स्विच, समर्पित प्राथमिकता कतारों (आमतौर पर एक या दो प्राथमिकताएं) और भीड़ संकेत के लिए ECN पर PFC के साथ विन्यस्त।अधिकतम RoCE प्रदर्शन के लिए जंबो फ्रेम (MTU 9000) की सिफारिश की जाती है।.
• सर्वर नोड्सःप्रत्येक नोड से लैसMCX653106A-HDAT, रिडंडेंसी के लिए प्राथमिक और द्वितीयक पत्ती स्विच के लिए दोहरी होमिंग के माध्यम से जुड़ा हुआ है। एडेप्टर का पीसीआईई जेन 4.0 x16 इंटरफ़ेस कोई होस्ट-साइड फ्लैट ग्लॉस सुनिश्चित नहीं करता है।
• रीढ़ की परतः100/400GbE स्पाइन स्विच जो कई रैकों में माइक्रो-ब्रेस्ट को अवशोषित करने के लिए पर्याप्त बफर क्षमता के साथ गैर-ब्लॉकिंग इंटर-रैक कनेक्टिविटी प्रदान करते हैं।
• स्टोरेज/कंप्यूट एकीकरण:एनवीएम-ओएफ तैनाती के लिए, लक्ष्य नोड्स एक ही एडॉप्टर प्रकार का उपयोग करते हैं।एडेप्टर के GPUDirect समर्थन GPU के पार ग्रेडिएंट सिंक्रनाइज़ेशन के लिए लाभ उठाया जाता है.

स्केलेबिलिटी विचार

• भीड़भाड़ के क्षेत्रःपीएफसी के प्रसार को सीमित करने के लिए कपड़े को कई भीड़ प्रबंधन क्षेत्रों में विभाजित करें (उदाहरण के लिए, प्रति रैक या प्रति क्लस्टर) ।एडाप्टर की प्रति-पोर्ट दर सीमित करने से शोर वाले पड़ोसियों को अलग करने और उचित बैंडविड्थ आवंटन बनाए रखने में मदद मिलती है.
• ऑर्केस्ट्रेशन एकीकरण:एडेप्टर को कुबेरनेट्स (एनवीआईडीआईए नेटवर्क ऑपरेटर के माध्यम से) और ओपनस्टैक द्वारा पूरी तरह से समर्थित है, जो क्लाउड-स्केल वातावरण में स्वचालित प्रावधान और जीवन चक्र प्रबंधन को सक्षम करता है।
• भविष्य के लिए सुरक्षितःदMCX653106A-HDAT100GbE और उच्चतर गति का समर्थन करता है, जो एडाप्टर प्रतिस्थापन के बिना भविष्य के नेटवर्क उन्नयन के लिए हेडरूम प्रदान करता है।0 इंटरफ़ेस अगली पीढ़ी के सर्वर प्लेटफार्मों के साथ संगतता सुनिश्चित करता है.

संगठनों के लिएMCX653106A-HDAT कीमत, स्वामित्व की कुल लागत में समर्पित स्टोरेज नेटवर्क को समाप्त करने, सीपीयू कोर आवंटन को कम करने (आमतौर पर प्रति सर्वर 4-6 कोर की वसूली) से बचत शामिल होनी चाहिए,और एकीकृत कपड़े प्रबंधन से परिचालन दक्षता.

5संचालन, निगरानी, समस्या निवारण और अनुकूलन

निगरानी ढांचा

समाधान में बहु-स्तरीय अवलोकनशीलता दृष्टिकोण शामिल हैः

• एडाप्टर-स्तर टेलीमेट्रीःदMCX653106A-HDATethtool, sysfs, और NVIDIA के प्रबंधन उपकरण के माध्यम से सैकड़ों हार्डवेयर काउंटरों को उजागर करता है। प्रमुख मीट्रिक में प्रति पोर्ट थ्रूपुट, पीएफसी विराम फ्रेम, ईसीएन चिह्नित पैकेट, RoCEv2 भीड़ घटनाएं शामिल हैं,आरडीएमए पूरा होने की कतार के आंकड़े, और प्रति प्रवाह विलंबता हिस्टोग्राम।
• कपड़े के स्तर पर दृश्यताःएनवीडिया के एकीकृत प्रबंधन मंच के साथ एकीकरण टोपोलॉजी विज़ुअलाइज़ेशन, प्रवाह पथ विश्लेषण, और पूरे कपड़े में विसंगति का पता लगाने प्रदान करता है।
• अनुप्रयोग सहसंबंधःएडाप्टर प्रति-क्यू और प्रति-आरडीएमए पूर्णता कतार सांख्यिकी प्रदान करता है, जो एप्लिकेशन-स्तर के लेनदेन विलंबता के साथ नेटवर्क प्रदर्शन का सटीक सहसंबंध सक्षम करता है।

सामान्य समस्या निवारण परिदृश्य

परिचालन अनुभव के आधार परNVIDIA Mellanox MCX653106A-HDAT, निम्नलिखित नैदानिक पैटर्न की पहचान की जाती हैः

• पीएफसी तूफान का पता लगाना:प्राथमिकता के अनुसार पीएफसी विराम फ्रेम काउंटरों की निगरानी करें ️ लाइन दर के 5% से अधिक निरंतर विराम से भीड़ या गलत कॉन्फ़िगरेशन का संकेत मिलता है।एडेप्टर के प्रति कतार बफर उपयोग काउंटर का उपयोग कर स्रोत की जांच करें.
• RoCEv2 पैकेट ड्रॉप:एडाप्टर के ड्रॉप काउंटर (rx_discard, tx_discard) की जाँच करें और एडाप्टर स्तर के ड्रॉप और फैब्रिक स्तर के थ्रॉटलिंग के बीच अंतर करने के लिए ECN चिह्नित पैकेट के साथ सहसंबंधित करें।
• प्रदर्शन ट्यूनिंगःविलंबता बनाम सीपीयू उपयोग को संतुलित करने के लिए बाधित सहसंयोजन मापदंडों को समायोजित करेंMCX653106A-HDAT डेटाशीटसभी समायोज्य मापदंडों पर विस्तृत मार्गदर्शन प्रदान करता है।

अनुकूलन दिशानिर्देश

अधिकतम थ्रूपुट और न्यूनतम विलंबता प्राप्त करने के लिएMCX653106A-HDAT ईथरनेट एडाप्टर कार्ड समाधान, निम्नलिखित अनुकूलन की सिफारिश की जाती हैः

• हार्डवेयर सीआरसी, हेडर/डेटा स्प्लिट ऑफलोड और रिसीव-साइड स्केलिंग (आरएसएस) को सक्षम करें ताकि ट्रैफ़िक को कई सीपीयू कोर में कुशलतापूर्वक वितरित किया जा सके
• अवलोकन किए गए कार्यभार प्रोफाइल के आधार पर एडेप्टर के विक्रेता-विशिष्ट बफर विन्यास उपकरण का उपयोग करके गतिशील रूप से प्रति प्राथमिकता पीएफसी सीमाओं को कॉन्फ़िगर करें
• ट्रैफ़िक वर्ग के अनुसार दर सीमित करने और सख्त प्राथमिकता या भारित निष्पक्ष कतार सहित एडेप्टर की उन्नत QoS सुविधाओं को सक्षम करें
• बड़े पैमाने पर तैनाती के लिए, स्विच के साथ पीएफसी और ईसीएन वार्ता को स्वचालित करने के लिए 802.1Qaz डीसीबीएक्स के लिए एडेप्टर के समर्थन का लाभ उठाएं
• अनुकूलित टेलीमेट्री संग्रह या विशिष्ट अनुप्रयोग आवश्यकताओं के अनुरूप विशेष पैकेट प्रसंस्करण offloads को लागू करने के लिए एडेप्टर के प्रोग्राम करने योग्य डेटा पथ का उपयोग करें

6. सारांश और मूल्य निर्धारण

तकनीकी समाधान का केन्द्रMCX653106A-HDATNVIDIA Mellanox से 3 माइक्रोसेकंड से कम RDMA विलंबता और प्रति सर्वर 100 Gb/s से अधिक के कुल थ्रूपुट को प्राप्त करने के लिए एक स्पष्ट मार्ग प्रदान करता है।MCX653106A-HDAT ईथरनेट एडाप्टर कार्डआधुनिक, अभिसरित डेटा सेंटर कपड़े के लिए आधारभूत बिल्डिंग ब्लॉक के रूप में कार्य करता है जो एक साथ एआई प्रशिक्षण, एचपीसी, एंटरप्राइज स्टोरेज और वास्तविक समय विश्लेषण कार्यभार का समर्थन करता है।

प्रमुख मूल्य प्रस्तावों में शामिल हैंः

• अवसंरचना समेकन:सभी प्रकार के यातायात के लिए हानि रहित ईथरनेट को सक्षम करके अलग-अलग भंडारण और कंप्यूटिंग नेटवर्क की आवश्यकता को समाप्त करता है, पूंजी और परिचालन दोनों खर्चों को कम करता है
• प्रदर्शन नेतृत्व:GPUDirect के साथ हार्डवेयर-डिफ़ॉल्ट RoCEv2 90% से अधिक लाइन-रेट उपयोग के तहत भी निर्धारक, उप-माइक्रोसेकंड विलंबता सुनिश्चित करता है।और उच्च आवृत्ति व्यापार
• परिचालन दक्षताःव्यापक टेलीमेट्री, स्व-रोगी भीड़ प्रबंधन, और स्वचालित ऑर्केस्ट्रेशन एकीकरण समाधान के लिए औसत समय (एमटीटीआर) और परिचालन ओवरहेड को कम करते हैं
• निवेश संरक्षण:एडेप्टर का पीसीआईई जेन 4.0 इंटरफ़ेस, प्रोग्रामेबिलिटी और बहु-गति पोर्ट समर्थन भविष्य की सीपीयू पीढ़ियों और उच्च गति नेटवर्क कपड़े के साथ संगतता सुनिश्चित करता है

सक्रिय रूप से मूल्यांकन करने वाले संगठनों के लिएबिक्री के लिए MCX653106A-HDATविकल्प, यह समाधान वित्तीय सेवाओं, क्लाउड प्रदाताओं, स्वास्थ्य सेवा और अनुसंधान संस्थानों में उत्पादन वातावरण में मान्य एक सिद्ध संदर्भ वास्तुकला प्रदान करता है।प्रदर्शन का संयोजन, स्केलेबिलिटी और परिचालन परिपक्वताNVIDIA Mellanox MCX653106A-HDATकिसी भी संगठन के लिए एक रणनीतिक निवेश जो उच्च प्रदर्शन, भविष्य के लिए तैयार डेटा सेंटर बुनियादी ढांचे के निर्माण के लिए प्रतिबद्ध है।