NVIDIA Mellanox MCX556A-ECAT सर्वर एडॉप्टर तकनीकी श्वेत पत्र | RDMA/RoCE निम्न-विलंबता परिवहन और सर्वर थ्रूपुट

NVIDIA Mellanox MCX556A-ECAT सर्वर एडाप्टर तकनीकी श्वेतपत्र ♪ RDMA / RoCE कम विलंबता परिवहन और सर्वर थ्रूपुट अनुकूलन

1परियोजना पृष्ठभूमि और आवश्यकताओं का विश्लेषण

आधुनिक डेटा केंद्र कृत्रिम बुद्धिमत्ता, उच्च-प्रदर्शन कंप्यूटिंग (एचपीसी) और वास्तविक समय विश्लेषण द्वारा संचालित एक मौलिक परिवर्तन से गुजर रहे हैं।इन कार्यभारों के लिए अभूतपूर्व नेटवर्क प्रदर्शन की आवश्यकता होती है न कि केवल कच्चे बैंडविड्थ, लेकिन निर्धारक कम विलंबता, सीपीयू-कुशल डेटा आंदोलन, और निर्बाध स्केलेबिलिटी। पारंपरिक ईथरनेट एडाप्टर, सॉफ्टवेयर आधारित टीसीपी/आईपी स्टैक पर निर्भर, एक महत्वपूर्ण बाधा बन गए हैं,20~30% सीपीयू कोर का उपभोग करना और अप्रत्याशित विलंबता भिन्नताएं पेश करना जो एप्लिकेशन प्रदर्शन को खराब करते हैंबड़े पैमाने पर काम करने वाले संगठनों के लिए, यह अक्षमता सीधे उच्च बुनियादी ढांचे की लागत और धीमी अंतर्दृष्टि समय में अनुवाद करती है।

इस श्वेतपत्र में एक व्यापक तकनीकी समाधान प्रस्तुत किया गया है, जोNVIDIA Mellanox MCX556A-ECATसर्वर एडाप्टर। यह उद्यमों के लिए डिज़ाइन किया गया है जो अपने 100GbE निवेश पर अधिकतम रिटर्न प्राप्त करना चाहते हैं,MCX556A-ECAT ईथरनेट एडाप्टर कार्डConverged Ethernet (RoCE) पर हार्डवेयर-एक्सेलेरेटेड RDMA प्रदान करता है, जिससे हानि रहित, कम विलंबता परिवहन संभव होता है जो नेटवर्क I/O को एक दायित्व से एक रणनीतिक संपत्ति में बदल देता है।समाधान को विशेष रूप से तीन मुख्य उद्देश्यों को पूरा करने के लिए बनाया गया है: (1) उप-10μs एंड-टू-एंड एप्लिकेशन विलंबता प्राप्त करना, (2) सीपीयू नेटवर्क प्रसंस्करण ओवरहेड को 5% से कम करना और (3) 100GbE और उससे आगे के लिए एक स्केलेबल, भविष्य के सबूत की नींव प्रदान करना।

2समग्र नेटवर्क और सिस्टम आर्किटेक्चर डिजाइन

अनुशंसित वास्तुकला 100GbE के साथ एक उच्च प्रदर्शन वाली पत्ती-पीठ टोपोलॉजी को अपनाती है सर्वर एक्सेस लेयर और 400GbE स्पाइन के लिए अपलिंक। इस डिजाइन के मूल में हैMCX556A-ECAT कनेक्टएक्स एडाप्टर PCIe नेटवर्क कार्डवास्तुकला पांच प्रमुख सिद्धांतों के चारों ओर बनाया गया हैः

• हानि रहित ईथरनेट कपड़ेःपीएफसी (प्राथमिकता प्रवाह नियंत्रण) और ईसीएन (स्पष्ट भीड़ सूचना) के साथ RoCE v2 का लाभ उठाना सभी स्विचों में पैकेट ड्रॉप को समाप्त करने और आरडीएमए ट्रैफ़िक के लिए निर्धारक विलंबता सुनिश्चित करने के लिए।
• हर जगह हार्डवेयर डाउनलोड करें:ट्रांसपोर्ट-लेयर प्रोसेसिंग को ऑफलोड करना, जिसमें चेकसम ऑफलोड, सेगमेंटेशन (एलएसओ/एलआरओ), वीएलएएन टैगिंग, और आरडीएमए को एडाप्टर में शामिल करना, एप्लिकेशन लॉजिक के लिए सीपीयू चक्रों को मुक्त करना।
• सक्रिय-सक्रिय रिडंडेंसी:200Gb/s कुल बैंडविड्थ के लिए लिंक एग्रीगेशन (LACP) मोड में दोनों QSFP28 पोर्टों का उपयोग करना और उप-सेकंड रिकवरी के साथ स्वचालित फेलओवर।
• यातायात का विभाजन:स्टोरेज (एनवीएम-ओएफ), कंप्यूटिंग (एमपीआई/आरडीएमए) और प्रबंधन यातायात के लिए समर्पित यातायात वर्ग, सभी कार्यभारों में अनुमानित QoS सुनिश्चित करते हैं।
• स्केलेबल कंट्रोल प्लेन:REST एपीआई और Ansible प्लेबुक के माध्यम से अंतर्निहित टेलीमेट्री और स्वचालन के साथ एनवीआईडीआईए स्पेक्ट्रम स्विच के माध्यम से केंद्रीकृत प्रबंधन।

समाधान पूरी तरह सेMCX556A-ECAT संगतप्रमुख सर्वर प्लेटफार्मों (डेल पावरएज, एचपीई प्रोलिंट, सुपर्माइक्रो, लेनोवो) के साथ और प्रमुख ऑपरेटिंग सिस्टम (लिनक्स, विंडोज सर्वर, वीएमवेयर ईएसएक्सआई) के साथ सहजता से एकीकृत करता है।आर्किटेक्चर RoCE पर NVMe-oF का समर्थन करता है, स्थानीय NVMe ड्राइव के करीब विलंबता के साथ साझा विघटित भंडारण को सक्षम करता है।

3. NVIDIA Mellanox MCX556A-ECAT की भूमिका और प्रमुख विशेषताएं

इस समाधान के मूलभूत घटक के रूप में,NVIDIA Mellanox MCX556A-ECATवास्तुकला के भीतर तीन महत्वपूर्ण भूमिकाएं निभाता हैः

मुख्य तकनीकी विनिर्देशMCX556A-ECAT डेटाशीटइसमें PCIe 3.0/4.0 x16 होस्ट इंटरफेस, व्यापक ऑफलोड क्षमताएं (चेकसम, एलएसओ/एलआरओ, वीएलएएन स्ट्रिपिंग/इंसेप्शन, आरएसएस) और प्रत्येक पोर्ट पर उन्नत टेलीमेट्री शामिल हैं।एडेप्टर की बिजली दक्षता (आमतौर पर 15W से कम) और व्यापक ऑपरेटिंग सिस्टम समर्थन इसे विषम वातावरण के लिए एक बहुमुखी बिल्डिंग ब्लॉक बनाता है.MCX556A-ECAT विनिर्देश25GbE और 40GbE संगतता के लिए समर्थन को भी उजागर करना, मिश्रित गति वाले वातावरण के लिए तैनाती लचीलापन प्रदान करना।

4. तैनाती और स्केलिंग की सिफारिशें

ग्रीनफील्ड तैनाती के लिए, हम 100GbE पहुँच और 400GbE स्पाइन अपलिंक्स के साथ दो-स्तरीय पत्ती-पीठ टोपोलॉजी की सिफारिश करते हैं। प्रत्येक सर्वर एक होस्ट करता हैMCX556A-ECAT ईथरनेट एडाप्टर कार्डदोनों QSFP28 बंदरगाहों के साथ रिडंडेंसी के लिए अलग-अलग पत्ती स्विच से जुड़ा हुआ है। RoCE कपड़े को सभी स्विचों में एक सुसंगत QoS कॉन्फ़िगरेशन की आवश्यकता होती है, विशेष रूप सेप्राथमिकता 3 (आरडीएमए यातायात के लिए) और प्राथमिकता 4 (भंडारण के लिए) पर पीएफसीहम निगरानी और समस्या निवारण को सरल बनाने के लिए RoCE, प्रबंधन और भंडारण यातायात के लिए समर्पित VLAN आवंटित करने की सलाह देते हैं।

मौजूदा 40GbE बुनियादी ढांचे के साथ ब्राउनफील्ड वातावरण के लिए,MCX556A-ECAT ईथरनेट एडाप्टर कार्ड समाधानचूंकि एडेप्टर 40GbE QSFP+ ऑप्टिक्स के साथ पीछे की ओर संगत है, मौजूदा केबलिंग का पुनः उपयोग 100GbE के चरणबद्ध उन्नयन के दौरान किया जा सकता है।एडेप्टर अनिवार्य RoCE सक्षम किए बिना मानक ईथरनेट स्विचिंग का भी समर्थन करता है, टीमों को पहले हार्डवेयर को तैनात करने और चरणों में आरडीएमए क्षमताओं को सक्रिय करने की अनुमति देता है क्योंकि कपड़े परिपक्व होते हैं और कार्यभार संक्रमण को उचित बनाते हैं।

समाधान को 50 नोड्स से परे स्केल करने से अतिरिक्त विचार आते हैं।हम अंतर्निहित टेलीमेट्री और गतिशील ईसीएन सीमा समायोजन के साथ एनवीआईडीआईए स्पेक्ट्रम स्विच का उपयोग करके एक समर्पित आरओसीई भीड़ प्रबंधन रणनीति को लागू करने की सलाह देते हैं. 200 नोड्स से अधिक क्लस्टर के लिए, अंत से अंत दृश्यता और स्वचालित विन्यास स्थिरता बनाए रखने के लिए एक केंद्रीकृत कपड़े प्रबंधन नियंत्रक (जैसे, NVIDIA Cumulus NetQ) को तैनात करने पर विचार करें.दबिक्री के लिए MCX556A-ECATएनवीडिया के वैश्विक चैनल भागीदारों के माध्यम से व्यापक वारंटी और फर्मवेयर अद्यतन समर्थन शामिल है, जो पैमाने पर दीर्घकालिक विश्वसनीयता सुनिश्चित करता है।

5संचालन, निगरानी, समस्या निवारण और अनुकूलन

RoCE कपड़े के प्रभावी संचालन के लिए एक बहुस्तरीय निगरानी और समस्या निवारण रणनीति की आवश्यकता होती हैः

• एडाप्टर-स्तर टेलीमेट्रीःदMCX556A-ECAT विनिर्देशइसमें पीएफसी फ्रेम, ईसीएन-चिह्नित पैकेट, गिराए गए फ्रेम और लिंक त्रुटियों के लिए प्रति-पोर्ट काउंटर शामिल हैं।mlx5cmd,एथटूल, या एनवीआईडीआईए फर्मवेयर टूल इन मीट्रिक्स को प्रोमेथियस/ग्राफाना डैशबोर्ड पर निर्यात करने के लिए।
• स्विच-लेवल मॉनिटरिंगःबफर की कार्यक्षमता, ब्रेक फ्रेम की संख्या, कतार गहराई, और ECN मार्किंग दरों की निगरानी करें।विराम फ्रेम में अचानक वृद्धि सूक्ष्म भीड़भाड़ का संकेत देती है जिसके लिए ईसीएन सीमा को समायोजित करने की आवश्यकता हो सकती है.
• अनुप्रयोग-स्तरीय मेट्रिक्सःआरडीएमए अनुप्रयोगों के लिए, एनवीआईडीआईए लिबिबवर्ब और आरडीएमए-कोर पुस्तकालयों का उपयोग करके डब्ल्यूआर (कार्य अनुरोध) पूरा होने की विलंबता, सीक्यू (पूर्ण होने की कतार) ओवरफ्लो घटनाओं, और क्यूपी (कतार जोड़ी) त्रुटि गिनती को ट्रैक करें।

सामान्य समस्या निवारण परिदृश्य और उनके अनुशंसित कार्यः

• RoCE प्रदर्शन में गिरावटःसत्यापित करें कि PFC सभी स्विच पोर्ट पर सक्षम है और कि DSCP मार्किंग स्विच विन्यास से मेल खाती है।MCX556A-ECAT डेटाशीटअपने कार्यभार प्रोफ़ाइल के लिए अनुशंसित मानों के विरुद्ध बफर आवंटन सेटिंग्स को मान्य करने के लिए.
• लिंक फ्लैपिंग या सीआरसी त्रुटियाँःQSFP28 केबल की गुणवत्ता की जाँच करें और सुनिश्चित करें कि एडाप्टर फर्मवेयर नवीनतम रिलीज पर अद्यतन है। सत्यापित करें कि केबल 100GBASE-SR4 या LR4 के लिए IEEE 802.3bj विनिर्देशों को पूरा करते हैं।
• सीपीयू अभी भी लोड के बावजूद उच्च हैःसत्यापित करें कि RDMA वास्तव में उपयोग किया जा रहा है (TCP पर वापस नहीं गिर रहा है) ड्राइवर काउंटर, एप्लिकेशन लॉग और कनेक्शन स्थितियों का निरीक्षण करके।
• पीएफसी गतिरोध या विराम तूफानःगलत कॉन्फ़िगर की गई प्राथमिकताओं की जाँच करें, और सुनिश्चित करें कि पीएफसी केवल RoCE यातायात वर्गों पर सक्षम है (प्रबंधन या भंडारण यातायात पर नहीं) ।

अनुकूलन के लिए, हम व्यापक प्रयोगशाला सत्यापन के आधार पर निम्नलिखित समायोजन मापदंडों की सिफारिश करते हैंः

• बाधित संयुग्मन (मॉडरेशन):विलंबता और सीपीयू दक्षता को संतुलित करने के लिए मिश्रित कार्यभार (ट्रेडिंग + स्टोरेज) के लिए 4 ¢ 8 μs पर सेट करें।
• आरडीएमए एमटीयू:प्रोटोकॉल ओवरहेड को कम करने और थ्रूपुट में सुधार करने के लिए स्टोरेज वर्कलोड के लिए 4096 बाइट तक बढ़ाएं।
• आरएसएस (रिसीव साइड स्केलिंग):गैर-आरडीएमए यातायात के लिए कई सीपीयू कोरों के बीच प्रोसेसिंग को वितरित करने और एकल-कोर संतृप्ति से बचने के लिए कॉन्फ़िगर करें।
• ईसीएन की सीमाएँःप्राथमिकता 3 यातायात के लिए न्यूनतम सीमा बफर का 50% और अधिकतम सीमा 80% निर्धारित करें, अवलोकन किए गए भीड़भाड़ के पैटर्न के आधार पर समायोजित करें।

6. सारांश और मूल्य निर्धारण

दNVIDIA Mellanox MCX556A-ECATसमाधान आधुनिक डेटा केंद्रों के लिए परिवर्तनकारी मूल्य प्रदान करता है। सॉफ्टवेयर आधारित टीसीपी/आईपी को हार्डवेयर-त्वरित आरडीएमए/आरओसीई से बदलकर,संगठनों को अनुप्रयोग स्तर के विलंबता में 5×10 गुना की कमी प्राप्त हो सकती है, सीपीयू नेटवर्क ओवरहेड को 80% से अधिक कम करें और सर्वर कंटेनर घनत्व को 30%-50% तक बढ़ाएं।MCX556A-ECAT ईथरनेट एडाप्टर कार्डयह निवेश संरक्षण के साथ 100GbE को अपनाने के लिए एक लागत प्रभावी मार्ग प्रदान करता है, जो 40GbE के लिए पिछड़ी संगतता और उभरते कार्यभारों के लिए भविष्य के लिए तैयार ऑफलोड क्षमताओं के माध्यम से है।

स्वामित्व की कुल लागत का आकलन करते समय,MCX556A-ECAT कीमतमहत्वपूर्ण परिचालन बचत के द्वारा प्रतिस्थापित किया जाता हैः कम सर्वर संख्या (अधिक उपयोग के कारण), कम शीतलन लागत (<15W बिजली की खपत के लिए धन्यवाद),और अलग InfiniBand या मालिकाना RDMA कपड़े के उन्मूलन. समाधान पूरी तरह से हैMCX556A-ECAT संगतप्रमुख ओपन-सोर्स और एंटरप्राइज़ पारिस्थितिक तंत्रों के साथ, जिसमें कुबरनेट्स, अपाचे स्पार्क, टेन्सरफ्लो और वीएमवेयर वीएसफीयर शामिल हैं, जो एंटरप्राइज़, एचपीसी और क्लाउड-नेटिव तैनाती में व्यापक प्रयोज्यता सुनिश्चित करते हैं.

विस्तृत तैनाती स्क्रिप्ट, कॉन्फ़िगरेशन टेम्पलेट और प्रदर्शन बेंचमार्क रिपोर्ट के लिए, कृपया आधिकारिक देखेंMCX556A-ECAT डेटाशीटऔर NVIDIA के व्यापक नेटवर्किंग प्रलेखन पोर्टल। यह श्वेत पत्र एक नींव के रूप में कार्य करता है ∙ वास्तुकला मान्य है, घटक उत्पादन के लिए तैयार हैं,और लाभ मापा जा सकता है.MCX556A-ECAT कनेक्टएक्स एडाप्टर PCIe नेटवर्क कार्डयह केवल एक एडाप्टर नहीं है; यह भविष्य के आरडीएमए-तैयार, थ्रूपुट-अनुकूलित डेटा सेंटर के लिए एक रणनीतिक सक्षमकर्ता है।