मेलानॉक्स (NVIDIA मेलानॉक्स) MCX556A-ECAT सर्वर एनआईसी तकनीकी समाधान

यह श्वेतपत्र नेटवर्क आर्किटेक्ट्स, पूर्व-बिक्री इंजीनियरों और परिचालन नेताओं को नेटवर्क को तैनात करने के लिए एक व्यापक तकनीकी ढांचा प्रदान करता हैमेलनॉक्स (NVIDIA Mellanox) MCX556A-ECATसर्वर नेटवर्क एडाप्टर। समाधान आरडीएमए/आरओसीई के माध्यम से टीसीपी/आईपी की बाधाओं को समाप्त करने पर केंद्रित है,डेटा-गहन कार्यभार के लिए सर्वर थ्रूपुट को अधिकतम करते हुए निर्धारक कम विलंबता संचार प्रदान करना.

1परियोजना पृष्ठभूमि और आवश्यकताओं का विश्लेषण

आधुनिक डेटा सेंटर वातावरण ✓एआई प्रशिक्षण समूहों, वितरित डेटाबेस, हाइपरकन्वर्ज्ड बुनियादी ढांचे और उच्च आवृत्ति ट्रेडिंग प्लेटफार्मों सहित ✓एक आम बाधा साझा करते हैंःपारंपरिक नेटवर्क स्टैक मेमोरी प्रतियों पर 30~50% सीपीयू चक्र का उपभोग करता हैजैसे-जैसे लिंक की गति 100Gbps और उससे आगे की ओर बढ़ती है, सॉफ्टवेयर आधारित नेटवर्किंग अस्थिर हो जाती है।अगली पीढ़ी के सर्वर कनेक्टिविटी के लिए प्रमुख आवश्यकताओं में शामिल हैं: उप-5 माइक्रोसेकंड इंटर-नोड विलंबता, सीपीयू ओवरहेड प्रति 100Gbps लिंक 10% से कम, स्टोरेज प्रोटोकॉल के लिए हानि रहित परिवहन (एनवीएम-ओएफ), और मौजूदा ईथरनेट बुनियादी ढांचे के साथ निर्बाध एकीकरण।दMCX556A-ECAT ईथरनेट एडाप्टर कार्ड समाधानइन मांगों को सीधे संबोधित करता है।

2समग्र नेटवर्क/सिस्टम आर्किटेक्चर डिजाइन

अनुशंसित वास्तुकलाNVIDIA Mellanox MCX556A-ECATप्रत्येक कंप्यूटिंग या स्टोरेज नोड में एक दो-पोर्ट 100GbE एडाप्टर के रूप में। समाधान RoCE (RDMA over Converged Ethernet) समर्थन के साथ एक दो-स्तरीय पत्ती-पींजर टोपोलॉजी को अपनाता है। प्रमुख वास्तुकला निर्णयों में शामिल हैं:

• हानि रहित ईथरनेट फाउंडेशन: RoCE यातायात ले जाने वाले बंदरगाहों पर प्राथमिकता प्रवाह नियंत्रण (PFC) सक्षम करें और पत्ती स्विच पर ECN (स्पष्ट भीड़ सूचना) सीमाओं को कॉन्फ़िगर करें।
• अलग-अलग यातायात वर्ग: सख्त प्राथमिकता अनुसूची के साथ एक समर्पित प्राथमिकता कतार (आमतौर पर 3 या 5) को RoCE यातायात असाइन करें.
• बफर प्रबंधन: स्विचों पर साझा बफर पूल आवंटित करेंMCX556A-ECAT विनिर्देश(हानि रहित संचालन के लिए प्रति पोर्ट 4 एमबी की सिफारिश की जाती है) ।

प्रत्येकMCX556A-ECAT कनेक्टएक्स एडाप्टर PCIe नेटवर्क कार्डQSFP28 ऑप्टिक्स (SR4, LR4, या दूरी के आधार पर AOC/DAC) के माध्यम से एक पत्ती स्विच से कनेक्ट होता है। उच्च उपलब्धता के लिए,दोहरी-होमिंग विन्यास दोनों बंदरगाहों को जोड़ते हैं ✓ सक्रिय-सक्रिय थ्रूपुट के लिए या विफलता के लिए सक्रिय-सामाननियंत्रण विमान मानक ईथरनेट और आईपी का उपयोग करता है, जबकि डेटा विमान शून्य-प्रतिलिपि हस्तांतरण के लिए आरडीएमए का लाभ उठाता है।

3. समाधान में Mellanox (NVIDIA Mellanox) MCX556A-ECAT की भूमिका और प्रमुख विशेषताएं

दMCX556A-ECATसर्वर मेमोरी और नेटवर्क कपड़े के बीच महत्वपूर्ण ऑफलोड इंजन के रूप में कार्य करता है। इसका हार्डवेयर-आधारित परिवहन डेटा आंदोलन के लिए कर्नेल की भागीदारी को समाप्त करता है।MCX556A-ECAT डेटाशीटइनमें शामिल हैंः

दMCX556A-ECAT ईथरनेट एडाप्टर कार्डइसमें उन्नत स्टीयरिंग (फ्लो को 128 वर्चुअल कतारों में वर्गीकृत करना), 512 वर्चुअल कार्यों के साथ SR-IOV और सटीक समय प्रोटोकॉल (PTP) के लिए हार्डवेयर टाइमर ऑफलोड भी शामिल है।ये विशेषताएं इसे एक पूर्ण डेटा पथ त्वरण इंजन बनाती हैं, न कि केवल एक उच्च गति इंटरफ़ेस।

4. तैनाती और स्केलिंग सिफारिशें (सामान्य टोपोलॉजी)

एक मध्यम आकार के क्लस्टर (64 ¢ 256 नोड्स) के लिए, निम्नलिखित टोपोलॉजी की सिफारिश की जाती हैः

• पत्ते की परत: दो या चार 48-पोर्ट 100GbE RoCE स्विच (उदाहरण के लिए, NVIDIA SN3700) । प्रत्येक पत्ती 24 ¢ 48 सर्वर से जुड़ती है,MCX556A-ECAT संगतQSFP28 पोर्ट।
• रीढ़ की परत: चार 32-पोर्ट 400GbE स्विच जो पत्तियों से 128 गैर-ब्लॉकिंग 100GbE अपलिंक प्रदान करते हैं।
• सर्वर विन्यासएकMCX556A-ECATप्रति सर्वर, पोर्ट ए से लेफ़्ट स्विच ए, पोर्ट बी से लेफ़्ट स्विच बी। इससे 200Gbps की कुल बैंडविड्थ और पथ रिडंडेंसी मिलती है।

256 नोड्स से परे फैब्रिक को स्केल करने के लिए लीफ-स्पिन जोड़े जोड़ने या 3-चरण क्लोज आर्किटेक्चर में माइग्रेट करने की आवश्यकता होती है।MCX556A-ECAT कीमतभविष्य की क्षमता के खिलाफ, कारक है कि एडाप्टर हैMCX556A-ECAT संगतपीसीआईई 4.0 मदरबोर्ड (शुरू में 3.0 x16 पर चलने वाले) के साथ, एक सीधा अपग्रेड पथ प्रदान करता है।

5संचालन, निगरानी, समस्या निवारण और अनुकूलन

RoCE तैनाती के लिए परिचालन उत्कृष्टता के लिए विशिष्ट निगरानी और ट्यूनिंग की आवश्यकता होती है।

• निगरानी काउंटर: उपयोग-Ethtool -S ethX ♪ Grep ♪ -E "रॉसी के लिए एक कटोरा"प्राथमिकता विराम फ्रेम और सीएनपी (कन्जेक्शन अधिसूचना पैकेट) को ट्रैक करने के लिए।MCX556A-ECAT विनिर्देशअपेक्षित आधारभूत मूल्यों का दस्तावेजीकरण।
• बफर ट्यूनिंग: RoCE कतारों के लिए स्विच निकास बफर को 4 ¢ 6MB पर कॉन्फ़िगर करें. अपर्याप्त बफर PFC तूफान और थ्रूपुट पतन का कारण बनते हैं.
• फर्मवेयर प्रबंधन: नवीनतम फर्मवेयर को बनाए रखें (एनवीआईडीआईए एंटरप्राइज सपोर्ट पोर्टल से उपलब्ध)MCX556A-ECAT डेटाशीट.
• प्रदर्शन का आधारभागनाib_write_bwऔरib_read_latOFED टूलकिट से अपेक्षित परिणाम: 98 ¢ 99 Gbps द्विदिशात्मक 0.8 ¢ 1.2 μs विलंबता के साथ 8-बाइट संदेशों के लिए।

समस्या निवारण के सामान्य परिदृश्यः पीएफसी बैडलॉक्स (गलत रूप से कॉन्फ़िगर किए गए कतार मैपिंग की जांच), लिंक फ्लैप (शक्ति और केबल रेटिंग को मान्य करना),और आरडीएमए कनेक्शन टाइमआउट (जम्बो फ्रेम के लिए 4200 बाइट्स पर एमटीयू स्थिरता सुनिश्चित करें)खोज टीमों के लिएबिक्री के लिए MCX556A-ECATसमूहों का विस्तार करने के लिए, प्री-स्टेजिंग फर्मवेयर संरेखण बैचों के बीच संगतता आश्चर्य से बचता है।

6. सारांश और मूल्य निर्धारण

दMCX556A-ECATआधुनिक डेटा केंद्रों के लिए एक स्पष्ट मूल्य प्रस्ताव प्रदान करता है।NVIDIA Mellanox MCX556A-ECATटीसीपी की तुलना में अनुप्रयोग विलंबता को 10 गुना कम करता है, सीपीयू नेटवर्किंग ओवरहेड को 85% तक कम करता है और NVMe-oF के माध्यम से भंडारण विखंडन को अनलॉक करता है।कार्ड की दोहरी-पोर्ट 100GbE क्षमता भविष्य में अग्रिम स्थान प्रदान करती हैऑपरेशंस टीमों के लिए, परिपक्व ड्राइवर स्टैक (अपस्ट्रीम लिनक्स, विंडोज और वीएमवेयर) प्रबंधन को सरल बनाता है।MCX556A-ECAT कीमतस्वामित्व की कुल लागत के सापेक्ष, सॉफ्टवेयर लाइसेंसिंग, बिजली और शीतलन सहित, एडेप्टर आमतौर पर सर्वर समेकन के माध्यम से 6-12 महीनों के भीतर खुद के लिए भुगतान करता है।MCX556A-ECAT ईथरनेट एडाप्टर कार्डयाMCX556A-ECAT कनेक्टएक्स एडाप्टर PCIe नेटवर्क कार्ड, यह समाधान हानि रहित, उच्च-प्रवाह ईथरनेट नेटवर्किंग के लिए एक संदर्भ डिजाइन बना हुआ है।