NVIDIA Mellanox MCX4121A-ACAT सर्वर एडाप्टर तकनीकी समाधानः कम विलंबता और अधिकतम के लिए RDMA/RoCE आर्किटेक्टिंग

1परियोजना पृष्ठभूमि और आवश्यकताओं का विश्लेषण

आधुनिक डेटा केंद्रों पर लगातार दबाव है कि वे वास्तविक समय विश्लेषण, वितरित मशीन लर्निंग प्रशिक्षण,और उच्च प्रदर्शन सॉफ्टवेयर परिभाषित भंडारणपारंपरिक नेटवर्क आर्किटेक्चर, जो TCP/IP स्टैक पर बहुत निर्भर हैं, महत्वपूर्ण विलंबता और सीपीयू ओवरहेड पेश करते हैं। जैसे-जैसे लिंक गति 10GbE से 25GbE और उससे आगे की ओर संक्रमण करती है,"कर्नेल बायपास" दृष्टिकोण केवल एक लाभ नहीं बन जाता है, लेकिन एक आवश्यकता है.नेटवर्क आर्किटेक्ट और स्टोरेज इंजीनियर ऐसे समाधानों की तलाश कर रहे हैं जो पूरी तरह से बुनियादी ढांचे की मरम्मत की आवश्यकता के बिना NVMe-oF और माइक्रो-सेवा आर्किटेक्चर की पूरी क्षमता को खोल सकेंएक विशिष्ट बड़े पैमाने पर तैनाती में पहचानी गई प्राथमिक आवश्यकताओं में स्टोरेज ट्रैफ़िक के लिए 10 माइक्रो सेकंड से कम विलंबता, नेटवर्क I/O के लिए CPU ओवरहेड में 40% की कमी,और एक एकीकृत कपड़े दोनों मानक टीसीपी/आईपी यातायात और अल्ट्रा-कम विलंबता आरडीएमए यातायात ले जाने में सक्षम.

2समग्र नेटवर्क और सिस्टम आर्किटेक्चर डिजाइन

प्रस्तावित वास्तुकला एक ही भौतिक बुनियादी ढांचे पर मानक लैन यातायात और भंडारण यातायात दोनों का समर्थन करने के लिए डिज़ाइन किए गए एक हानि रहित, अभिसरित ईथरनेट कपड़े पर केंद्रित है।यह डिजाइन RoCE (RDMA over Converged Ethernet) सक्षम स्विचों के साथ एक पत्ती-पींजर टोपोलॉजी का लाभ उठाता हैमुख्य डिजाइन सिद्धांतों में शामिल हैंः

• संकुचित कपड़ा:एक एकल 25GbE नेटवर्क सभी प्रकार के यातायात को ले जाता है, अलग-अलग भंडारण और डेटा नेटवर्क (LAN/SAN अभिसरण) की आवश्यकता को समाप्त करता है।
• हानि रहित ईथरनेट फाउंडेशनःआरडीएमए यातायात के लिए हानि रहित सेवा वर्ग बनाने के लिए प्राथमिकता प्रवाह नियंत्रण (पीएफसी, आईईईई 802.1क्यूबीबी) और उन्नत संचरण चयन (ईटीएस, आईईईई 802.1क्यूएज़) को लागू करना,पैकेट ड्रॉप को रोकना जो अन्यथा विनाशकारी विलंबता स्पाइक्स का कारण बनता है.
• अंत से अंत तक आरडीएमए:RoCEv2 की तैनाती करना, जो नेटवर्क परत पर काम करता है, जिससे RDMA को L3 सीमाओं को पार करने और RoCEv1 के विपरीत एक एकल प्रसारण डोमेन से परे स्केल करने की अनुमति मिलती है।

इस वास्तुकला के भीतर, सर्वर एंडपॉइंट सबसे महत्वपूर्ण घटक है।NVIDIA Mellanox MCX4121A-ACATसर्वर एडाप्टर अपनी महत्वपूर्ण भूमिका निभाता है, जो बुद्धिमान इंटरफेस के रूप में कार्य करता है जो RoCE प्रोटोकॉल निष्पादित करता है और मेजबान CPU से जटिल नेटवर्क कार्यों को ऑफलोड करता है।

3समाधान में एनवीडिया मेलनॉक्स एमसीएक्स4121ए-एसीएटी की भूमिका

दMCX4121A-ACAT ईथरनेट एडाप्टर कार्डसर्वर-साइड तैनाती का आधारशिला है। कनेक्टएक्स-4 एलएक्स नियंत्रक के आधार पर, यहMCX4121A-ACAT ConnectX-4 Lx दोहरी बंदरगाह 25GbE SFP28एडाप्टर परियोजना के लक्ष्यों को प्राप्त करने के लिए आवश्यक हार्डवेयर त्वरण प्रदान करता है। वास्तुकला में इसके विशिष्ट योगदान नीचे विस्तृत हैंः

• हार्डवेयर RoCE इंजनःएडेप्टर पूरे RoCEv2 प्रोटोकॉल को सिलिकॉन में लागू करता है। इसका मतलब है कि आरडीएमए संचालन, जिसमें मेमोरी पढ़ता/लिखता और भेजता/प्राप्त क्रियाएं शामिल हैं, पूरी तरह से एनआईसी पर संसाधित होती हैं,कर्नेल को दरकिनार करना और संदर्भ स्विच को समाप्त करनायह उप-10 माइक्रोसेकंड अनुप्रयोग-से-अनुप्रयोग विलंबता प्राप्त करने के लिए प्राथमिक तंत्र है।
• एनवीएमई-ओएफ ऑफलोडःभंडारण यातायात के लिए,MCX4121A-ACATयह आरडीएमए के साथ एनवीएमई ओवर फैब्रिक्स (एनवीएमई-ओएफ) का समर्थन करता है। यह एनवीएमई कतार जोड़ी प्रसंस्करण को ऑफलोड करता है, जिससे स्टोरेज लक्ष्य या आरंभकर्ता को न्यूनतम सीपीयू हस्तक्षेप के साथ लाखों आईओपीएस को संभालने की अनुमति मिलती है।
• गतिशील अंतराल मॉडरेशनःएडाप्टर बुद्धिमान रूप से रुकावटों को नियंत्रित करता है, यातायात भार के आधार पर उन्हें एकजुट करता है।यह संवेदनशील यातायात के लिए कम विलंबता बनाए रखते हुए उच्च थ्रूपुट परिदृश्यों के दौरान मेजबान सीपीयू ओवरहेड को कम करता है.
• सेवा की गुणवत्ता (QoS) प्रवर्तनःयह हार्डवेयर आधारित QoS को सपोर्ट करता है, जिससे आर्किटेक्ट्स को अलग-अलग प्राथमिकता कतारों में अलग-अलग ट्रैफ़िक क्लास (जैसे, स्टोरेज, मैनेजमेंट, कंप्यूटिंग) असाइन करने की अनुमति मिलती है।यह सुनिश्चित करता है कि आरडीएमए यातायात गारंटीकृत बैंडविड्थ और कम विलंबता प्राप्त करता है, यहां तक कि नेटवर्क की भीड़ के दौरान भी।

4. तैनाती और स्केलिंग की सिफारिशें

जोखिम को कम करने के लिए चरणबद्ध तैनाती दृष्टिकोण की सिफारिश की जाती है। निम्नलिखित टोपोलॉजी और चरण एक विशिष्ट कार्यान्वयन की रूपरेखा देते हैंः

• पायलट चरण:स्टोरेज सर्वर और कंप्यूटिंग नोड्स के एक छोटे से क्लस्टर को तैनात करें, प्रत्येक के साथ सुसज्जितMCX4121A-ACAT, एक समर्पित RoCE-सक्षम पत्ती स्विच से जुड़ा हुआ है। RoCE यातायात के लिए हानि रहित कपड़े सुनिश्चित करने के लिए PFC/ETS विन्यास को मान्य करें।
• एकीकरण और परीक्षण:विन्यास करेंMCX4121A-ACAT ईथरनेट एडाप्टर कार्ड समाधानदोनों भंडारण लक्ष्यों (जैसे, Ceph, Lustre, या मालिकाना NVMe-oF सरणियों) और क्लाइंट अनुप्रयोगों पर।सबसे अच्छाबेसलाइन विलंबता (ib_send_lat) और बैंडविड्थ (ib_send_bw) को मापने के लिए।
• कपड़े को स्केलिंग करना:एक बार पायलट स्थिर हो जाने के बाद, एक पूर्ण पत्ती-पीठ टोपोलॉजी के लिए स्केल करें। पूरे नेटवर्क में हानि रहित QoS मार्किंग बनाए रखने के लिए रीढ़ के स्विच को भी RoCE- जागरूक सुनिश्चित करें।NVIDIA Mellanox MCX4121A-ACATरिडंडेंसी और बढ़े हुए थ्रूपुट के लिए सक्रिय/स्टैंडबाय या 802.3ad लिंक एग्रीगेशन की अनुमति देता है।
• संगतता जाँचःहमेशा सत्यापित करेंMCX4121A-ACAT संगतहार्डवेयर और फर्मवेयर संस्करण।MCX4121A-ACAT विनिर्देशऔरMCX4121A-ACAT डेटाशीटसर्वर मदरबोर्ड, BIOS सेटिंग्स और स्विच फर्मवेयर के साथ संगतता सुनिश्चित करने के लिए समीक्षा की जानी चाहिए।MCX4121A-ACAT मूल्यऔर उपलब्धता अधिकृत वितरकों के माध्यम से प्राप्त की जा सकती है, विशेष रूप से बड़े पैमाने परबिक्री के लिए MCX4121A-ACATखरीदारी।

5परिचालन निगरानी, समस्या निवारण और अनुकूलन

शीर्ष प्रदर्शन बनाए रखने के लिए सक्रिय निगरानी और RoCE कपड़े व्यवहार की ठोस समझ की आवश्यकता होती है। संचालन टीमों के लिए प्रमुख सिफारिशों में शामिल हैंः

• आरडीएमए यातायात की निगरानी:उपकरण का उपयोग करें जैसेएथटूल,एमएलएक्सस्टैट, और NVIDIA केयूएफएम (यूनिफाइड फैब्रिक मैनेजर)एडेप्टर तापमान, लिंक त्रुटियों और आरडीएमए कतार जोड़ी की स्थिति की निगरानी करने के लिए। महत्वपूर्ण मीट्रिक में शामिल हैंः रोस पैकेट ड्रॉप, पीएफसी पज़ फ्रेम की गिनती, और पीसीआईई बैंडविड्थ उपयोग।
• दोष अलगावःआरडीएमए यातायात में उच्च विलंबता लगभग हमेशा भीड़भाड़ के कारण पैकेट ड्रॉप के कारण होती है। पीएफसी विराम फ़्रेम की जांच करें; यदि किसी विशिष्ट कतार को अत्यधिक विराम दिया जा रहा है,यह नीचे की ओर एक फ्लैट ग्लॉस का संकेत देता है (eउदाहरण के लिए, एक स्विच आउटपुट पोर्ट पर।MCX4121A-ACATउन्नत काउंटरों से भीड़भाड़ के सटीक स्रोत का पता लगाने में मदद मिल सकती है।
• प्रदर्शन ट्यूनिंगः
  • एमटीयू आकारःप्रति पैकेट ओवरहेड को कम करने और बड़े I/O प्रदर्शन में सुधार करने के लिए एडेप्टर और स्विच दोनों पर 9000 बाइट (जम्बो फ्रेम) तक बढ़ाएं।
  • प्राप्त पक्ष स्केलिंग (आरएसएस):सुनिश्चित करें कि आरएसएस को कई सीपीयू कोरों में ट्रैफ़िक वितरित करने के लिए कॉन्फ़िगर किया गया है, जिससे एडेप्टर उच्च पैकेट-प्रति-सेकंड (पीपीएस) दरों को संभाल सके।
  • बफर ट्यूनिंगःएडाप्टर के प्राप्त और प्रेषित बफर को कार्यभार विशेषताओं के आधार पर समायोजित करें (जैसे, भंडारण के लिए बड़े बफर, एचपीसी के लिए छोटे) ।

6निष्कर्ष और मूल्य मूल्यांकन

दMCX4121A-ACATNVIDIA Mellanox से अगली पीढ़ी के डेटा केंद्रों के निर्माण के लिए एक परिपक्व, उच्च प्रदर्शन आधार प्रदान करता है। एक अच्छी तरह से डिजाइन RoCEv2 कपड़े में इस एडेप्टर को एकीकृत करके,संगठन परिवर्तनकारी परिणाम प्राप्त कर सकते हैं: सर्वर थ्रूपुट को अधिकतम किया जा सकता है क्योंकि सीपीयू को नेटवर्क ओवरहेड से मुक्त किया जाता है; विलंबता नाटकीय रूप से एकल अंकों के माइक्रोसेकंड तक कम हो जाती है, जिससे वास्तविक समय अनुप्रयोगों को सक्षम किया जा सकता है;और कुल स्वामित्व लागत बुनियादी ढांचे के अभिसरण के माध्यम से कम हो जाती है25GbE रोडमैप की योजना बनाने वाले आर्किटेक्ट्स के लिए,MCX4121A-ACATप्रदर्शन और दक्षता में एक रणनीतिक निवेश का प्रतिनिधित्व करता है, जो मजबूत NVIDIA Mellanox पारिस्थितिकी तंत्र द्वारा समर्थित है।