NVIDIA Mellanox MCX631432AN-ADAB सर्वर एडॉप्टर एक्शन में | RDMA/RoCE लो-लेटेंसी ट्रांसपोर्ट और सर्वर थ्रूपुट लाभ

NVIDIA Mellanox MCX631432AN-ADAB सर्वर एडॉप्टर एक्शन में | RDMA/RoCE लो-लेटेंसी ट्रांसपोर्ट और सर्वर थ्रूपुट लाभ

पृष्ठभूमि और चुनौती: वितरित स्टोरेज में लेटेंसी बॉटलनेक

एक बड़े इंटरनेट कंपनी की इंफ्रास्ट्रक्चर टीम को हाल ही में एक जानी-पहचानी चुनौती का सामना करना पड़ा: उनका वितरित स्टोरेज क्लस्टर, जो Ceph बैकएंड पर बनाया गया था, बढ़ती एप्लिकेशन मांगों के साथ तालमेल बिठाने के लिए संघर्ष कर रहा था। जबकि स्टोरेज नोड्स शक्तिशाली सीपीयू और तेज एनवीएमई ड्राइव से लैस थे, नेटवर्क लेटेंसी प्राथमिक बॉटलनेक बन गई थी - खासकर पीक आई/ओ संचालन के दौरान। मौजूदा 10GbE एडॉप्टर में हार्डवेयर ऑफलोड क्षमताएं नहीं थीं, जिससे हर पैकेट को प्रोसेस करने के लिए अत्यधिक सीपीयू हस्तक्षेप हो रहा था।

यह ओवरहेड राइट-इंटेंसिव वर्कलोड में सबसे अधिक स्पष्ट था, जहां प्रत्येक आई/ओ ऑपरेशन के लिए कई नेटवर्क राउंड ट्रिप की आवश्यकता होती थी। टीम को एक ऐसे समाधान की आवश्यकता थी जो उनके मौजूदा ईथरनेट इंफ्रास्ट्रक्चर के पूर्ण ओवरहाल की आवश्यकता के बिना, टेल लेटेंसी को काफी कम कर सके और समग्र सर्वर थ्रूपुट को बढ़ा सके। कई विकल्पों का मूल्यांकन करने के बाद, उन्होंने NVIDIA Mellanox MCX631432AN-ADAB की ओर रुख किया - RDMA ओवर कन्वर्ज्ड ईथरनेट (RoCE) डिप्लॉयमेंट के लिए विशेष रूप से निर्मित एक डुअल-पोर्ट 25GbE SFP28 एडॉप्टर।

समाधान और डिप्लॉयमेंट: ConnectX-6 Lx के साथ RoCE को डिप्लॉय करना

डिप्लॉयमेंट ने Ceph क्लस्टर के भीतर मेटाडेटा सर्वर के रूप में काम करने वाले तीन स्टोरेज नोड्स को लक्षित किया, जहां लेटेंसी संवेदनशीलता सबसे अधिक होती है। प्रत्येक नोड MCX631432AN-ADAB ConnectX-6 Lx डुअल-पोर्ट 25GbE SFP28 एडॉप्टर से लैस था, जो RoCEv2 सपोर्ट वाले 25GbE टॉप-ऑफ-रैक स्विच से जुड़ा था। टीम ने कुल 50Gb/s तक बैंडविड्थ को एग्रीगेट करते हुए और फेलओवर रिडंडेंसी प्रदान करते हुए, एक्टिव-एक्टिव बॉन्डिंग मोड में दोनों पोर्ट को कॉन्फ़िगर किया।

कार्यान्वयन का एक महत्वपूर्ण पहलू लॉसलेस नेटवर्क व्यवहार सुनिश्चित करने के लिए प्रायोरिटी फ्लो कंट्रोल (PFC) और एक्सप्लिसिट कंजेशन नोटिफिकेशन (ECN) के साथ RoCEv2 को सक्षम करना था। MCX631432AN-ADAB ईथरनेट एडॉप्टर कार्ड इन उन्नत कंजेशन मैनेजमेंट मैकेनिज्म को मूल रूप से सपोर्ट करता है, जिससे मालिकाना स्विच या अतिरिक्त लाइसेंसिंग की आवश्यकता समाप्त हो जाती है। टीम ने प्रारंभिक बर्न-इन चरण के दौरान फैब्रिक हेल्थ की रियल-टाइम में निगरानी के लिए एडॉप्टर के बिल्ट-इन हार्डवेयर टाइमस्टैम्प और टेलीमेट्री काउंटर्स का भी उपयोग किया।

MCX631432AN-ADAB डेटाशीट के अनुसार, एडॉप्टर PCIe Gen 4.0 x8 को सपोर्ट करता है, जो होस्ट बस को बॉटलनेक किए बिना डुअल 25GbE पोर्ट को पूरी तरह से संतृप्त करने के लिए आवश्यक साबित हुआ। मौजूदा सर्वर पहले से ही Gen 4.0-सक्षम थे, जिससे अपग्रेड सीधा हो गया। PCIe Gen 3.0 पर अभी भी मौजूद वातावरण के लिए, एडॉप्टर बैकवर्ड कम्पैटिबिलिटी के साथ पूरी तरह से MCX631432AN-ADAB कम्पैटिबल बना हुआ है - एक लचीलापन जिसने चरणबद्ध रोलआउट योजना को सरल बनाया।

डिप्लॉयमेंट प्रक्रिया उल्लेखनीय रूप से सुव्यवस्थित थी। NVIDIA नेटवर्किंग ड्राइवर स्टैक के साथ, एडॉप्टर CentOS 8 वातावरण में तुरंत पहचाने गए। टीम ने एडॉप्टर के व्यवहार को उनके विशिष्ट वर्कलोड पैटर्न के अनुरूप बनाने के लिए बफर आवंटन और इंटरप्ट कोलेसिंग सेटिंग्स को फाइन-ट्यून करने के लिए आधिकारिक MCX631432AN-ADAB स्पेसिफिकेशन्स का उपयोग किया।

परिणाम और मापने योग्य लाभ

प्रदर्शन लाभ तत्काल और मात्रात्मक थे। नीचे दी गई तालिका NVIDIA Mellanox MCX631432AN-ADAB को डिप्लॉय करने से पहले और बाद के प्रमुख मेट्रिक्स की तुलना करती है:

संख्याओं से परे, टीम ने आई/ओ प्रतिक्रिया समय में बेहतर स्थिरता देखी, जिससे "नॉइज़ी नेबर" प्रभाव समाप्त हो गया जिसने पहले स्टोरेज बैकएंड साझा करने वाले टेनेंट एप्लिकेशन को प्रभावित किया था। MCX631432AN-ADAB ईथरनेट एडॉप्टर कार्ड सॉल्यूशन द्वारा प्रदान किए गए हार्डवेयर ऑफलोड ने सीपीयू ओवरहेड को इतना महत्वपूर्ण रूप से कम कर दिया कि नोड्स सीपीयू संतृप्ति तक पहुंचने से पहले लगभग 60% अधिक आईओपीएस को संभाल सकते थे, प्रभावी रूप से एक नियोजित हार्डवेयर रिफ्रेश चक्र में देरी हुई।

नेटवर्क ऑपरेशंस टीम के लिए, एडॉप्टर के बिल्ट-इन टेलीमेट्री और MCX631432AN-ADAB स्पेसिफिकेशन्स के माध्यम से रियल-टाइम प्रदर्शन काउंटर्स तक पहुंचने की क्षमता ने समस्या निवारण और क्षमता योजना को काफी आसान बना दिया। टीम उत्पादन वर्कलोड को प्रभावित करने से पहले माइक्रो-बर्स्ट और क्यू डेप्थ मुद्दों की पहचान कर सकती थी।

सारांश और आउटलुक: भविष्य के स्केल के लिए एक नींव

इस डिप्लॉयमेंट ने मान्य किया कि NVIDIA Mellanox MCX631432AN-ADAB केवल एक वृद्धिशील अपग्रेड नहीं है, बल्कि लेटेंसी-संवेदनशील वितरित प्रणालियों के लिए एक परिवर्तनकारी घटक है। RoCE की पूरी क्षमता को अनलॉक करके, एडॉप्टर ने लगभग 6x तक समग्र सर्वर थ्रूपुट को बढ़ाते हुए, औसत और टेल लेटेंसी दोनों में पर्याप्त कमी की। मुक्त सीपीयू चक्रों को अब एप्लिकेशन-स्तरीय प्रसंस्करण के लिए पुन: आवंटित किया जा रहा है, जिससे क्लस्टर की समग्र दक्षता में और सुधार हो रहा है।

आगे देखते हुए, टीम एडॉप्टर के लिए अतिरिक्त उपयोग के मामलों की खोज कर रही है, जिसमें उच्च-प्रदर्शन ब्लॉक स्टोरेज के लिए NVMe ओवर फैब्रिक्स (NVMe-oF) और संभावित रूप से AI प्रशिक्षण वर्कलोड के लिए GPUDirect शामिल हैं। ConnectX-6 Lx आर्किटेक्चर का लचीलापन यह सुनिश्चित करता है कि वही MCX631432AN-ADAB हार्डवेयर प्रतिस्थापन के बिना इन विकसित मांगों का समर्थन कर सकता है। उन संगठनों के लिए जो इसी तरह के अपग्रेड पथ का मूल्यांकन कर रहे हैं, MCX631432AN-ADAB मूल्य, परिचालन बचत और प्रदर्शन लाभ के मुकाबले, एक सम्मोहक व्यावसायिक मामला प्रस्तुत करता है।

टीम के अनुभव एक व्यापक प्रवृत्ति को रेखांकित करते हैं: जैसे-जैसे डेटा सेंटर तेजी से 25GbE और उच्च फैब्रिक को अपना रहे हैं, सर्वर एडॉप्टर का चुनाव एक महत्वपूर्ण वास्तुशिल्प निर्णय बन जाता है। MCX631432AN-ADAB ईथरनेट एडॉप्टर कार्ड उन लोगों के लिए एक सिद्ध, उत्पादन-तैयार समाधान प्रदान करता है जो मौजूदा इंफ्रास्ट्रक्चर और अगली पीढ़ी के प्रदर्शन मांगों के बीच की खाई को पाटना चाहते हैं।