एक्शन में मेलानॉक्स (एनवीडिया मेलानॉक्स) MCX631102AN-ADAT सर्वर एडॉप्टर: RDMA/RoCE लो-लेटेंसी ट्रांसपोर्ट और सर्वर

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT सर्वर एडाप्टर एक्शन मेंः RDMA/RoCE कम विलंबता परिवहन और सर्वर थ्रूपुट अनुकूलन

पृष्ठभूमि और चुनौतीः वितरित भंडारण और एआई प्रशिक्षण में नेटवर्क की बाधाएं

एक मध्यम आकार के क्लाउड सेवा प्रदाता में वास्तविक दुनिया के उत्पादन वातावरण में, मुख्य व्यवसाय पोर्टफोलियो में वितरित ब्लॉक स्टोरेज (सीईएफ) और जीपीयू-आधारित एआई मॉडल प्रशिक्षण प्लेटफॉर्म शामिल हैं।चूंकि ग्राहक डेटा की मात्रा 200% से अधिक की वार्षिक दर से बढ़ी, विरासत 10GbE TCP/IP नेटवर्क आर्किटेक्चर ने धीरे-धीरे दो महत्वपूर्ण दर्द बिंदुओं को उजागर किया। पहला, भंडारण नोड्स के बीच डेटा सिंक्रनाइज़ेशन विलंबता 2.5ms तक पहुंच गई,एनवीएमई स्टोरेज पूल को अपनी पूरी प्रदर्शन क्षमता प्रदान करने से रोकनादूसरा, GPU प्रशिक्षण समूहों में ग्रेडिएंट सिंक्रनाइज़ेशन के दौरान, नेटवर्क थ्रूपुट केवल सैद्धांतिक बैंडविड्थ का 60% तक पहुंच सकता है,नेटवर्क प्रोटोकॉल स्टैक द्वारा खपत सीपीयू संसाधनों के एक महत्वपूर्ण हिस्से के साथ, प्रशिक्षण पुनरावृत्ति की दक्षता को गंभीर रूप से बाधित करता है।आर्किटेक्चर टीम को तत्काल एक नेटवर्क इंटरफेस समाधान की आवश्यकता थी जो ट्रांसमिशन विलंबता को कम करने और प्रभावी सर्वर थ्रूपुट में काफी सुधार करने में सक्षम हो।.

समाधान और तैनातीः MCX631102AN-ADAT ConnectX-6 Lx के साथ RoCE ओवरहाल

कई विकल्पों का मूल्यांकन करने के बाद, टीम नेमेलनॉक्स (NVIDIA Mellanox) MCX631102AN-ADATनेटवर्क आधुनिकीकरण पहल के लिए आधारशिला के रूप में।MCX631102AN-ADAT ईथरनेट एडाप्टर कार्ड120 स्टोरेज नोड्स और 64 जीपीयू कंप्यूटिंग नोड्स पर तैनात किया गया था, जो मौजूदा 10GbE एडेप्टरों की जगह ले रहा था। प्रत्येक सर्वर डबल-पोर्ट 25GbE SFP28 कॉन्फ़िगरेशन से लैस था,जिसमें एक पोर्ट उत्पादन RoCE कपड़े से जुड़ता है और दूसरा पोर्ट प्रबंधन और बैकअप ट्रैफ़िक के लिए आरक्षित है. इस तैनाती नेMCX631102AN-ADAT कनेक्टएक्स-6 Lx दोहरी बंदरगाह 25GbE SFP28एडाप्टर के मूल RoCE v2 समर्थन, अतिरिक्त गेटवे उपकरणों या प्रोटोकॉल अनुवाद परतों की आवश्यकता को समाप्त करता है।

इस परियोजना को चरणबद्ध तरीके से लागू किया गया।MCX631102AN-ADAT ईथरनेट एडाप्टर कार्ड समाधानस्टोरेज नोड्स पर, RoCE परिवहन के साथ NVMe over Fabrics (NVMe-oF) को सक्षम करना। इसने तुरंत स्टोरेज I/O पथों पर TCP/IP स्टैक ओवरहेड को समाप्त कर दिया। दूसरे चरण में, GPU कंप्यूटिंग नोड्स को अपग्रेड किया गया,एडेप्टर की GPUDirect Storage क्षमता के साथ GPU मेमोरी को RoCE नेटवर्क पर दूरस्थ NVMe स्टोरेज के साथ सीधे संवाद करने की अनुमति देता हैपूरे तैनाती दो सप्ताह के भीतर पूरा किया गया था, मौजूदा 25GbE स्विच बुनियादी ढांचे को बनाए रखने के साथ,MCX631102AN-ADAT संगतमानक डाटा सेंटर नेटवर्क उपकरण के साथ प्रकृति।

मापे गए परिणाम और प्रदर्शन लाभ

प्रदर्शन में सुधार के बादNVIDIA Mellanox MCX631102AN-ADATनिम्नलिखित तालिका में उत्पादन वातावरण में देखे गए प्रमुख पहले और बाद के मीट्रिक का सारांश दिया गया हैः

मात्रात्मक मापदंडों के अलावा, टीम ने परिचालन स्थिरता में गुणात्मक सुधार देखा।MCX631102AN-ADATइसने विलंबता-संवेदनशील प्रशिक्षण नौकरियों के लिए पूर्वानुमानित प्रदर्शन प्रदान करते हुए, ट्रैफिक घटनाओं के दौरान पहले देखी गई आवधिक थ्रूपुट ड्रॉप को समाप्त कर दिया।MCX631102AN-ADAT विनिर्देश, एडैप्टर के उन्नत स्टीयरिंग इंजन और आरडीएमए क्षमताओं ने यह सुनिश्चित किया कि 128 समवर्ती एनवीएमई-ओएफ कनेक्शन प्रति पोर्ट के साथ भी, लाइन-रेट प्रदर्शन लगातार बनाए रखा गया था।

कुल लागत के दृष्टिकोण से, वास्तुकला टीम ने गणना की किMCX631102AN-ADAT कीमतप्रति गीगाबिट प्रभावी थ्रूपुट 40GbE या 100GbE विकल्पों के उन्नयन की तुलना में काफी कम था।मौजूदा SFP28 केबलिंग और स्विचिंग बुनियादी ढांचे का पुनः उपयोग करने की क्षमता ने पूंजीगत व्यय को और कम कर दिया, बनाने के लिएबिक्री के लिए MCX631102AN-ADATमूल्यांकन प्रदाता के नेतृत्व के लिए एक आकर्षक व्यापार मामला है।

सारांश और दृष्टिकोण: भविष्य के लिए तैयार नेटवर्क फाउंडेशन का निर्माण

उत्पादन की तैनातीमेलनॉक्स (NVIDIA Mellanox) MCX631102AN-ADATअपने वितरित बुनियादी ढांचे की पूरी क्षमता को उजागर करने के इच्छुक संगठनों के लिए आगे का एक स्पष्ट मार्ग दर्शाता है।आरडीएमए/आरओसीई कम विलंबता परिवहन को हार्डवेयर-त्वरित उतार-चढ़ाव के साथ जोड़कर, एडाप्टर प्रभावी रूप से नेटवर्क को प्रदर्शन की बाधा के रूप में समाप्त करता है, चाहे एआई प्रशिक्षण, सॉफ्टवेयर-परिभाषित भंडारण या उच्च आवृत्ति लेनदेन प्रसंस्करण के लिए।टीम के अनुभव से यह पुष्टि होती है किMCX631102AN-ADAT ईथरनेट एडाप्टर कार्डकेवल बेंचमार्क में सुधार ही नहीं, बल्कि उत्पादकता में हड़ताली लाभ भी प्रदान करता हैः GPU प्रशिक्षण कार्य पूरा करने के समय में औसतन 34% की कमी आई है,और भंडारण क्लस्टर प्रतिक्रिया समय एसएलए लगातार पीक लोड अवधि के दौरान भी पूरा किया गया.

भविष्य की ओर देखते हुए, प्रदाता नेMCX631102AN-ADAT कनेक्टएक्स-6 Lx दोहरी बंदरगाह 25GbE SFP28अतिरिक्त उपलब्धता क्षेत्रों में तैनाती, पहले से ही प्रारंभिक मूल्यांकन के साथ आगे के नेटवर्क प्रोग्रामेबिलिटी के लिए एनवीडिया के ब्लूफील्ड डीपीयू के साथ एडेप्टर के एकीकरण के लिए चल रहा है।इसी तरह के उन्नयन का मूल्यांकन करने वाली इंजीनियरिंग टीमों के लिए, विस्तृतMCX631102AN-ADAT डेटाशीटसंगतता मैट्रिक्स, प्रदर्शन ट्यूनिंग मापदंडों और संदर्भ आर्किटेक्चर पर व्यापक मार्गदर्शन प्रदान करता है।MCX631102AN-ADAT जैसे हार्डवेयर से मुक्त 25GbE एडेप्टर तेजी से प्रदर्शन-जागरूक डेटा सेंटर डिजाइन के लिए नई आधार रेखा बन रहे हैं.