NVIDIA Mellanox MCX653105A-HDAT सर्वर एडाप्टर कार्रवाई में।

NVIDIA Mellanox MCX653105A-HDAT सर्वर एडॉप्टर एक्शन में | RDMA/RoCE लो-लेटेंसी ट्रांसपोर्ट और सर्वर थ्रूपुट लाभ

पृष्ठभूमि और चुनौती: AI प्रशिक्षण की बाधा

एल्गोरिथम ट्रेडिंग और रियल-टाइम जोखिम विश्लेषण में विशेषज्ञता वाली एक प्रमुख वित्तीय प्रौद्योगिकी फर्म ने एक महत्वपूर्ण बुनियादी ढांचा चुनौती का सामना किया। उनकी मशीन लर्निंग टीम ने 32 GPU-त्वरित सर्वरों का एक वितरित प्रशिक्षण क्लस्टर तैनात किया था, जिनमें से प्रत्येक में उच्च-प्रदर्शन वाले NVIDIA GPU लगे थे। हालांकि, जैसे-जैसे मॉडल की जटिलता लाखों से अरबों मापदंडों तक बढ़ी, नेटवर्क लेटेंसी प्रमुख बाधा बन गई। पारंपरिक TCP/IP के साथ काम करने वाले मौजूदा 25GbE एडॉप्टर ने अप्रत्याशित टेल लेटेंसी पेश की, जिसने क्लस्टर में ग्रेडिएंट सिंक्रोनाइज़ेशन को काफी धीमा कर दिया।

फर्म के बुनियादी ढांचा आर्किटेक्ट्स ने दो प्राथमिक मुद्दों की पहचान की। पहला, TCP/IP स्टैक ने प्रत्येक सर्वर पर पर्याप्त CPU संसाधनों की खपत की - उपलब्ध कोर का 30% तक - जिसने वास्तविक मॉडल प्रशिक्षण के लिए उपलब्ध क्षमता को कम कर दिया। दूसरा, RDMA के लिए हार्डवेयर ऑफलोड की कमी का मतलब था कि GPU मेमोरी और नेटवर्क के बीच डेटा ट्रांसफर के लिए कई मेमोरी कॉपी की आवश्यकता होती थी, जिससे प्रति प्रशिक्षण चरण हजारों पैरामीटर एक्सचेंजों में संचित माइक्रोसेकंड-स्तरीय देरी होती थी। टीम को एक ऐसे समाधान की आवश्यकता थी जो सर्वर थ्रूपुट का त्याग किए बिना या पूर्ण नेटवर्क ओवरहाल की आवश्यकता के बिना नियतात्मक कम-लेटेंसी संचार प्रदान कर सके।

समाधान और परिनियोजन: MCX653105A-HDAT के साथ RoCE लागू करना

कई विकल्पों का मूल्यांकन करने के बाद, फर्म ने अपने नेटवर्क अपग्रेड के मुख्य घटक के रूप में NVIDIA Mellanox MCX653105A-HDAT का चयन किया। इस PCIe नेटवर्क कार्ड को 32 प्रशिक्षण सर्वरों में से प्रत्येक में तैनात किया गया था, जिसने पिछली पीढ़ी के एडॉप्टर को बदल दिया। MCX653105A-HDAT ConnectX एडॉप्टर PCIe नेटवर्क कार्ड ने उच्च बैंडविड्थ और हार्डवेयर-त्वरित RoCEv2 समर्थन के आवश्यक संयोजन प्रदान किए, जिससे मौजूदा ईथरनेट फैब्रिक पर वास्तविक RDMA संचार सक्षम हुआ।

परिनियोजन एक संरचित दृष्टिकोण का पालन करता है:

• भौतिक स्थापना: प्रत्येक सर्वर को MCX653105A-HDAT ईथरनेट एडॉप्टर कार्ड प्राप्त हुआ, जो रिडंडेंट टॉप-ऑफ-रैक स्विच से डुअल-पोर्ट 25GbE SFP28 लिंक के माध्यम से जुड़ा हुआ था।
• RoCEv2 कॉन्फ़िगरेशन: नेटवर्क स्विच को लॉसलेस ईथरनेट ट्रांसपोर्ट सुनिश्चित करने के लिए प्रायोरिटी फ्लो कंट्रोल (PFC) और एक्सप्लिसिट कंजेशन नोटिफिकेशन (ECN) के साथ कॉन्फ़िगर किया गया था - जो इष्टतम RDMA प्रदर्शन के लिए एक पूर्वापेक्षा है।
• GPUDirect एकीकरण: टीम ने एडॉप्टर की GPUDirect क्षमताओं का लाभ उठाया, जिससे होस्ट CPU की भागीदारी के बिना GPU मेमोरी और नेटवर्क इंटरफ़ेस के बीच प्रत्यक्ष डेटा मूवमेंट सक्षम हुआ।
• सॉफ्टवेयर स्टैक: NVIDIA नेटवर्किंग ड्राइवर स्टैक स्थापित किया गया था, और प्रशिक्षण फ्रेमवर्क (डिस्ट्रिब्यूटेड डेटा पैरेलल के साथ PyTorch) को RDMA ट्रांसपोर्ट लेयर का उपयोग करने के लिए कॉन्फ़िगर किया गया था।

MCX653105A-HDAT डेटाशीट के अनुसार, एडॉप्टर PCIe Gen 4.0 x16 का समर्थन करता है, जो 256 GB/s तक होस्ट बैंडविड्थ प्रदान करता है - डुअल 25GbE पोर्ट को पूरी तरह से संतृप्त करने के लिए पर्याप्त है, जबकि 50GbE या 100GbE में भविष्य के अपग्रेड के लिए पर्याप्त हेडरूम छोड़ता है। टीम ने नोट किया कि एडॉप्टर का लचीलापन इसे उनके मौजूदा सर्वर हार्डवेयर के साथ पूरी तरह से MCX653105A-HDAT संगत बनाता है, जो PCIe Gen 3.0 और 4.0 दोनों का समर्थन करता है।

MCX653105A-HDAT विनिर्देशों ने टीम के ट्यूनिंग निर्णयों का मार्गदर्शन किया। उन्होंने लेटेंसी बनाम CPU उपयोग को संतुलित करने के लिए इंटरप्ट कोलेसिंग मापदंडों को समायोजित किया, और यह सुनिश्चित करने के लिए प्रति-क्यू प्राथमिकता सेटिंग्स को कॉन्फ़िगर किया कि ग्रेडिएंट सिंक्रोनाइज़ेशन ट्रैफ़िक को उच्चतम QoS उपचार मिले।

परिणाम और मापने योग्य लाभ

प्रदर्शन में सुधार महत्वपूर्ण थे और कई आयामों में सीधे मापने योग्य थे:

मात्रात्मक सुधारों से परे, NVIDIA Mellanox MCX653105A-HDAT ने परिचालन लाभ प्रदान किए जिनकी टीम ने भविष्यवाणी नहीं की थी। नियतात्मक लेटेंसी ने सुनिश्चित किया कि प्रशिक्षण अभिसरण लगातार अनुमानित समय-सीमा के भीतर प्राप्त किया गया था - फर्म के समय-संवेदनशील मॉडल विकास चक्रों के लिए एक महत्वपूर्ण आवश्यकता। मुक्त CPU कोर को वास्तविक गणना की ओर पुनर्निर्देशित किया गया, जिससे नए हार्डवेयर को जोड़े बिना क्लस्टर की प्रभावी कंप्यूट क्षमता में वृद्धि हुई।

टीम ने फैब्रिक कंजेशन पैटर्न में दृश्यता प्राप्त करने के लिए एडॉप्टर की अंतर्निहित टेलीमेट्री का भी लाभ उठाया। इस डेटा ने उन्हें नेटवर्क बफर कॉन्फ़िगरेशन को अनुकूलित करने और संभावित प्रदर्शन गिरावट की सक्रिय रूप से पहचान करने में मदद की। MCX653105A-HDAT ईथरनेट एडॉप्टर कार्ड समाधान एक प्रदर्शन त्वरक और एक परिचालन खुफिया उपकरण दोनों साबित हुआ।

सारांश और आउटलुक

इस परिनियोजन ने मान्य किया कि NVIDIA Mellanox MCX653105A-HDAT एक नेटवर्किंग अपग्रेड से कहीं अधिक है - यह वितरित कंप्यूटिंग प्रदर्शन में एक रणनीतिक निवेश है। GPUDirect के साथ हार्डवेयर-ऑफलोडेड RoCEv2 को सक्षम करके, एडॉप्टर ने प्रशिक्षण समय में 70% से अधिक की कमी की, नए मॉडलों के लिए बाजार में आने के समय को तेज किया, और बुनियादी ढांचे की दक्षता में काफी सुधार किया।

फर्म अब इस आर्किटेक्चर को अतिरिक्त क्लस्टर तक विस्तारित करने की योजना बना रही है, जिसमें उनका रियल-टाइम जोखिम विश्लेषण प्लेटफ़ॉर्म भी शामिल है, जहां इन-मेमोरी डेटाबेस और कंप्यूट नोड्स के बीच कम-लेटेंसी डेटा मूवमेंट आवश्यक है। MCX653105A-HDAT मूल्य, जब परिचालन बचत और प्रदर्शन लाभों के मुकाबले मूल्यांकन किया जाता है, तो एक सम्मोहक निवेश पर वापसी का प्रतिनिधित्व करता है - विशेष रूप से समर्पित InfiniBand बुनियादी ढांचे को तैनात करने या अतिरिक्त कंप्यूट नोड्स प्राप्त करने की लागत की तुलना में।

उन संगठनों के लिए जो सक्रिय रूप से MCX653105A-HDAT बिक्री विकल्पों का मूल्यांकन कर रहे हैं, यह केस स्टडी प्रदर्शित करती है कि एडॉप्टर वास्तविक दुनिया के उत्पादन वातावरण में कम-लेटेंसी, उच्च-थ्रूपुट नेटवर्किंग के अपने वादे को पूरा करता है। हार्डवेयर त्वरण, व्यापक टेलीमेट्री, और मौजूदा ईथरनेट बुनियादी ढांचे के साथ निर्बाध संगतता का संयोजन NVIDIA Mellanox MCX653105A-HDAT को आधुनिक डेटा सेंटर आर्किटेक्चर के लिए एक मूलभूत घटक बनाता है।