NVIDIA Mellanox MCX631432AN-ADAB एक्शन मेंः आरडीएमए/आरओसीई कम विलंबता परिवहन और सर्वर थ्रूपुट अनुकूलन

NVIDIA Mellanox MCX631432AN-ADAB एक्शन मेंः आरडीएमए/आरओसीई कम विलंबता परिवहन और सर्वर थ्रूपुट अनुकूलन

पृष्ठभूमि और चुनौतियां: एआई प्रशिक्षण क्लस्टर में नेटवर्क की बाधा

एक प्रमुख फिनटेक कंपनी ने हाल ही में उच्च आवृत्ति व्यापार रणनीति प्रशिक्षण के लिए डिज़ाइन किए गए 64-नोड GPU- आधारित AI क्लस्टर को तैनात किया है, जिसमें प्रत्येक सर्वर उच्च प्रदर्शन वाले NVMe स्टोरेज से लैस है।,शुरू होने के बाद, प्रशिक्षण की वास्तविक दर अपेक्षाओं से काफी कम हो गई।तैनाती के बाद के विश्लेषण से पता चला है कि 10GbE TCP/IP आधारित अंतर-नोड संचार कपड़े प्राथमिक बाधा बन गया हैऑल-रिड्यूस सामूहिक संचार संचालन में 4 से 5 मिलीसेकंड तक का विलंब होता है।जबकि नेटवर्क प्रोटोकॉल प्रसंस्करण के लिए सीपीयू ओवरहेड 40% से अधिक हो गयाटीम को तत्काल एक नेटवर्क समाधान की आवश्यकता थी जो संचार विलंबता को नाटकीय रूप से कम कर सके और सीपीयू कंप्यूटिंग क्षमता को पुनः प्राप्त कर सके।

समाधान और तैनाती: MCX631432AN-ADAB के साथ RoCE लॉसलेस नेटवर्क का निर्माण

एक व्यापक तकनीकी मूल्यांकन के बाद, टीम नेNVIDIA Mellanox MCX631432AN-ADABअपने नेटवर्क उन्नयन के लिए नींव के रूप में। प्रत्येक सर्वर एकMCX631432AN-ADAB कनेक्टएक्स-6 Lx दोहरी बंदरगाह 25GbE SFP28एडेप्टर, दोनों SFP28 पोर्टों के साथ एक उच्च उपलब्ध वास्तुकला स्थापित करने के लिए अतिरेक NVIDIA स्पेक्ट्रम -3 स्विच से जुड़ा हुआ है।

यह अभियान तीन चरणों में चलाया गया था:

• चरण 1 ✓ पायलट (8 नोड्स):टीम नेMCX631432AN-ADAB ईथरनेट एडाप्टर कार्डGPU सर्वर के एक उपसमूह पर, RoCEv2 को Priority Flow Control (PFC) और Explicit Congestion Notification (ECN) के साथ कॉन्फ़िगर करना ताकि एक lossless Ethernet fabric बनाया जा सके।एनसीसीएल (एनवीडिया सामूहिक संचार पुस्तकालय) को आरडीएमए समर्थन के साथ पुनः संकलित किया गया था.
• चरण 2 ट्यूनिंग और सत्यापनःटेलीमेट्री डेटा का उपयोग करकेMCX631432AN-ADAB डेटाशीट, टीम ने डीसीबी मापदंडों और बफर सीमाओं को बारीकी से समायोजित किया ताकि पीएफसी विराम तूफानों को समाप्त किया जा सके जबकि लगभग शून्य पैकेट नुकसान बनाए रखा जा सके।MCX631432AN-ADAB विनिर्देशविशिष्ट कार्यभार प्रोफ़ाइल के लिए रुकावट मॉडरेशन और कतार गहराई के अनुकूलन का मार्गदर्शन किया।
• चरण 3 पूर्ण उत्पादन रोलआउट (64 नोड्स):सफल सत्यापन के बाद, शेष नोड्स को नए एडाप्टर में माइग्रेट किया गया।MCX631432AN-ADAB संगतड्राइवरों को मौजूदा उबंटू आधारित वातावरण और Mellanox OFED स्टैक के साथ एकीकृत किया गया है।

टीम ने कहा किMCX631432AN-ADAB ईथरनेट एडाप्टर कार्ड समाधानएक सीधा माइग्रेशन पथ प्रदान किया, क्योंकि एडेप्टर अपने मौजूदा SFP28 केबलिंग और स्विच बुनियादी ढांचे के साथ पूरी तरह संगत थे, जिससे महंगे सहायक उन्नयन की आवश्यकता समाप्त हो गई।

परिणाम और लाभः विलंबता और थ्रूपुट में मापने योग्य परिवर्तन

इस योजना के माध्यम से प्राप्त प्रदर्शन लाभNVIDIA Mellanox MCX631432AN-ADABनिम्नलिखित तालिका में उन्नयन से पहले और बाद में प्रमुख मीट्रिक का सारांश दिया गया हैः

इन मात्रात्मक लाभों के अलावा, टीम ने परिचालन में सुधार देखा जिसने सीधे डेवलपर उत्पादकता को प्रभावित किया।मॉडल ट्रेनिंग रन जो पहले केवल 15 घंटों में पूरे होने में 36 घंटे लगते थेहार्डवेयर आधारित NVMe-oF ऑफलोड ने स्टोरेज एक्सेस लेटेंसी को भी 35% तक कम कर दिया, जिससे डेटा-गहन चेकपॉइंट ऑपरेशन में और तेजी आई।व्यवसाय के मामले का मूल्यांकन करने वाले संगठनों के लिए,MCX631432AN-ADAB कीमतयह 2.4 गुना थ्रूपुट लाभ और अतिरिक्त जीपीयू सर्वर अधिग्रहण को स्थगित करने की क्षमता के मुकाबले अत्यधिक प्रतिस्पर्धी साबित हुआ। टीम ने यह भी नोट किया किबिक्री के लिए MCX631432AN-ADABNVIDIA स्पेक्ट्रम स्विच के साथ बंडलों ने भविष्य के स्केलिंग के लिए सबसे अधिक लागत प्रभावी मार्ग प्रदान किया।

सारांश और परिप्रेक्ष्य: भविष्य के कार्यभार नवाचार के लिए एक आधार

इस उत्पादन की तैनाती से पता चलता है किNVIDIA Mellanox MCX631432AN-ADABयह एक परिवर्तनकारी बुनियादी ढांचा तत्व है जो आधुनिक GPU- त्वरित कंप्यूटिंग की पूरी क्षमता को खोलता है।50 जीबी/सेकंड की कुल बैंडविड्थ का संयोजन, उप-0.4ms सामूहिक संचार विलंबता, और नाटकीय सीपीयू offload क्षमताओं स्थिति इस एडाप्टर के लिए एक आदर्श विकल्प के रूप में संगठनों को चलाने के लिए वितरित एआई, एचपीसी,और वास्तविक समय विश्लेषिकी कार्यभार.

आगे देखते हुए, फिनटेक टीम डेटा-पथ प्रोग्रामेबिलिटी को और तेज करने और भविष्य के क्लस्टर विस्तार के लिए शून्य-स्पर्श प्रावधान को लागू करने के लिए एनवीडिया डॉका के साथ एकीकरण की खोज कर रही है।वे एडाप्टर की टेलीमेट्रिक क्षमताओं का भी मूल्यांकन कर रहे हैं।MCX631432AN-ADAB डेटाशीट✓ पूर्वानुमानित भीड़भाड़ प्रबंधन मॉडल बनाने के लिए।MCX631432AN-ADAB ईथरनेट एडाप्टर कार्ड समाधानअपने मूल्य को साबित करना जारी रखता है, कंपनी भविष्य के सभी बुनियादी ढांचा निवेशों के लिए इस मंच पर मानकीकरण करने की योजना बना रही है,आश्वस्त है कि यह AI-संचालित वित्तीय अनुप्रयोगों की अगली पीढ़ी के लिए एक मजबूत और स्केलेबल आधार प्रदान करता है.