NVIDIA Mellanox MQM8790-HS2F InfiniBand स्विच अभ्यास में

NVIDIA Mellanox MQM8790-HS2F InfiniBand स्विच प्रैक्टिस में∙ आरडीएमए/एचपीसी/एआई क्लस्टर के लिए कम विलंबता इंटरकनेक्ट अनुकूलन

पृष्ठभूमि और चुनौतीः बड़े पैमाने पर एआई और एचपीसी क्लस्टर में विलंबता की बाधा

जैसे-जैसे एआई प्रशिक्षण क्लस्टर हजारों जीपीयू और एचपीसी प्रणालियों के पैमाने पर एक्सास्केल प्रदर्शन की ओर बढ़ते हैं, कंप्यूटिंग नोड्स को जोड़ने वाला नेटवर्क फैब्रिक एक महत्वपूर्ण प्रदर्शन निर्धारक बन गया है।इन वातावरणों में, विलंबता केवल एक मीट्रिक नहीं है ∙ यह सीधे एप्लिकेशन प्रदर्शन, समय-से-समाधान और समग्र क्लस्टर दक्षता को प्रभावित करता है।उन कार्यभारों के लिए जो MPI (Message Passing Interface) सामूहिक संचालन और सभी-से-सभी संचार पैटर्न पर बहुत निर्भर हैं, जैसे कि बड़े भाषा मॉडल प्रशिक्षण और कम्प्यूटेशनल फ्लूइड डायनामिक्स, माइक्रोसेकंड स्तर के विलंबता में वृद्धि अतिरिक्त रनटाइम के घंटों में अनुवाद कर सकती है। पारंपरिक ईथरनेट नेटवर्क,आरडीएमए ओवर कन्वर्ज्ड ईथरनेट (आरओसीई) के साथ भी, अक्सर इन मांग वाले अनुप्रयोगों के लिए आवश्यक निर्धारक कम विलंबता प्रदान करने के लिए संघर्ष करते हैं।

हाल ही में एक राष्ट्रीय अनुसंधान प्रयोगशाला ने जलवायु मॉडलिंग और एआई अनुसंधान के लिए 2,000-नोड एचपीसी क्लस्टर की तैनाती करते हुए इस चुनौती का सामना किया।एमपीआई-आधारित एचपीसी वर्कलोड और वितरित एआई प्रशिक्षण दोनों का समर्थन करने के लिए क्लस्टर को 100 नैनो सेकंड से कम विलंबता के साथ 200Gb / s कनेक्टिविटी की आवश्यकता थीइंजीनियरिंग टीम को एक स्विच की आवश्यकता थी जो पैमाने पर लगातार, कम विलंबता प्रदर्शन प्रदान कर सके,विभिन्न भार स्थितियों में कपड़े की दक्षता बनाए रखने के लिए अनुकूलन मार्ग और भीड़ नियंत्रण जैसी उन्नत सुविधाओं का समर्थन करते हुए.NVIDIA Mellanox MQM8790-HS2Fआदर्श समाधान के रूप में उभरा, जो 200Gb/s HDR InfiniBand के 40 पोर्ट प्रदान करता है, जिसमें 100 नैनो सेकंड से कम विलंबता और उन्नत इन-नेटवर्क कंप्यूटिंग क्षमताएं हैं।

समाधान और तैनाती: कम विलंबता वाले इन्फिनीबैंड फैब्रिक का निर्माण

विलंबता और स्केलेबिलिटी चुनौतियों का समाधान करने के लिए, प्रयोगशाला नेNVIDIA Mellanox MQM8790-HS2Fएक रीढ़-पत्ती कपड़े वास्तुकला में कोर स्विच के रूप में।MQM8790-HS2F इन्फिनिबैंड स्विच40 QSFP56 पोर्ट प्रदान करता है, प्रत्येक 200Gb/s HDR पर काम करता है, जो कि 100 नैनो सेकंड से कम पोर्ट-टू-पोर्ट विलंबता के साथ 8Tb/s की कुल स्विचिंग क्षमता प्रदान करता है।16 पत्तियों की टोपोलॉजी, प्रत्येक कनेक्टएक्स- 6 एचडीआर एडाप्टर से लैस 2,000 कंप्यूटिंग नोड्स को जोड़ता है।MQM8790-HS2F 200Gb/s HDR 40-पोर्ट QSFP56इस कॉन्फ़िगरेशन ने टीम को पूर्ण द्विभाज्य बैंडविड्थ के साथ एक गैर-ब्लॉकिंग कपड़े का निर्माण करने में सक्षम बनाया, यह सुनिश्चित करते हुए कि प्रत्येक नोड तार की गति पर प्रत्येक अन्य नोड के साथ संवाद कर सके।

इस परियोजना को तीन प्रमुख चरणों में लागू किया गया:

• कपड़े का डिजाइनःका उपयोग करनाMQM8790-HS2F InfiniBand स्विच समाधान, टीम ने एक रीढ़-पत्ती टोपोलॉजी डिजाइन की जहां 16 पत्ती स्विच में से प्रत्येक 50 कंप्यूटिंग नोड्स से जुड़ा हुआ है (200Gb/s प्रत्यक्ष कनेक्शन और 100Gb/s HDR100 ब्रेकआउट कनेक्शन के संयोजन का उपयोग करके),जबकि 4 रीढ़ स्विच inter-leaf कनेक्टिविटी प्रदान की.MQM8790-HS2Fस्विचों को अनुकूलन रूटिंग सक्षम के साथ कॉन्फ़िगर किया गया था, जिससे फैब्रिक को उपलब्ध मार्गों पर गतिशील रूप से यातायात वितरित करने और भीड़भाड़ के बिंदुओं से बचने की अनुमति मिली।
• उन्नत सुविधा विन्यासःटीम ने कम्प्यूटिंग नोड्स से एमपीआई सामूहिक संचालन को ऑफलोड करने के लिए एमक्यूएम 8790-एचएस 2 एफ स्विच पर SHARP (स्केलेबल हाइरार्चिकल एग्रीगेशन एंड रिडक्शन प्रोटोकॉल) को सक्षम किया।यह इन-नेटवर्क कंप्यूटिंग क्षमता स्विचों को सीधे सभी-कम करने और प्रसारण संचालन करने की अनुमति दी, नेटवर्क ट्रैवर्सल्स की संख्या को कम करना और सामूहिक संचार के लिए समग्र विलंबता को कम करना।
• प्रदर्शन ट्यूनिंगःसबनेट प्रबंधन को एनवीडिया यूनिफाइड फैब्रिक मैनेजर (यूएफएम) प्लेटफॉर्म का उपयोग करके कॉन्फ़िगर किया गया था, जिसने फैब्रिक स्वास्थ्य, विलंबता मीट्रिक और भीड़भाड़ पैटर्न में वास्तविक समय दृश्यता प्रदान की।टीम ने मिश्रित एचपीसी और एआई कार्यभार प्रोफ़ाइल के लिए प्रदर्शन को अनुकूलित करने के लिए भीड़ नियंत्रण मापदंडों को समायोजित किया.

क्योंकिNVIDIA Mellanox MQM8790-HS2FहैMQM8790-HS2F संगतकनेक्टएक्स-६ और ब्लूफील्ड-२ एडाप्टर सहित व्यापक एनवीआईडीआईए इन्फिनिबैंड पारिस्थितिकी तंत्र के साथ, तैनाती निर्बाध थी, किसी कस्टम ड्राइवर या फर्मवेयर पैच की आवश्यकता नहीं थी।स्विच के यूएफएम प्लेटफॉर्म के साथ एकीकरण ने टीम को पैमाने पर कपड़े के प्रदर्शन की निगरानी करने में सक्षम बनाया, संभावित बाधाओं की पहचान करना और उन्हें हल करना इससे पहले कि वे एप्लिकेशन रनटाइम को प्रभावित करें।

परिणाम और लाभः विलंबता और अनुप्रयोग प्रदर्शन में मापने योग्य सुधार

2000 नोड क्लस्टर में पोस्ट-डिप्लोयमेंट बेंचमार्किंग से महत्वपूर्ण प्रदर्शन में सुधार हुआ।कपड़े भर में औसत पोर्ट-टू-पोर्ट विलंबता 85 नैनोसेकंड पर मापी गई ¢ अनुपालन में 100 नैनोसेकंड के तहत विनिर्देश दस्तावेज मेंMQM8790-HS2F डेटाशीटइस कम विलंबता ने सीधे अनुप्रयोग प्रदर्शन लाभ में अनुवाद कियाः एमपीआई ऑल-रिड्यूस ऑपरेशन लैब के पिछले 100Gb/s InfiniBand कपड़े की तुलना में 35% तक तेजी से पूरा किया गया,जबकि वितरित एआई प्रशिक्षण नौकरियों (एनसीसीएल-आधारित संचार का उपयोग करके) में अंत-से-अंत युग समय लगभग 28% कम हो गया.

दूसरे, SHARP की इन-नेटवर्क कंप्यूटिंग क्षमता ने महत्वपूर्ण प्रदर्शन लाभ प्रदान किए। MQM8790-HS2F स्विच पर सामूहिक संचालन को ऑफलोड करके,क्लस्टर ने संचार कार्यों के लिए CPU और GPU उपयोग को 20% तक कम कियायह विशेष रूप से बड़े पैमाने पर एआई प्रशिक्षण के लिए फायदेमंद था, जहां सामूहिक संचार कुल रनटाइम का 30-40% हो सकता है।

तीसरा, अनुकूली रूटिंग सुविधा विभिन्न भार स्थितियों में लगातार प्रदर्शन बनाए रखने के लिए महत्वपूर्ण साबित हुई।,अनुकूली रूटिंग गतिशील रूप से उपलब्ध मार्गों पर वितरित यातायात, आधार रेखा के 10% के भीतर औसत विलंबता बनाए रखने और भीड़भाड़ से प्रेरित प्रदर्शन में गिरावट को रोकने।टीम ने यूएफएम प्लेटफॉर्म का उपयोग करके कपड़े की स्वास्थ्य की निगरानी की, जिसने सभी 20 स्विचों में विलंबता, थ्रूपुट और लिंक उपयोग को ट्रैक करने वाले वास्तविक समय डैशबोर्ड प्रदान किए।

चौथा, घनत्वMQM8790-HS2F 200Gb/s HDR 40-पोर्ट QSFP56स्विच ने एक कॉम्पैक्ट फैब्रिक पदचिह्न को सक्षम किया। प्रयोगशाला ने पिछले 100Gb/s InfiniBand बुनियादी ढांचे की तुलना में आवश्यक स्विचों की संख्या को 50% कम कर दिया,रैक स्थान की खपत और शक्ति आवश्यकताओं को कम करनाप्रत्येक MQM8790-HS2F ने 230W से कम की विशिष्ट शक्ति का उपभोग किया, जिससे नेटवर्क बुनियादी ढांचे के लिए शीतलन लागत में 20% की कमी आई।

परिचालन के दृष्टिकोण से, स्विच की प्रबंधन क्षमताओं ने चल रहे रखरखाव को सरल बनाया।लैब की नेटवर्क टीम ने फर्मवेयर अपग्रेड और विन्यास परिवर्तनों को कपड़े संचालन को बाधित किए बिना करने के लिए CLI और वेब UI इंटरफेस का उपयोग किया, हिटलेस उन्नयन के लिए स्विच के समर्थन का लाभ उठाने.MQM8790-HS2F विनिर्देशएसएनएमपी निगरानी और सिस्लॉग एकीकरण सहित व्यापक प्रबंधन सुविधाओं को शामिल करें,टीम को अपने मौजूदा नेटवर्क ऑपरेशंस सेंटर (एनओसी) निगरानी ढांचे में कपड़े को एकीकृत करने में सक्षम बनाना.

सारांश और दृष्टिकोणः कम विलंबता वाले इन्फिनीबैंड कपड़े के लिए एक ब्लूप्रिंट

इसके साथ तैनाती का अनुभवNVIDIA Mellanox MQM8790-HS2F2,000 नोड्स के एचपीसी और एआई क्लस्टर में स्पष्ट रूप से दर्शाता है कि एक 40-पोर्ट 200Gb/s एचडीआर इनफिनिबैंड स्विच कम विलंबता, स्केलेबिलिटी,और मांग वाले अनुसंधान और उद्यम कार्यभार के लिए आवश्यक उन्नत सुविधाएँ. स्विच की 100 नैनो सेकंड से कम विलंबता, अनुकूली रूटिंग और SHARP इन-नेटवर्क कंप्यूटिंग क्षमताओं का लाभ उठाकर, संगठन ऐसे कपड़े बना सकते हैं जो MPI और AI संचार को तेज करते हैं,समाधान तक का समय कम करना, और क्लस्टर की समग्र दक्षता में सुधार।

भविष्य को देखते हुए, जैसे-जैसे एआई प्रशिक्षण समूह 10,000+ GPU और एचपीसी सिस्टम के लिए बढ़ते हैं, उच्च घनत्व, कम विलंबता वाले InfiniBand स्विच की मांग केवल बढ़ेगी।MQM8790-HS2F इस प्रक्षेपवक्र के लिए अच्छी स्थिति में है, क्योंकि इसका 40-पोर्ट घनत्व, 8Tb/s स्विचिंग क्षमता, और HDR200 और HDR100 गति के लिए समर्थन वर्तमान और अगली पीढ़ी के कंप्यूटिंग नोड्स दोनों के साथ संगतता सुनिश्चित करता है।समान एचपीसी या एआई क्लस्टर तैनाती की योजना बनाने वाले संगठनों के लिए, इस तैनाती में मान्य स्तरित रीढ़-पत्ती दृष्टिकोण एक व्यावहारिक रोडमैप प्रदान करता हैः पहुंच कनेक्टिविटी के लिए MQM8790-HS2F पत्ती स्विच तैनात करें,बड़े कपड़े के लिए उच्च पोर्ट घनत्व वाले रीढ़ के स्विच (जैसे 64 पोर्ट QM9700 श्रृंखला) का उपयोग करें, और एक एकीकृत प्रबंधन ढांचे को बनाए रखने के लिए यूएफएम का लाभ उठाते हुए सक्रिय कपड़े अनुकूलन।

विस्तृत कपड़े डिजाइन टेम्पलेट्स, प्रदर्शन ट्यूनिंग गाइड, और तैनाती चेकलिस्ट के लिए, देखेंMQM8790-HS2F डेटाशीटऔर NVIDIA Mellanox InfiniBand वास्तुकला प्रलेखन.