मेलनॉक्स (एनवीआईडीआईए मेलनॉक्स) एमक्यूएम8790-एचएस2एफ इनफिनिबैंड स्विच प्रैक्टिस में

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand स्विच का व्यवहार में उपयोग | RDMA/HPC/AI क्लस्टर के लिए लो-लेटेंसी इंटरकनेक्ट ऑप्टिमाइज़ेशन

पृष्ठभूमि और चुनौतियाँ: जब RDMA क्लस्टर नेटवर्क बॉटलनेक से टकराते हैं

एक विशिष्ट मिश्रित HPC और AI वर्कलोड वातावरण में, कंप्यूट क्लस्टर अक्सर एक साथ CFD सिमुलेशन, मॉलिक्यूलर डायनामिक्स और डिस्ट्रीब्यूटेड लार्ज-मॉडल ट्रेनिंग चलाते हैं। ये वर्कलोड इंटर-नोड संचार के लिए RDMA पर बहुत अधिक निर्भर करते हैं और बैंडविड्थ, लेटेंसी और पैकेट लॉस के प्रति अत्यंत संवेदनशील होते हैं। जब एक क्लस्टर दर्जनों नोड्स से सैकड़ों तक बढ़ता है, तो मूल इंटरकनेक्ट जल्दी से सीमित कारक बन सकता है।

सामान्य लक्षणों में AllReduce के दौरान लंबी टेल लेटेंसी, फैब्रिक में असमान लिंक उपयोग और जैसे ही कई टेनेंट नेटवर्क साझा करते हैं, जॉब कंप्लीशन टाइम का खराब होना शामिल है। नेटवर्क इंजीनियरों और आर्किटेक्ट्स के लिए, चुनौती केवल बैंडविड्थ जोड़ना नहीं है, बल्कि एक ऐसा फैब्रिक बनाना है जो कंजेशन के तहत लेटेंसी को अनुमानित रखता है।

समाधान और परिनियोजन: MQM8790-HS2F के चारों ओर फैब्रिक का निर्माण

इन मुद्दों को हल करने के लिए, क्लस्टर फैब्रिक को Mellanox (NVIDIA Mellanox) MQM8790-HS2F के चारों ओर फिर से डिज़ाइन किया गया, जो एक 200Gb/s HDR InfiniBand स्विच है जिसे उच्च-घनत्व, लो-लेटेंसी वातावरण के लिए डिज़ाइन किया गया है। MQM8790-HS2F 200Gb/s HDR 40-पोर्ट QSFP56 फॉर्म फैक्टर 1U में 40 पोर्ट की अनुमति देता है, जो दो-स्तरीय फैट-ट्री टोपोलॉजी में स्वाभाविक रूप से फिट बैठता है।

परिनियोजन एक लेयर्ड दृष्टिकोण का पालन करता है:

• स्पाइन लेयर: NVIDIA Mellanox MQM8790-HS2F स्विच को स्पाइन डिवाइस के रूप में तैनात किया गया था, जो 200Gb/s अपलिंक और लीफ समूहों के बीच नॉन-ब्लॉकिंग ईस्ट-वेस्ट ट्रैफिक प्रदान करता है।
• लीफ लेयर: लीफ स्विच ConnectX-6 या ConnectX-7 एडॉप्टर से लैस कंप्यूट नोड्स को कनेक्ट करते हैं, जो एक एंड-टू-एंड HDR पाथ बनाते हैं जो MQM8790-HS2F के साथ संगत है।
• इन-नेटवर्क कंप्यूटिंग: MQM8790-HS2F पर SHARP तकनीक AllReduce जैसे कलेक्टिव ऑपरेशंस को स्विच पर ऑफलोड करती है, जिससे GPU और CPU ओवरहेड कम होता है।
• प्रबंधन और टेलीमेट्री: फैब्रिक प्रोविजनिंग, मॉनिटरिंग और कंजेशन विजिबिलिटी के लिए MLNX-OS, UFM और NetQ का उपयोग किया गया।

योजना के दौरान, टीम ने पावर बजट, कूलिंग आवश्यकताओं और 2×100Gb/s ब्रेकआउट जैसे पोर्ट-स्प्लिट विकल्पों को मान्य करने के लिए MQM8790-HS2F डेटाशीट और MQM8790-HS2F विनिर्देशों की समीक्षा की। स्पेयरिंग और भविष्य के विस्तार को सरल बनाने के लिए केबलिंग और ऑप्टिक्स को QSFP56 में मानकीकृत किया गया था।

परिणाम और लाभ: परिनियोजन के बाद क्या बदला

MQM8790-HS2F InfiniBand स्विच समाधान में माइग्रेट करने के बाद, क्लस्टर ने संचार दक्षता और जॉब स्थिरता में मापने योग्य सुधार दिखाए। सबसे उल्लेखनीय लाभ थे:

ऑपरेशनली, टीम को फैब्रिक व्यवहार पर बेहतर नियंत्रण मिला। एडैप्टिव रूटिंग और SHARP ने हॉट स्पॉट के प्रभाव को कम किया, जबकि टेलीमेट्री ने धीमे नोड्स और गलत कॉन्फ़िगर किए गए लिंक की पहचान करना आसान बना दिया। MQM8790-HS2F मूल्य या MQM8790-HS2F बिक्री के लिए विकल्पों का मूल्यांकन करने वाले आर्किटेक्ट्स के लिए, मुख्य बात यह है कि स्विच केवल रॉ पोर्ट काउंट के बजाय उच्च क्लस्टर उपयोग के माध्यम से भुगतान करता है।

निष्कर्ष और आउटलुक

MQM8790-HS2F प्रदर्शित करता है कि कैसे एक उद्देश्य-निर्मित InfiniBand स्विच RDMA, HPC और AI क्लस्टर में इंटरकनेक्ट बॉटलनेक को दूर कर सकता है। 200Gb/s HDR पोर्ट, SHARP इन-नेटवर्क कंप्यूटिंग और एक परिपक्व प्रबंधन स्टैक को मिलाकर, NVIDIA Mellanox MQM8790-HS2F स्केल पर अनुमानित लो लेटेंसी प्रदान करता है। जैसे-जैसे क्लस्टर बढ़ते रहेंगे और AI वर्कलोड अधिक संचार-गहन होते जाएंगे, MQM8790-HS2F InfiniBand स्विच पर निर्मित फैब्रिक विस्तार की अगली लहर का समर्थन करने के लिए अच्छी स्थिति में हैं।