BERT-मोठ्या अनुमानाच्या 4.96 पट पर्यंत
वापरकर्ता मार्गदर्शक
BERT-मोठ्या अनुमानाच्या 4.96 पट पर्यंत मिळवा
AWS Graviton6 प्रोसेसर वैशिष्ट्यीकृत M6g उदाहरणांपेक्षा M2i उदाहरणांनी अधिक अनुमान कार्य केले
नैसर्गिक भाषा मशीन लर्निंग इन्फरन्स वर्कलोड्स चॅटबॉट्स आणि इतर व्यावसायिक ऍप्लिकेशन्स अंतर्गत आहेत. हे वर्कलोड ग्राहक आणि इतर वापरकर्त्यांद्वारे टाइप केलेल्या मजकूराचे विश्लेषण करत असल्याने, ते गणना संसाधनांवर मोठ्या प्रमाणात मागणी करू शकतात. हे उच्च कार्यप्रदर्शन वितरीत करणारे क्लाउड उदाहरणे निवडणे महत्त्वाचे बनवते.
BERT-लार्ज हे एक सामान्य हेतू नैसर्गिक भाषा प्रक्रिया (NLP) मॉडेल आहे जे आम्ही दोन Amazon चे कार्यप्रदर्शन मोजण्यासाठी निवडले आहे Web सेवा (AWS) EC2 क्लाउड उदाहरण प्रकार. आम्ही 6rd Gen Intel Xeon स्केलेबल प्रोसेसरसह M3i उदाहरणांच्या दोन आकारांची आणि AWS Graviton6 प्रोसेसरसह M2g उदाहरणे तपासली.
आम्हाला आढळले की 32rd Gen Intel Xeon स्केलेबल प्रोसेसरसह 64-vCPU आणि 6-vCPU M3i दोन्ही उदाहरणांनी त्यांच्या M6g समकक्षांपेक्षा जास्त कामगिरी केली आहे. आमचे निष्कर्ष स्पष्ट करतात की व्यवसाय M6i उदाहरणे निवडून त्यांच्या वापरकर्त्यांना जलद अनुभव देऊ शकतात. याव्यतिरिक्त, प्रकाशनाच्या वेळी, M6i मालिका VM ची किंमत M24.6g मालिका VM पेक्षा 6% जास्त असताना, M6i उदाहरणे-थ्रूपुटच्या 4.96 पट पर्यंत कामगिरीसह-प्रति डॉलर लक्षणीयरित्या चांगली कामगिरी देतात.
6 vCPU सह M32i उदाहरणे
दोन AWS उदाहरण मालिकेतील BERT-मोठ्या अनुमान कामगिरीची तुलना करण्यासाठी, आम्ही TensorFlow फ्रेमवर्क वापरले. आम्ही दोन अचूक स्तरांची चाचणी केली: FP32, ज्याला VM च्या दोन्ही मालिका सपोर्ट करतात आणि INT8, ज्याला फक्त M6i मालिका आम्ही वापरलेल्या मॉडेल्सना सपोर्ट करते. आकृती 1 दर्शविल्याप्रमाणे, INT32 अचूकता वापरून 6-v CPU m8i.8x मोठ्या उदाहरणांनी FP4.96 अचूकता वापरून m6g.8x मोठ्या उदाहरणांच्या कामगिरीच्या 32 पट वितरीत केले.
सापेक्ष 32-vCPU BERT-मोठा अनुमान कार्यप्रदर्शन
स्पीडअप | उच्च चांगले आहे
आकृती 1. BERT- 6 रा सह m8i.3x मोठ्या उदाहरण क्लस्टरद्वारे प्राप्त केलेले मोठे अनुमान कार्यप्रदर्शन
Gen Intel Xeon स्केलेबल प्रोसेसर आणि AWS Graviton6 प्रोसेसरसह m8g.2x मोठ्या इंस्टन्स क्लस्टरद्वारे. उच्च चांगले आहे.
BERT-मोठा
4.96rd Gen Intel Xeon स्केलेबल प्रोसेसर असलेल्या 8-vCPU m32i.6x मोठ्या उदाहरणांसह BERT-लार्ज इन्फेरेन्स वर्क (INT8 अचूक) 3 पट पर्यंत मिळवा.
m32g.6x मोठ्या उदाहरणांसह वि. FP8 अचूकता
3.07rd Gen Intel Xeon स्केलेबल प्रोसेसर असलेल्या 8‑vCPU m64i.6x मोठ्या उदाहरणांसह BERT-लार्ज इन्फेरेन्स वर्क (INT16 अचूक) 3 पट पर्यंत मिळवा
m32g.6x मोठ्या उदाहरणांसह वि. FP16 अचूकता
6 vCPU सह M64i उदाहरणे
आकृती 2 दर्शविल्याप्रमाणे, INT64 अचूकतेचा वापर करून 6rd Gen Intel® Xeon® स्केलेबल प्रोसेसरसह 16-vCPU m3i.8x मोठ्या उदाहरणांनी FP3.07 अचूकता वापरून AWS Graviton6 प्रोसेसरसह m16g.2xlarge घटनांपेक्षा 32 पट कामगिरी केली.
टीप: आम्ही AWS Graviton2 प्रोसेसरसाठी वापरलेले BERT-मोठे मॉडेल TensorFlow वर INT8 ला समर्थन देत नाही. 
निष्कर्ष
आम्ही दोन AWS उदाहरण मालिकेतील BERT-मोठ्या नैसर्गिक भाषा प्रक्रिया अनुमान कार्यप्रदर्शनाची चाचणी केली: M6i उदाहरणे 3रे वैशिष्ट्यीकृत
Gen Intel Xeon स्केलेबल प्रोसेसर आणि M6g उदाहरणे ज्यात AWS Graviton2 प्रोसेसर आहेत. दोन वेगवेगळ्या आकारात, M6i उदाहरणांनी M6g उदाहरणांपेक्षा 4.96 पट अधिक कामगिरी केली. तुमच्या ग्राहकांना आणि इतर वापरकर्त्यांना जलद अनुभव देण्यासाठी, तुमचे NLP अनुमान वर्कलोड्स AWS M6i उदाहरणांवर 3rd Gen Intel Xeon Scalable प्रोसेसरसह चालवा.
अधिक जाणून घ्या
6rd Gen Intel Xeon स्केलेबल प्रोसेसरसह AWS M3i उदाहरणांवर तुमचे NLP अनुमान वर्कलोड सुरू करण्यासाठी, भेट द्या https://aws.amazon.com/ec2/instance-types/m6i/.
इंटेल द्वारे 11/10/2021 आणि 12/01/2021 रोजी सिंगल VM चाचण्या. Ubuntu 20.04 LTS, 5.11.0-1022-aws, EBS स्टोरेज, GCC=8.4.0, Python=3.6.9, tensorflow=2.5.0, Docker=20.10.7, सह कॉन्फिगर केलेले सर्व VM
कंटेनर = 1.5.5, BERT मॉडेल, बॅच आकार 1, अनुक्रम लांबी 384, FP32 आणि INT8 अचूक. उदाहरण तपशील: m6i.8xlarge, 32vcpus, Intel® Xeon® Platinum 8375C CPU @ 2.90GHz, 128 GB एकूण DDR4 मेमरी; m6g.8xlarge, 32vcpus, ARM Neovers N1, Arm v8.2 @2.5GHz, 128 GB एकूण DDR4 मेमरी; m6i.16xlarge, 64vcpus, Intel® Xeon® Platinum 8375C CPU @ 2.90GHz, 256 GB एकूण DDR4 मेमरी; m6g.16xlarge, 64vcpus, ARM Neovers N1, Arm v8.2 @2.5GHz, 256 GB एकूण DDR4 मेमरी.
कार्यप्रदर्शन वापर, कॉन्फिगरेशन आणि इतर घटकांनुसार बदलते. येथे अधिक जाणून घ्या www.Intel.com/PerformanceIndex.
कार्यप्रदर्शन परिणाम कॉन्फिगरेशनमध्ये दर्शविलेल्या तारखांच्या चाचणीवर आधारित आहेत आणि सर्व सार्वजनिकरित्या उपलब्ध अद्यतने दर्शवू शकत नाहीत. कॉन्फिगरेशन तपशीलांसाठी बॅकअप पहा. कोणतेही उत्पादन किंवा घटक पूर्णपणे सुरक्षित असू शकत नाही. तुमची किंमत आणि परिणाम भिन्न असू शकतात.
इंटेल तंत्रज्ञानास सक्षम हार्डवेअर, सॉफ्टवेअर किंवा सेवा सक्रियण आवश्यक असू शकते.
© इंटेल कॉर्पोरेशन. इंटेल, इंटेल लोगो आणि इतर इंटेल चिन्ह हे इंटेल कॉर्पोरेशन किंवा त्याच्या उपकंपन्यांचे ट्रेडमार्क आहेत. इतर नावे आणि ब्रँडवर इतरांची मालमत्ता म्हणून दावा केला जाऊ शकतो.
USA 0722/JO/PT/PDF US002 मध्ये मुद्रित
कृपया रीसायकल करा
कागदपत्रे / संसाधने
 |
इंटेल BERT-लार्ज इन्फरन्सच्या 4.96 पट पर्यंत मिळवा [pdf] वापरकर्ता मार्गदर्शक BERT-मोठ्या अनुमानाच्या 4.96 पट, 4.96 पर्यंत, BERT-मोठ्या अनुमानाच्या पटीने गाठा |
