एनव्हीआयडीए निमो फ्रेमवर्क

तपशील

• उत्पादनाचे नाव: NVIDIA NeMo फ्रेमवर्क
• प्रभावित प्लॅटफॉर्म: Windows, Linux, macOS
• प्रभावित आवृत्त्या: २४ पूर्वीच्या सर्व आवृत्त्या
• सुरक्षा भेद्यता: CVE-2025-23360
• जोखीम मूल्यांकन बेस स्कोअर: ७.१ (सीव्हीएसएस आवृत्ती ३.१)

उत्पादन वापर सूचना

सुरक्षा अपडेटची स्थापना:
तुमच्या सिस्टमचे संरक्षण करण्यासाठी, या चरणांचे अनुसरण करा:

1. गिटहबवरील निमो-फ्रेमवर्क-लाँचर रिलीज पेजवरून नवीनतम रिलीज डाउनलोड करा.
2. अधिक माहितीसाठी NVIDIA उत्पादन सुरक्षा वर जा.

सुरक्षा अपडेट तपशील:
सुरक्षा अपडेट NVIDIA NeMo फ्रेमवर्कमधील एका भेद्यतेला संबोधित करते ज्यामुळे कोड अंमलबजावणी आणि डेटा टampएरिंग

सॉफ्टवेअर अपग्रेडः
जर तुम्ही आधीची शाखा आवृत्ती वापरत असाल, तर सुरक्षिततेच्या समस्येचे निराकरण करण्यासाठी नवीनतम शाखा आवृत्तीवर अपग्रेड करण्याची शिफारस केली जाते.

ओव्हरview

NVIDIA NeMo फ्रेमवर्क हे एक स्केलेबल आणि क्लाउड-नेटिव्ह जनरेटिव्ह AI फ्रेमवर्क आहे जे संशोधक आणि विकासकांसाठी तयार केले आहे जे यावर काम करतात मोठ्या भाषेचे मॉडेल, मल्टीमॉडल, आणि भाषण एआय (उदा स्वयंचलित उच्चार ओळख आणि टेक्स्ट-टू-स्पीच). हे वापरकर्त्यांना विद्यमान कोड आणि पूर्व-प्रशिक्षित मॉडेल चेकपॉइंट्सचा वापर करून नवीन जनरेटिव्ह एआय मॉडेल्स कार्यक्षमतेने तयार करण्यास, कस्टमाइझ करण्यास आणि तैनात करण्यास सक्षम करते.

सेटअप सूचना: निमो फ्रेमवर्क स्थापित करा

मोठे भाषा मॉडेल आणि बहुआयामी मॉडेल
NeMo फ्रेमवर्क लार्ज लँग्वेज मॉडेल्स (LLMs) आणि मल्टीमोडल मॉडेल्स (MMs) विकसित करण्यासाठी एंड-टू-एंड सपोर्ट प्रदान करते. ते ऑन-प्रिमाइसेस, डेटा-सेंटरमध्ये किंवा तुमच्या पसंतीच्या क्लाउड प्रदात्यासह वापरण्याची लवचिकता प्रदान करते. ते SLURM किंवा Kubernetes सक्षम वातावरणात अंमलबजावणीला देखील समर्थन देते.

डेटा क्युरेशन
निमो क्युरेटर [1] ही एक पायथॉन लायब्ररी आहे ज्यामध्ये डेटा मायनिंग आणि सिंथेटिक डेटा जनरेशनसाठी मॉड्यूल्सचा संच समाविष्ट आहे. ते स्केलेबल आहेत आणि GPU साठी ऑप्टिमाइझ केलेले आहेत, ज्यामुळे ते LLM ला प्रशिक्षित करण्यासाठी किंवा फाइन-ट्यून करण्यासाठी नैसर्गिक भाषा डेटा क्युरेट करण्यासाठी आदर्श बनतात. NeMo क्युरेटरसह, तुम्ही विस्तृत कच्च्या मालातून उच्च-गुणवत्तेचा मजकूर कार्यक्षमतेने काढू शकता. web डेटा स्रोत.

प्रशिक्षण आणि सानुकूलन

निमो फ्रेमवर्क कार्यक्षम प्रशिक्षण आणि कस्टमायझेशनसाठी साधने प्रदान करते एलएलएम आणि मल्टीमॉडल मॉडेल्स. यामध्ये कॉम्प्युट क्लस्टर सेटअप, डेटा डाउनलोडिंग आणि मॉडेल हायपरपॅरामीटर्ससाठी डीफॉल्ट कॉन्फिगरेशन समाविष्ट आहेत, जे नवीन डेटासेट आणि मॉडेल्सवर प्रशिक्षण देण्यासाठी समायोजित केले जाऊ शकतात. प्री-ट्रेनिंग व्यतिरिक्त, NeMo पर्यवेक्षित फाइन-ट्यूनिंग (SFT) आणि पॅरामीटर एफिशिएंट फाइन-ट्यूनिंग (PEFT) तंत्रांना समर्थन देते जसे की LoRA, Ptuning आणि बरेच काही.

NeMo मध्ये प्रशिक्षण सुरू करण्यासाठी दोन पर्याय उपलब्ध आहेत - NeMo 2.0 API इंटरफेस वापरून किंवा NeMo Run वापरून.

• निमो रनसह (शिफारस केलेले): निमो रन विविध संगणकीय वातावरणात प्रयोगांचे कॉन्फिगरेशन, अंमलबजावणी आणि व्यवस्थापन सुलभ करण्यासाठी एक इंटरफेस प्रदान करते. यामध्ये तुमच्या वर्कस्टेशनवर स्थानिक पातळीवर किंवा मोठ्या क्लस्टर्सवर - SLURM सक्षम किंवा क्लाउड वातावरणात कुबर्नेट्स दोन्हीवर जॉब्स लाँच करणे समाविष्ट आहे.
  • निमो रनसह पूर्व-प्रशिक्षण आणि पीईएफटी क्विकस्टार्ट
• NeMo 2.0 API वापरणे: ही पद्धत लहान मॉडेल्सचा समावेश असलेल्या साध्या सेटअपसह किंवा तुम्हाला तुमचा स्वतःचा कस्टम डेटालोडर लिहिण्यात, लूप ट्रेनिंग करण्यात किंवा मॉडेल लेयर्स बदलण्यात रस असेल तर चांगली काम करते. हे तुम्हाला कॉन्फिगरेशनवर अधिक लवचिकता आणि नियंत्रण देते आणि प्रोग्रामॅटिकली कॉन्फिगरेशन वाढवणे आणि कस्टमाइझ करणे सोपे करते.
  • ट्रॅNeMo 2.0 API सह क्विकस्टार्ट सुरू करत आहे
  • NeMo 1.0 वरून NeMo 2.0 API वर स्थलांतरित करणे

संरेखन

• निमो-अलाइनर [1] हे कार्यक्षम मॉडेल अलाइनमेंटसाठी एक स्केलेबल टूलकिट आहे. टूलकिटमध्ये स्टीअरएलएम, डीपीओ, रिइन्फोर्समेंट लर्निंग फ्रॉम ह्युमन फीडबॅक (आरएलएचएफ) आणि बरेच काही यासारख्या अत्याधुनिक मॉडेल अलाइनमेंट अल्गोरिदमसाठी समर्थन आहे. हे अल्गोरिदम वापरकर्त्यांना भाषा मॉडेल्स अधिक सुरक्षित, निरुपद्रवी आणि उपयुक्त बनवण्यासाठी अलाइन करण्यास सक्षम करतात.
• सर्व NeMo-Aligner चेकपॉइंट्स NeMo इकोसिस्टमशी सुसंगत आहेत, ज्यामुळे पुढील कस्टमायझेशन आणि अनुमान तैनाती शक्य होते.

एका लहान GPT-2B मॉडेलवर RLHF च्या तिन्ही टप्प्यांचा चरण-दर-चरण कार्यप्रवाह:

• एसएफटी प्रशिक्षण
• रिवॉर्ड मॉडेल प्रशिक्षण
• पीपीओ प्रशिक्षण

याव्यतिरिक्त, आम्ही इतर विविध नवीन संरेखन पद्धतींसाठी समर्थन प्रदर्शित करतो:

• डीपीओ: RLHF च्या तुलनेत एक हलका संरेखन अल्गोरिदम ज्यामध्ये सोपे नुकसान कार्य आहे.
• सेल्फ-प्ले फाइन-ट्यूनिंग (स्पिन)
• स्टीअरएलएम: स्टीअरेबल आउटपुटसह, कंडिशन-एसएफटीवर आधारित तंत्र.

अधिक माहितीसाठी कागदपत्रे पहा: संरेखन दस्तऐवजीकरण

मल्टीमॉडल मॉडेल्स

• NeMo फ्रेमवर्क अनेक श्रेणींमध्ये अत्याधुनिक मल्टीमोडल मॉडेल्सना प्रशिक्षित करण्यासाठी आणि तैनात करण्यासाठी ऑप्टिमाइझ केलेले सॉफ्टवेअर प्रदान करते: मल्टीमोडल लँग्वेज मॉडेल्स, व्हिजन-लँग्वेज फाउंडेशन्स, टेक्स्ट-टू-इमेज मॉडेल्स आणि न्यूरल रेडियन्स फील्ड्स (NeRF) वापरून 2D जनरेशनच्या पलीकडे.
• प्रत्येक श्रेणी विशिष्ट गरजा आणि क्षेत्रातील प्रगती पूर्ण करण्यासाठी डिझाइन केलेली आहे, ज्यामध्ये मजकूर, प्रतिमा आणि 3D मॉडेल्ससह विस्तृत डेटा प्रकार हाताळण्यासाठी अत्याधुनिक मॉडेल्सचा वापर केला जातो.

तैनाती आणि अनुमान
निमो फ्रेमवर्क एलएलएम अनुमानासाठी विविध मार्ग प्रदान करते, विविध तैनाती परिस्थिती आणि कामगिरीच्या गरजा पूर्ण करते.

NVIDIA NIM सह तैनात करा

• नेमो फ्रेमवर्क NVIDIA NIM द्वारे एंटरप्राइझ-स्तरीय मॉडेल डिप्लॉयमेंट टूल्ससह अखंडपणे एकत्रित होते. हे एकत्रीकरण NVIDIA TensorRT-LLM द्वारे समर्थित आहे, जे ऑप्टिमाइझ केलेले आणि स्केलेबल अनुमान सुनिश्चित करते.
• एनआयएमबद्दल अधिक माहितीसाठी, एनव्हीआयडीएला भेट द्या. webसाइट

TensorRT-LLM किंवा vLLM सह तैनात करा

• NeMo फ्रेमवर्क दोन इन्फरन्स ऑप्टिमाइझ्ड लायब्ररी, TensorRT-LLM आणि vLLM मध्ये मॉडेल्स एक्सपोर्ट करण्यासाठी आणि NVIDIA ट्रायटन इन्फरन्स सर्व्हरसह एक्सपोर्ट केलेले मॉडेल तैनात करण्यासाठी स्क्रिप्ट्स आणि API ऑफर करते.
• ऑप्टिमाइझ्ड परफॉर्मन्सची आवश्यकता असलेल्या परिस्थितींसाठी, NeMo मॉडेल्स NVIDIA GPUs वर LLM अनुमान वाढविण्यासाठी आणि ऑप्टिमाइझ करण्यासाठी एक विशेष लायब्ररी, TensorRT-LLM चा वापर करू शकतात. या प्रक्रियेत nemo.export मॉड्यूल वापरून NeMo मॉडेल्सना TensorRT-LLM शी सुसंगत स्वरूपात रूपांतरित करणे समाविष्ट आहे.
  • एलएलएम तैनाती संपलीview
  • NIM सह NeMo लार्ज लँग्वेज मॉडेल्स तैनात करा
  • टेन्सरआरटी-एलएलएम सह निमो लार्ज लँग्वेज मॉडेल्स तैनात करा.
  • vLLM सह NeMo लार्ज लँग्वेज मॉडेल्स तैनात करा

समर्थित मॉडेल

मोठ्या भाषेचे मॉडेल

मोठ्या भाषेचे मॉडेल

मोठ्या भाषेचे मॉडेल	पूर्वप्रशिक्षण आणि एसएफटी	पीईएफटी	संरेखन	FP8 प्रशिक्षण अभिसरण	टीआरटी/टीआरटीएलएलएम	मिठी मारणारा चेहरा मध्ये आणि पासून रूपांतरित करा	मूल्यमापन
लामा३ ८बी/७०बी, लामा३.१ ४०५बी	होय	होय	x	हो (अंशतः सत्यापित)	होय	दोन्ही	होय
मिक्सट्रल ८x७ब/८x२२ब	होय	होय	x	हो (असत्यापित)	होय	दोन्ही	होय
निमोट्रॉन ३ ८बी	होय	x	x	हो (असत्यापित)	x	दोन्ही	होय
निमोट्रॉन ३ ८बी	होय	x	x	हो (असत्यापित)	x	दोन्ही	होय
बायचुआन२ ७बी	होय	होय	x	हो (असत्यापित)	x	दोन्ही	होय
चॅटजीएलएम३ ६बी	होय	होय	x	हो (असत्यापित)	x	दोन्ही	होय
जेम्मा २बी/७बी	होय	होय	x	हो (असत्यापित)	होय	दोन्ही	होय
जेम्मा२ २बी/९बी/२७बी	होय	होय	x	हो (असत्यापित)	x	दोन्ही	होय
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	होय	होय	x	हो (असत्यापित)	x	x	होय
फाय३ मिनी ४के	x	होय	x	हो (असत्यापित)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	होय	होय	x	हो (असत्यापित)	होय	दोन्ही	होय
स्टारकोडर १५बी	होय	होय	x	हो (असत्यापित)	होय	दोन्ही	होय
स्टारकोडर२ ३बी/७बी/१५बी	होय	होय	x	हो (असत्यापित)	होय	दोन्ही	होय
बर्ट ११० मी/३४० मी	होय	होय	x	हो (असत्यापित)	x	दोन्ही	x
टी५ २२०एम/३बी/११बी	होय	होय	x	x	x	x	x

 

दृष्टी भाषेचे मॉडेल

 

एम्बेडिंग मॉडेल्स

 

वर्ल्ड फाउंडेशन मॉडेल्स

नोंद
NeMo प्रसार आणि ऑटोरिग्रेसिव्ह आर्किटेक्चर दोन्हीसाठी प्रीट्रेनिंगला देखील समर्थन देते. text2world पाया मॉडेल्स.

भाषण एआय

संभाषणात्मक एआय मॉडेल्स विकसित करणे ही एक जटिल प्रक्रिया आहे ज्यामध्ये विशिष्ट डोमेनमध्ये मॉडेल्स परिभाषित करणे, तयार करणे आणि प्रशिक्षण देणे समाविष्ट असते. या प्रक्रियेला उच्च पातळीची अचूकता गाठण्यासाठी सामान्यतः अनेक पुनरावृत्ती आवश्यक असतात. उच्च अचूकता प्राप्त करण्यासाठी, विविध कार्ये आणि डोमेन-विशिष्ट डेटाचे फाइन-ट्यूनिंग करण्यासाठी, प्रशिक्षण कामगिरी सुनिश्चित करण्यासाठी आणि अनुमान तैनातीसाठी मॉडेल्स तयार करण्यासाठी अनेकदा अनेक पुनरावृत्तींचा समावेश असतो.

निमो फ्रेमवर्क स्पीच एआय मॉडेल्सच्या प्रशिक्षण आणि कस्टमायझेशनसाठी समर्थन प्रदान करते. यामध्ये ऑटोमॅटिक स्पीच रेकग्निशन (एएसआर) आणि टेक्स्ट-टू-स्पीच (टीटीएस) सिंथेसिस सारखी कामे समाविष्ट आहेत. हे एनव्हीआयडीआयए रिवासह एंटरप्राइझ-स्तरीय उत्पादन तैनातीसाठी एक सहज संक्रमण प्रदान करते. विकासक आणि संशोधकांना मदत करण्यासाठी, निमो फ्रेमवर्कमध्ये अत्याधुनिक पूर्व-प्रशिक्षित चेकपॉइंट्स, पुनरुत्पादन करण्यायोग्य स्पीच डेटा प्रोसेसिंगसाठी साधने आणि स्पीच डेटासेटच्या परस्परसंवादी अन्वेषण आणि विश्लेषणासाठी वैशिष्ट्ये समाविष्ट आहेत. निमो फ्रेमवर्क फॉर स्पीच एआयचे घटक खालीलप्रमाणे आहेत:

प्रशिक्षण आणि सानुकूलन
निमो फ्रेमवर्कमध्ये स्पीच मॉडेल्सना प्रशिक्षित करण्यासाठी आणि कस्टमाइझ करण्यासाठी आवश्यक असलेल्या सर्व गोष्टी आहेत (ASR, भाषण वर्गीकरण, स्पीकर ओळख, स्पीकर डायरायझेशन, आणि TTS) पुनरुत्पादित पद्धतीने.

SOTA पूर्व-प्रशिक्षित मॉडेल्स

• निमो फ्रेमवर्क अत्याधुनिक पाककृती आणि अनेक पूर्व-प्रशिक्षित चेकपॉइंट्स प्रदान करते ASR आणि TTS मॉडेल्स, तसेच ते कसे लोड करायचे याबद्दल सूचना.
• भाषण साधने
• निमो फ्रेमवर्क एएसआर आणि टीटीएस मॉडेल्स विकसित करण्यासाठी उपयुक्त साधनांचा संच प्रदान करते, ज्यामध्ये हे समाविष्ट आहे:
  • निमो फोर्स्ड अलाइनर (एनएफए) टोकन-, शब्द- आणि सेगमेंट-स्तरीय टाइमस्ट जनरेट करण्यासाठीampNeMo च्या CTC-आधारित ऑटोमॅटिक स्पीच रेकग्निशन मॉडेल्सचा वापर करून ऑडिओमधील भाषणाचे विश्लेषण.
  • स्पीच डेटा प्रोसेसर (SDP), स्पीच डेटा प्रोसेसिंग सुलभ करण्यासाठी एक टूलकिट. हे तुम्हाला कॉन्फिगरेशनमध्ये डेटा प्रोसेसिंग ऑपरेशन्सचे प्रतिनिधित्व करण्याची परवानगी देते file, बॉयलरप्लेट कोड कमीत कमी करणे आणि पुनरुत्पादनक्षमता आणि सामायिकरणक्षमता अनुमती देणे.
  • स्पीच डेटा एक्सप्लोरर (SDE), डॅश-आधारित web भाषण डेटासेटच्या परस्परसंवादी अन्वेषण आणि विश्लेषणासाठी अनुप्रयोग.
  • डेटासेट निर्मिती साधन जे लांब ऑडिओ संरेखित करण्यासाठी कार्यक्षमता प्रदान करते fileसंबंधित ट्रान्सक्रिप्टसह s आणि त्यांना ऑटोमॅटिक स्पीच रेकग्निशन (ASR) मॉडेल प्रशिक्षणासाठी योग्य असलेल्या लहान तुकड्यांमध्ये विभाजित करा.
  • तुलना साधन शब्द अचूकता आणि उच्चार पातळीवर वेगवेगळ्या ASR मॉडेल्सच्या अंदाजांची तुलना करण्यासाठी ASR मॉडेल्ससाठी.
  • ASR मूल्यांकनकर्ता ASR मॉडेल्सच्या कामगिरीचे मूल्यांकन करण्यासाठी आणि व्हॉइस अॅक्टिव्हिटी डिटेक्शन सारख्या इतर वैशिष्ट्यांसाठी.
  • मजकूर सामान्यीकरण साधन मजकूर लिखित स्वरूपातून तोंडी स्वरूपात रूपांतरित करण्यासाठी आणि उलट (उदा. “३१ वा” विरुद्ध “एकतीसवा”).
• तैनातीचा मार्ग
• NeMo फ्रेमवर्क वापरून प्रशिक्षित किंवा कस्टमाइझ केलेले NeMo मॉडेल्स NVIDIA Riva सह ऑप्टिमाइझ आणि तैनात केले जाऊ शकतात. Riva विशेषतः पुश-बटण तैनातीसाठी पायऱ्या स्वयंचलित करण्यासाठी डिझाइन केलेले कंटेनर आणि हेल्म चार्ट प्रदान करते.

इतर संसाधने

गिटहब रिपोज

• निमो: निमो फ्रेमवर्कसाठी मुख्य भांडार
• निमो–धावा: तुमचे मशीन लर्निंग प्रयोग कॉन्फिगर, लाँच आणि व्यवस्थापित करण्यासाठी एक साधन.
• निमो-अलाइनर: कार्यक्षम मॉडेल अलाइनमेंटसाठी स्केलेबल टूलकिट
• निमो-क्युरेटर: एलएलएमसाठी स्केलेबल डेटा प्री-प्रोसेसिंग आणि क्युरेशन टूलकिट

मदत मिळत आहे
NeMo समुदायाशी संलग्न व्हा, प्रश्न विचारा, समर्थन मिळवा किंवा बग्स नोंदवा.

• निमो चर्चा
• निमो समस्या

प्रोग्रामिंग भाषा आणि फ्रेमवर्क

• अजगर: NeMo फ्रेमवर्क वापरण्यासाठी मुख्य इंटरफेस
• पायटोर्च: NeMo फ्रेमवर्क PyTorch च्या वर बांधले आहे.

परवाने

• NeMo Github रेपो Apache 2.0 परवान्याअंतर्गत परवानाकृत आहे.
• NeMo फ्रेमवर्क NVIDIA AI उत्पादन करारांतर्गत परवानाकृत आहे. कंटेनर ओढून आणि वापरून, तुम्ही या परवान्याच्या अटी आणि शर्ती स्वीकारता.
• NeMo फ्रेमवर्क कंटेनरमध्ये Meta Llama3 कम्युनिटी लायसन्स कराराद्वारे शासित लामा मटेरियल असतात.

तळटीप
सध्या, मल्टीमॉडल मॉडेल्ससाठी नेमो क्युरेटर आणि नेमो अलाइनर सपोर्टचे काम प्रगतीपथावर आहे आणि ते लवकरच उपलब्ध होईल.

वारंवार विचारले जाणारे प्रश्न

प्रश्न: माझ्या सिस्टमवर या भेद्यतेचा परिणाम झाला आहे का ते मी कसे तपासू शकतो?
अ: तुम्ही तुमच्या सिस्टमवर परिणाम झाला आहे का ते तपासण्यासाठी NVIDIA NeMo फ्रेमवर्कची आवृत्ती स्थापित करून तपासू शकता. जर ती आवृत्ती २४ पेक्षा कमी असेल, तर तुमची सिस्टम असुरक्षित असू शकते.

प्रश्न: सुरक्षा समस्या CVE-2025-23360 कोणी नोंदवली?
अ: ऑर पेलेस - जेफ्रॉग सिक्युरिटीने सुरक्षेची समस्या नोंदवली होती. एनव्हीआयडीए त्यांच्या योगदानाची कबुली देते.

प्रश्न: मी भविष्यातील सुरक्षा बुलेटिन सूचना कशा मिळवू शकतो?
अ: सुरक्षा बुलेटिन सूचनांचे सदस्यत्व घेण्यासाठी आणि उत्पादन सुरक्षा अद्यतनांबद्दल माहिती मिळवण्यासाठी NVIDIA उत्पादन सुरक्षा पृष्ठाला भेट द्या.

कागदपत्रे / संसाधने

एनव्हीआयडीए निमो फ्रेमवर्क [pdf] वापरकर्ता मार्गदर्शक निमो फ्रेमवर्क, निमो, फ्रेमवर्क

संदर्भ

• वापरकर्ता मॅन्युअल