Google का PaLM 2 अपने पूर्ववर्ती की तुलना में लगभग पाँच गुना अधिक टेक्स्ट डेटा का उपयोग करता है

CNBC को पता चला है कि Google का नया बड़ा भाषा मॉडल, जिसे कंपनी ने पिछले सप्ताह घोषित किया था, 2022 से अपने पूर्ववर्ती के रूप में लगभग पांच गुना अधिक प्रशिक्षण डेटा का उपयोग करता है, जिससे इसे और अधिक उन्नत कोडिंग, गणित और रचनात्मक लेखन कार्य करने की अनुमति मिलती है।

CNBC द्वारा देखे गए आंतरिक दस्तावेजों के अनुसार, PaLM 2, Google I/O में अनावरण किया गया कंपनी का नया सार्वजनिक उपयोग वाली बड़ी भाषा (LLM) मॉडल है, जिसे 3.6 ट्रिलियन टोकन पर प्रशिक्षित किया गया है। टोकन, जो शब्दों के तार हैं, एलएलएम प्रशिक्षण के लिए एक महत्वपूर्ण बिल्डिंग ब्लॉक हैं, क्योंकि वे अगले शब्द की भविष्यवाणी करने के लिए मॉडल को सिखाते हैं जो अनुक्रम में दिखाई देगा।

Google का PaLM का पिछला संस्करण, जो पाथवे लैंग्वेज मॉडल के लिए है, 2022 में जारी किया गया था और 780 बिलियन टोकन पर प्रशिक्षित किया गया था।

जबकि Google अपनी AI तकनीक की शक्ति और इसे खोज, ईमेल, वर्ड प्रोसेसिंग और स्प्रेडशीट में कैसे एकीकृत किया जा सकता है, यह दिखाने के लिए उत्सुक था, कंपनी अपने प्रशिक्षण डेटा की मात्रा या अन्य विवरण प्रकाशित करने के लिए तैयार नहीं थी। Microsoft समर्थित ChatGPT के प्रर्वतक OpenAI ने GPT-4 नामक नवीनतम LLM भाषा का विवरण भी गुप्त रखा है।

कंपनियों का कहना है कि खुलासे की कमी का कारण कारोबार की प्रतिस्पर्धी प्रकृति है। Google और OpenAI उन उपयोगकर्ताओं को आकर्षित करने के लिए दौड़ रहे हैं जो पारंपरिक खोज इंजनों के बजाय चैटबॉट्स का उपयोग करके जानकारी खोजना चाहते हैं।

लेकिन जैसे-जैसे एआई हथियारों की दौड़ तेज होती जा रही है, अनुसंधान समुदाय अधिक पारदर्शिता की मांग कर रहा है।

PaLM 2 प्रकट करने के बाद से, Google ने कहा है कि नया मॉडल पिछले LLM से छोटा है, जो महत्वपूर्ण है क्योंकि इसका मतलब है कि अधिक जटिल कार्यों को पूरा करते हुए कंपनी की तकनीक अधिक कुशल हो रही है। PaLM 2 को 340 अरब पैरामीटर पर आंतरिक दस्तावेज़ीकरण के अनुसार प्रशिक्षित किया गया है, जो मॉडल की जटिलता का संकेत है। प्रारंभिक PaLM को 540 बिलियन पैरामीटर्स पर प्रशिक्षित किया गया है।

Google ने इस कहानी के लिए तुरंत कोई टिप्पणी नहीं दी।

गूगल उन्होंने कहा PaLM 2 के बारे में एक ब्लॉग पोस्ट में, मॉडल कम्प्यूटेशनल स्केल ऑप्टिमाइज़ेशन नामक “नई तकनीक” का उपयोग करता है। यह एलएलएम को “बेहतर समग्र प्रदर्शन के साथ अधिक कुशल बनाता है, जिसमें तेज अनुमान, कम सेवा पैरामीटर और सेवा की कम लागत शामिल है।”

PaLM 2 की घोषणा करते हुए, Google ने पिछली CNBC रिपोर्ट की पुष्टि की कि मॉडल 100 भाषाओं में प्रशिक्षित है और कई प्रकार के कार्य करता है। कंपनी के प्रयोगात्मक चैटबॉट बार्ड समेत 25 सुविधाओं और उत्पादों को शक्ति देने के लिए इसका पहले से ही उपयोग किया जा रहा है। यह चार आकारों में उपलब्ध है, सबसे छोटे से लेकर सबसे बड़े तक: गेको, ओटर, बाइसन और यूनिकॉर्न।

सार्वजनिक प्रकटीकरण के आधार पर PaLM 2 किसी भी मौजूदा मॉडल से अधिक शक्तिशाली है। फेसबुक पर एलएलएम को एलएलएएमए कहा जाता है, जो कि है की घोषणा फरवरी में इसे 1.4 ट्रिलियन टोकन पर प्रशिक्षित किया गया था। पिछली बार OpenAI ने ChatGPT प्रशिक्षण मात्रा को GPT-3 के साथ साझा किया था, जब कंपनी ने कहा था कि उसने उस समय में 300 बिलियन कोड को प्रशिक्षित किया था। OpenAI ने मार्च में GPT-4 जारी किया, और कहा कि यह कई पेशेवर परीक्षणों में “मानव-स्तर के प्रदर्शन” को दर्शाता है।

LaMDA, LLM वार्तालाप जो Google पैर सीएनबीसी द्वारा देखे गए नवीनतम दस्तावेजों के अनुसार, दो साल पहले और फरवरी में बार्ड के साथ प्रचारित किया गया था, इसे 1.5 ट्रिलियन टोकन पर प्रशिक्षित किया गया है।

जैसे-जैसे नए एआई एप्लिकेशन तेजी से मुख्यधारा में आते हैं, वैसे-वैसे अंतर्निहित तकनीक पर बहस होती है।

मेहदी एल्मोहमदी, Google में वरिष्ठ शोध वैज्ञानिक, उन्होंने फरवरी में इस्तीफा दे दिया था कंपनी में पारदर्शिता की कमी के बारे में। मंगलवार को, OpenAI के सीईओ सैम ऑल्टमैन ने गोपनीयता और प्रौद्योगिकी पर सीनेट न्यायपालिका उपसमिति की सुनवाई में गवाही दी और सांसदों से सहमत हुए कि एआई से निपटने के लिए एक नई प्रणाली की आवश्यकता है।

ऑल्टमैन ने कहा, “ऐसी तकनीक के लिए जो इतनी नई है, हमें एक नए ढांचे की जरूरत है।” “निश्चित रूप से हमारी जैसी कंपनियों के पास हमारे द्वारा दुनिया में डाले गए उपकरणों के लिए बहुत अधिक जिम्मेदारी है।”

– सीएनबीसी के जॉर्डन नोवेट ने इस रिपोर्ट में योगदान दिया।

वह देखता है: ओपनएआई के सीईओ सैम ऑल्टमैन ने एआई प्रबंधन की मांग की है