ഗൂഗിൾ ജെമിനി ജിപിടി -4 ന് തുല്യമല്ല: വ്യാജ ഡെമോ വീഡിയോ, എംഎംഎൽയു ബെഞ്ച്മാർക്ക് തിരിച്ചടി
ഓപ്പൺ എഐയുടെ ചാറ്റ്ജിപിടിയുടെ എതിരാളിയെന്ന് വിശേഷിപ്പിക്കപ്പെടുന്ന ഗൂഗിളിന്റെ ഏറ്റവും പുതിയ സൃഷ്ടിയായ ജെമിനി എഐയിൽ ലോകം ആശ്ചര്യപ്പെടുമ്പോൾ, ലോകത്തിലെ ഏറ്റവും വലിയ ടെക് കമ്പനിക്ക് പ്രശ്നങ്ങൾ ഉടലെടുക്കുന്നതായി തോന്നുന്നു. അൾട്രാ, പ്രോ, നാനോ എന്നിങ്ങനെ മൂന്ന് വലുപ്പങ്ങളിൽ ഗൂഗിൾ ജെമിനിയെ അവതരിപ്പിച്ചു, അൾട്രാ ഏറ്റവും ശക്തമാണ്, കാരണം നിരവധി അളവുകളിൽ ജിപിടി 4 നെ മറികടന്നതായി റിപ്പോർട്ടുണ്ട്.
അബാക്കുസായ് സിഇഒ ബിന്ദു റെഡ്ഡി തന്റെ എക്സ് പ്രൊഫൈലിൽ തന്റെ സവിശേഷമായ നിരീക്ഷണം പങ്കിട്ടു. “എംഎംഎൽയു ജെമിനി ബീറ്റിലേക്ക് ആഴത്തിൽ നോക്കുമ്പോൾ – ഈ കീ ബെഞ്ച്മാർക്കിൽ ജെമിനി ശരിക്കും ജിപിടി 4 നെ തോൽപ്പിക്കുന്നില്ല,” അവർ ഒരു നീണ്ട പോസ്റ്റിൽ എഴുതി, എന്തുകൊണ്ടാണ് അൾട്രാ അവകാശപ്പെടുന്നത്ര മികച്ചതല്ലെന്ന് വിശദീകരിച്ചു.
ജെമിനി മോഡലുകൾ വിവിധ മാനദണ്ഡങ്ങളിൽ ജിപിടി 4 നെ എങ്ങനെ സ്കോർ ചെയ്തു അല്ലെങ്കിൽ മികച്ച പ്രകടനം കാഴ്ചവച്ചുവെന്ന് ഗൂഗിൾ വിശദീകരിച്ചു. സ്റ്റെം, സോഷ്യൽ സയൻസ്, ഗണിതം, ഹ്യുമാനിറ്റീസ് തുടങ്ങിയ വിശാലമായ അക്കാദമിക് വിഭാഗങ്ങളിലുടനീളം ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് മോഡലിന്റെ സാധ്യതകൾ വിലയിരുത്താൻ ഉപയോഗിക്കുന്ന അടിസ്ഥാന മെട്രിക്കും ഇതിൽ ഉൾപ്പെടുന്നു.
എന്നിരുന്നാലും, അൾട്രാ പതിപ്പ് ജിപിടി 4, ജിപിടി 3.5 എന്നിവയെ മറികടന്നതായി ഗൂഗിൾ പങ്കിട്ട ഗവേഷണ പ്രബന്ധം വ്യക്തമാക്കുന്നു. രസകരമെന്നു പറയട്ടെ, സൂക്ഷ്മ പരിശോധന ഒരു പ്രധാന സാങ്കേതിക വിശദാംശം വെളിപ്പെടുത്തും. റെഡ്ഡിയുടെ ട്വീറ്റിന്റെ അടിസ്ഥാനത്തിൽ, ജെമിനിയുടെ പ്രകടനം വർദ്ധിപ്പിക്കുന്നതിനായി ഗൂഗിൾ 5-ഷോട്ട് പഠനത്തിന് പകരം COT@32 വിന്യസിച്ചിട്ടുണ്ട്.
“ജെമിനി എംഎംഎൽയു ബീറ്റ് പ്രത്യേകമായി CoT@32. ജിപിടി -4 ഇപ്പോഴും സ്റ്റാൻഡേർഡ് 5-ഷോട്ടിനായി ജെമിനിയെ മറികടക്കുന്നു – 86.4 ശതമാനവും 83.7 ശതമാനവും,” റെഡ്ഡി തന്റെ ട്വീറ്റിൽ കുറിച്ചു. സിഇഒയുടെ അഭിപ്രായത്തിൽ, ഈ ബെഞ്ച്മാർക്ക് വിലയിരുത്തുന്നതിനുള്ള സ്റ്റാൻഡേർഡ് അളവുകോലാണ് 5-ഷോട്ട്, പ്രോംപ്റ്റിൽ അഞ്ച് ഉദാഹരണങ്ങൾ മുൻകൂട്ടിപ്പറയുന്നു.
പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിനുള്ള യുക്തി സൃഷ്ടിക്കാൻ സഹായിക്കുന്നതിന് ചിന്തയുടെ ശൃംഖല പോലുള്ള നിരവധി ഘട്ടങ്ങൾ വാഗ്ദാനം ചെയ്യുന്നത് ഉൾപ്പെടുന്ന ചിന്തയുടെ ശൃംഖലയെയാണ് സിഒടി സൂചിപ്പിക്കുന്നത്. മോഡലിന്റെ മൾട്ടി-സ്റ്റെപ്പ് റീസണിംഗ് കഴിവുകൾ മെച്ചപ്പെടുത്തുകയാണ് സിഒടിയുടെ ലക്ഷ്യം. അതേസമയം, ഓരോ ക്ലാസിന്റെയും അഞ്ച് ഉദാഹരണങ്ങൾ ഉപയോഗിച്ച് ഒരു ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് മോഡൽ പരിശീലിപ്പിക്കുമ്പോഴാണ് 5-ഷോട്ട് പഠനം. ഈ പരിമിതമായ ഉദാഹരണങ്ങൾ പരിശീലന ഡാറ്റയാണ്, അതിൽ നിന്ന് ഒരു ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് മോഡൽ പാറ്റേണുകൾ തിരിച്ചറിയുമെന്ന് പ്രതീക്ഷിക്കുന്നു.
ജിപിടി -4 നേക്കാൾ മികച്ചതാണെന്ന് അവകാശപ്പെടാൻ ഗൂഗിൾ CoT@32 വ്യത്യസ്തമായ രീതി കണ്ടുപിടിച്ചതായി റെഡ്ഡി തന്റെ ട്വീറ്റിൽ അവകാശപ്പെട്ടു. “അനിശ്ചിതത്വ റൂട്ടിംഗിനായി” നിങ്ങൾ ചേർക്കുമ്പോൾ മാത്രമേ Cot@32 എന്ന് മുൻ എഡബ്ല്യുഎസ് / ഗൂഗിൾ സ്റ്റാഫ് പറഞ്ഞു. ബെഞ്ച്മാർക്കിംഗിനൊപ്പം സമാനമായ ആശങ്കകൾ ഫ്ലാഗ് ചെയ്ത ഉപയോക്താക്കളിൽ നിന്നുള്ള ചില ട്വീറ്റുകൾ ചുവടെയുണ്ട്.
ജെമിനി എംഎംഎൽയു ഫലങ്ങൾ ടിഎൽ; ഡിആർ: ജെമിനി എംഎംഎൽയുവിൽ ജിപിടി 4 നെക്കാൾ മികച്ച പ്രകടനം കാഴ്ചവയ്ക്കുന്നില്ല, മാത്രമല്ല ഇത് ഉൽപ്പന്നത്തിൽ ഗണ്യമായി കാണിക്കും. എന്നിരുന്നാലും, ഇത് ഹ്യൂമൻ ഇവൽ ഫോർ കോഡ് മുതലായ മറ്റ് അളവുകളെ ബാധിക്കണമെന്നില്ല. യോജിപ്പിനെ ചുറ്റിപ്പറ്റി ധാരാളം ചർച്ചകൾ നടന്നിട്ടുണ്ട്… pic.twitter.com/yZj3yRT3y6 – ഹാദി അസ്സൂനി (@hadiazouni) ഡിസംബർ 8, 2023
ജെമിനി വീഡിയോ അത്ര യഥാർത്ഥമല്ല
ജെമിനിയെ അനാച്ഛാദനം ചെയ്യുമ്പോൾ, ഗൂഗിൾ അതിന്റെ മൾട്ടിമോഡൽ, റീസണിംഗ് കഴിവുകളുടെ ഒരു വീഡിയോ പ്രദർശിപ്പിച്ചു. ലോഞ്ച് ചെയ്തതു മുതൽ, വീഡിയോ തത്സമയം സംപ്രേഷണം ചെയ്തിട്ടില്ലെന്ന് നിരവധി റിപ്പോർട്ടുകൾ ഉണ്ടായിരുന്നു. അഭിഭാഷകനും കമ്പ്യൂട്ടർ സയന്റിസ്റ്റുമായ ക്ലിന്റ് എഹ്രിൾച്ച് തന്റെ എക്സ് ബയോ അനുസരിച്ച് വിശദമായ ട്വീറ്റ് പങ്കിട്ടു, അവിടെ ജെമിനിയുടെ വീഡിയോ ഡെമോ വ്യാജമാണെന്ന് അവകാശപ്പെട്ടു.
എർലിച്ച് പറയുന്നതനുസരിച്ച്, വീഡിയോയെക്കുറിച്ചുള്ള മൂന്ന് കാര്യങ്ങൾ കാഴ്ചക്കാർക്ക് ആവേശകരമായിരുന്നു, അതായത് ജെമിനി വീഡിയോ പ്രോസസ്സ് ചെയ്തു, നിശ്ചല ചിത്രങ്ങൾ മാത്രമല്ല, ഇത് സ്പൂൺ ഫീഡ് പ്രോംപ്റ്റുകൾ ഇല്ലാതെ സന്ദർഭം നൽകുന്നു, ഇത് സംഭാഷണ ഓഡിയോ തടസ്സമില്ലാതെ സംസാരിക്കുകയും മനസ്സിലാക്കുകയും ചെയ്യുന്നു. ഈ മൂന്ന് വശങ്ങളൊന്നും യാഥാർത്ഥ്യമല്ലെന്ന് എർലിച്ച് പറഞ്ഞു.
ജെമിനി വീഡിയോ പ്രോസസ്സ് ചെയ്തിട്ടില്ലെന്നും പകരം ഇമേജുകൾ പ്രോസസ്സ് ചെയ്തുവെന്നും അതിന് വിശദമായ പ്രേരണ ആവശ്യമാണെന്നും ഓഡിയോയല്ല, രേഖാമൂലമുള്ള പ്രോംപ്റ്റുകൾ ഉപയോഗിച്ചാണ് ഇത് ഏറ്റവും നന്നായി ആശയവിനിമയം നടത്തുന്നതെന്നും എർലിച്ച് തന്റെ ത്രെഡിൽ പറഞ്ഞു. “വൈറൽ വീഡിയോയിൽ നിന്ന് നിങ്ങൾക്ക് ഇതൊന്നും ലഭിക്കില്ല, പക്ഷേ ഡെവലപ്പർമാർക്കായുള്ള ഗൂഗിളിന്റെ ഡോക്യുമെന്റേഷനിൽ ഇത് വ്യക്തമാക്കിയിട്ടുണ്ട്,” എർലിച്ച് പറഞ്ഞു. വീഡിയോയിൽ കാണിച്ചിരിക്കുന്ന നാണയം, ഭൂമിശാസ്ത്ര ക്വിസ്, ബോൾ ആൻഡ് കപ്പ് മാറ്റൽ ഗെയിം എന്നിവ ഉപയോഗിച്ച് നടത്തിയ സ്ലീറ്റ് ഓഫ് ഹാൻഡ് തന്ത്രങ്ങൾ അദ്ദേഹം വിശദീകരിച്ചു.
വ്യാജ വീഡിയോ കാണിച്ച് ഗൂഗിൾ നിയമം ലംഘിച്ചോ എന്ന് എർലിച്ച് തന്റെ പോസ്റ്റിൽ ചോദിച്ചു. ഫെഡറൽ ട്രേഡ് കമ്മീഷൻ (എഫ്ടിസി) മാനദണ്ഡങ്ങൾ അനുസരിച്ച്, ഒരു പരസ്യം തെറ്റിദ്ധരിപ്പിക്കുന്നത് തടയാൻ ഒരു നിരാകരണം ആവശ്യമാണെന്ന് അദ്ദേഹം പറഞ്ഞു. “എഫ്ടിസി മാനദണ്ഡങ്ങൾ അനുസരിച്ച്, ഒരു പരസ്യം തെറ്റിദ്ധരിപ്പിക്കുന്നത് തടയാൻ ഒരു നിരാകരണം ആവശ്യമാണെങ്കിൽ, അത് പരസ്യത്തിൽ പ്രത്യക്ഷപ്പെടണം.* ഒരു പ്രത്യേക ബ്ലോഗ് പോസ്റ്റ് അത് മുറിക്കുന്നില്ല,” അദ്ദേഹം തന്റെ ട്വീറ്റിൽ പറഞ്ഞു.
വഞ്ചനയുടെ അവകാശവാദങ്ങൾ
ബ്ലൂംബെർഗ് ഒപ്പീനിയനിലെ ഒരു റിപ്പോർട്ട് അനുസരിച്ച്, ഡെമോയുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ ജെമിനിയുടെ ഔട്ട്പുട്ട് വളരെ മന്ദഗതിയിലാണ്. പ്രതികരണങ്ങൾ വേഗത്തിലായെന്ന് വീഡിയോയിൽ ഒരു നിരാകരണം ഉണ്ടെങ്കിലും, അത് ഏറ്റവും വലിയ വഞ്ചനയല്ലെന്ന് അവർ പറഞ്ഞു. ജെമിനി വീഡിയോ കാണുക പോലും ചെയ്തിട്ടില്ലെന്നും വീഡിയോയിൽ കേട്ട എല്ലാ പ്രതികരണങ്ങളും വീഡിയോയിൽ നിന്നുള്ള സ്റ്റിൽ ഫ്രെയിമുകൾക്കും ടെക്സ്റ്റ് പ്രോംപ്റ്റുകൾക്കുമുള്ള മറുപടികളാണെന്നും റിപ്പോർട്ടിൽ പറയുന്നു.
സംഭവത്തെത്തുടർന്ന് ഗൂഗിൾ വക്താവ് ബ്ലൂംബെർഗ് ഒപ്പീനിയനോട് പറഞ്ഞു, ‘ഫൂട്ടേജിൽ നിന്നുള്ള നിശ്ചല ഇമേജ് ഫ്രെയിമുകൾ ഉപയോഗിച്ചും ടെക്സ്റ്റ് വഴി പ്രേരിപ്പിക്കുകയും ചെയ്തു’. വീഡിയോ ‘ഡെവലപ്പർമാരെ പ്രചോദിപ്പിക്കാൻ’ ഉദ്ദേശിച്ചുള്ളതാണെന്ന് ജെമിനിയുടെ സഹ-നേതൃത്വം നൽകുന്ന ഓറിയോൾ വിന്യാൽസ് എക്സ് അവകാശപ്പെട്ടു.
“വീഡിയോയിലെ എല്ലാ ഉപയോക്തൃ പ്രോംപ്റ്റുകളും ഔട്ട്പുട്ടുകളും യഥാർത്ഥമാണ്, സംക്ഷിപ്തതയ്ക്കായി ചുരുക്കിയിരിക്കുന്നു. ജെമിനി ഉപയോഗിച്ച് നിർമ്മിച്ച മൾട്ടിമോഡൽ ഉപയോക്തൃ അനുഭവങ്ങൾ എങ്ങനെയായിരിക്കുമെന്ന് വീഡിയോ ചിത്രീകരിക്കുന്നു. ഡെവലപ്പർമാരെ പ്രചോദിപ്പിക്കാനാണ് ഞങ്ങൾ ഇത് നിർമ്മിച്ചത്,” അദ്ദേഹം തന്റെ ട്വീറ്റിൽ പറഞ്ഞു.
ഉപഭോക്തൃ വീക്ഷണകോണിൽ നിന്ന്, മോഡൽ വിശാലമായ തോതിൽ ആക്സസ് ചെയ്യുമ്പോൾ ഗൂഗിൾ ജെമിനിയുടെ യഥാർത്ഥ വിലയിരുത്തൽ സംഭവിക്കും. ജെമിനി എഐ പല മാനദണ്ഡങ്ങളിലും മറ്റ് ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് മോഡലുകളെക്കാൾ മികച്ചതാണെങ്കിലും, അതിന്റെ സ്രഷ്ടാക്കൾ തുടക്കം മുതൽ ഇത് പൂർണ്ണമല്ലെന്നും അത് ഇപ്പോഴും വികസിച്ചുകൊണ്ടിരിക്കുകയാണെന്നും ഊന്നിപ്പറഞ്ഞിട്ടുണ്ടെന്ന് അംഗീകരിക്കേണ്ടത് പ്രധാനമാണ്.
Experienced Researcher with a demonstrated history of working in the Deep Learning, Computer Vision
