കഴിഞ്ഞ കുറച്ച് വർഷങ്ങളായി, നാച്ചുറൽ ലാംഗ്വേജ് പ്രോസസിംഗിലെ (എൻഎൽപി) മുന്നേറ്റങ്ങൾ കാരണം ലാർജ് ലാംഗ്വേജ് മോഡലുകൾ (എൽഎൽഎം) ലോകമെമ്പാടുമുള്ള ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് ഡെവലപ്പർമാരിൽ നിന്ന് ശ്രദ്ധ നേടി. ഈ മോഡലുകൾ ടെക്സ്റ്റ് ജനറേഷനിലും ഗ്രഹണത്തിലും പുതിയ മാനദണ്ഡങ്ങൾ സ്ഥാപിച്ചു. എന്നിരുന്നാലും, ടെക്സ്റ്റ് ജനറേഷനിൽ പുരോഗതിയുണ്ടായിട്ടും, വാചക വിവരണങ്ങളുമായി പൊരുത്തപ്പെടുന്ന ചിത്രങ്ങൾ നിർമ്മിക്കുന്നത് ഇപ്പോഴും വെല്ലുവിളിയാണ്. ഇത് പരിഹരിക്കുന്നതിന്, ഡവലപ്പർമാർ “ജനറേറ്റീവ് വോക്കനുകളെ” അടിസ്ഥാനമാക്കിയുള്ള ഒരു നൂതന കാഴ്ചപ്പാടും ഭാഷാ ജനറേഷൻ സമീപനവും അവതരിപ്പിച്ചു.

പരിശീലന ഡാറ്റയ്ക്ക് സമഗ്രമായ ഇമേജ് വിവരണങ്ങളൊന്നും ആവശ്യമില്ലാത്ത വിവരണ രഹിത മൾട്ടിമോഡൽ ഡാറ്റ ജനറേഷനിൽ വളരെയധികം ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്ന രണ്ട് ഘട്ട പരിശീലന തന്ത്രമാണ് മിനിജിപിടി -5 ന് പിന്നിലെ അടിത്തറ. കൂടാതെ, മോഡലിന്റെ സമഗ്രത വർദ്ധിപ്പിക്കുന്നതിന്, മോഡൽ ഒരു ക്ലാസിഫയർ രഹിത മാർഗ്ഗനിർദ്ദേശ സംവിധാനം ഉൾക്കൊള്ളുന്നു, ഇത് ഇമേജ് ജനറേഷനായി ഒരു വോക്കിന്റെ ഫലപ്രാപ്തി വർദ്ധിപ്പിക്കുന്നു. പ്രാരംഭ ഘട്ടത്തിൽ, മിനിജിപിടി -5 ചട്ടക്കൂട് ശക്തമായ പ്രകടനവും എംഎംഡിഎലോഗ് ഡാറ്റാസെറ്റിൽ പരിശീലനം നേടിയ ബേസ് ലൈൻ ഡൈവർ മോഡലിനേക്കാൾ ഗണ്യമായ മെച്ചപ്പെടുത്തലും പ്രകടമാക്കി, കൂടാതെ വിഐഎസ്ടി ഡാറ്റാസെറ്റിൽ നടത്തിയ മാനുഷിക വിലയിരുത്തലുകളിൽ താരതമ്യപ്പെടുത്താവുന്നതും മികച്ചതുമായ മൾട്ടിമോഡൽ ഔട്ട്പുട്ടുകൾ നൽകാനുള്ള കഴിവ് നിരന്തരം പ്രകടമാക്കി, ഇത് വിവിധ മാനദണ്ഡങ്ങളിലുടനീളം അതിന്റെ പ്രകടനവും കാര്യക്ഷമതയും കൂടുതൽ ഉയർത്തിക്കാട്ടുന്നു.

MiniGPT5: ഒരു ആമുഖം

എൽഎൽഎം ചട്ടക്കൂടുകളുടെ സമീപകാല സംഭവവികാസങ്ങളും ഈ എൽഎൽഎം ചട്ടക്കൂടുകളെ അടിസ്ഥാനമാക്കിയുള്ള ആപ്ലിക്കേഷനുകളും ഉപയോഗിച്ച്, മൾട്ടിമീഡിയ ഫീച്ചർ ഇന്റഗ്രേഷൻ അതിന്റെ ജനപ്രീതിയിൽ വർദ്ധനവിന് സാക്ഷ്യം വഹിച്ച ഒരു മേഖലയാണ്, കാരണം അത്യാധുനിക ഉള്ളടക്ക സൃഷ്ടി ഉപകരണങ്ങൾ മുതൽ അത്യാധുനിക മൾട്ടിമോഡൽ ഡയലോഗ് ഏജന്റ് വരെ വിപുലമായ ആപ്ലിക്കേഷനുകളെ ശക്തിപ്പെടുത്തുന്ന ഒരു സുപ്രധാന മുന്നേറ്റമാണെന്ന് ഇത് തെളിയിക്കുന്നു. തുടർച്ചയായ ഗവേഷണവും വികസനവും ഉപയോഗിച്ച്, ടെക്സ്റ്റ്, വിഷ്വൽ ഡാറ്റ തടസ്സമില്ലാതെ സൃഷ്ടിക്കാൻ സൗകര്യമൊരുക്കുന്നതിനുള്ള പ്രവർത്തനങ്ങൾ നടക്കുന്ന ഘട്ടത്തിലാണ് ഭാഷയും ദർശന മാതൃകകളും. മൾട്ടിമോഡൽ ഡാറ്റ തടസ്സമില്ലാതെ സൃഷ്ടിക്കാനുള്ള എൽഎൽഎമ്മിന്റെ കഴിവ് ഇ-കൊമേഴ്സ്, മീഡിയ, വെർച്വൽ റിയാലിറ്റി എന്നിവയുൾപ്പെടെ വിവിധ ഡൊമെയ്നുകളിലുടനീളമുള്ള ഇടപെടലുകൾ വർദ്ധിപ്പിക്കാൻ സഹായിക്കും.

ആത്യന്തികമായി, വാചകപരവും ദൃശ്യപരവുമായ രീതികൾ ഉപയോഗിച്ച് സ്ഥിരവും യുക്തിസഹവുമായ രീതിയിൽ സമന്വയിപ്പിക്കാനും തിരിച്ചറിയാനും പ്രതികരിക്കാനും മോഡലുകളെ അനുവദിക്കുക എന്നതാണ് ലക്ഷ്യം, അങ്ങനെ വിവരങ്ങളുടെ ഒഴുക്ക് സമന്വയിപ്പിക്കുന്നതിലും യുക്തിസഹവും സ്ഥിരവുമായ ആഖ്യാനങ്ങൾ സൃഷ്ടിക്കുന്നതിലും നിർണായക പങ്ക് വഹിക്കുന്നു. ടെക്സ്റ്റ്വൽ, വിഷ്വൽ മോഡാലിറ്റികളുടെ ഒരു മിശ്രിതം കൈവരിക്കേണ്ടതിന്റെ ആവശ്യകത പ്രധാനമായും എൽഎൽഎമ്മുകളിൽ കൂടുതൽ ദ്രാവകവും സംയോജിതവും സംവേദനാത്മകവുമായ മൾട്ടിമോഡൽ ഇടപെടലുകളുടെ ആവശ്യകതയാണ്, ആത്യന്തികമായി മാറിമാറി വരുന്ന ഭാഷയും കാഴ്ച ജനറേഷനും നേടുക. എന്നിരുന്നാലും, എൽഎൽഎമ്മുകളിൽ സംയോജിതവും സംവേദനാത്മകവുമായ മൾട്ടിമോഡൽ ഇടപെടലുകൾ കൈവരിക്കുന്നത് നിരവധി വെല്ലുവിളികൾ നിറഞ്ഞ സങ്കീർണ്ണമായ ജോലിയാണ്

ടെക്സ്റ്റ് ജനറേഷൻ, ടെക്സ്റ്റ്-ഇമേജ് ജോഡികൾ പ്രോസസ്സ് ചെയ്യൽ എന്നിവയുടെ കാര്യത്തിൽ നിലവിലെ എൽഎൽഎം വളരെ കാര്യക്ഷമവും കഴിവുള്ളതുമാണെങ്കിലും, ഇമേജുകൾ ജനറേറ്റുചെയ്യുമ്പോൾ അവ തൃപ്തികരമായ പ്രകടനം നൽകുന്നില്ല. ഈ കാഴ്ചപ്പാടിന്റെയും ഭാഷാ മോഡലുകളുടെയും വികസനം വിഷയ കേന്ദ്രീകൃത ഡാറ്റയെ വളരെയധികം ആശ്രയിച്ചിരിക്കുന്നു, ഇത് സൃഷ്ടിച്ച ടെക്സ്റ്റിനെ അതിന്റെ അനുബന്ധ ചിത്രങ്ങളുമായി വിന്യസിക്കുന്നത് മോഡലുകൾക്ക് വെല്ലുവിളിയാണ്. അവസാനമായി, കൂടുതൽ ഫലപ്രദമായ തന്ത്രങ്ങൾ കൊണ്ടുവരേണ്ടതുണ്ട്, കാരണം അവരുടെ കഴിവുകൾ വർദ്ധിക്കുന്നതിനൊപ്പം, എൽഎൽഎമ്മുകളുടെ മെമ്മറി ആവശ്യകതകളും വർദ്ധിക്കുന്നു, പ്രത്യേകിച്ചും ഡൗൺസ്ട്രീം ജോലികൾ ചെയ്യുമ്പോൾ.

മുകളിൽ സൂചിപ്പിച്ച വെല്ലുവിളികളെ അഭിസംബോധന ചെയ്യുന്നതിനുള്ള ശ്രമത്തിൽ “ജനറേറ്റീവ് വോക്കനുകൾ” എന്ന ആശയം പരിചയപ്പെടുത്തുന്ന ഇന്റർലീവ്ഡ് ലാംഗ്വേജ് & വിഷൻ ജനറേറ്റിംഗ് അൽഗോരിതം ടെക്നിക്കായ മിനിജിപിടി -5 ഫ്രെയിംവർക്ക്. പ്രത്യേക വിഷ്വൽ ടോക്കണുകൾ ഉപയോഗിച്ച് ലാർജ് ലാംഗ്വേജ് മോഡലുകളെ സ്റ്റേബിൾ ഡിഫ്യൂഷൻ ടെക്നിക്കുകളുമായി സംയോജിപ്പിച്ചുകൊണ്ട് മൾട്ടിമോഡൽ ഡാറ്റ സൃഷ്ടിക്കുന്നതിനുള്ള ഒരു പുതിയ സമീപനം മിനിജിപിടി -5 ചട്ടക്കൂട് നിർദ്ദേശിക്കുന്നു. മിനിജിപിടി -5 ചട്ടക്കൂട് ഉപയോഗിക്കുന്ന നിർദ്ദിഷ്ട രണ്ട് ഘട്ട പരിശീലന രീതി വിവരണങ്ങളില്ലാത്ത ഒരു അടിസ്ഥാന ഘട്ടത്തിന്റെ പ്രാധാന്യം ഉയർത്തിക്കാട്ടുന്നു, കൂടാതെ പരിമിതമായ ഡാറ്റയുള്ള സാഹചര്യങ്ങളിൽ പോലും കാര്യക്ഷമമായ പ്രകടനം നൽകുന്നതിന് മോഡൽ തയ്യാറാക്കുന്നു.

എന്നാൽ നിലവിലുള്ള ചട്ടക്കൂടുകളിൽ നിന്ന് മിനിജിപിടി -5 മോഡലിനെ വേർതിരിക്കുന്നത് മിനിജിപിടി -5 ചട്ടക്കൂടിന്റെ ജനറിക് ഘട്ടങ്ങളിൽ ഡൊമെയ്ൻ നിർദ്ദിഷ്ട വ്യാഖ്യാനങ്ങൾ അടങ്ങിയിട്ടില്ല എന്നതാണ്. കൂടാതെ, ജനറേറ്റഡ് ടെക്സ്റ്റും അവയുമായി ബന്ധപ്പെട്ട ചിത്രങ്ങളും പരസ്പരം പൊരുത്തപ്പെടുന്നുവെന്ന് ഉറപ്പാക്കാൻ, മിനിജിപിടി -5 ചട്ടക്കൂട് ഒരു ഇരട്ട നഷ്ട തന്ത്രം വിന്യസിക്കുന്നു, ഇത് ക്ലാസിഫയർ രഹിത മാർഗ്ഗനിർദ്ദേശവും ജനറേറ്റീവ് വോക്കനുകളും ഉപയോഗിക്കുന്ന മിനിജിപിടി -5 ന്റെ സമീപനം കൂടുതൽ മെച്ചപ്പെടുത്തുന്നു. മിനിജിപിടി -5 ചട്ടക്കൂട് പരിശീലന കാര്യക്ഷമത ഒപ്റ്റിമൈസ് ചെയ്യുന്നു, കൂടാതെ മോഡൽ മികച്ച ട്യൂണിംഗിനായി അവരുടെ പാരാമീറ്റർ-കാര്യക്ഷമമായ തന്ത്രത്തിന് നന്ദി പറഞ്ഞ് മെമ്മറി പരിമിതികളെ അഭിസംബോധന ചെയ്യുന്നു.

നിങ്ങൾക്ക് ഒരു ദ്രുത സംഗ്രഹം നൽകുന്നതിന്, MiniGPT-5 ചട്ടക്കൂട്

പരമ്പരാഗത എൽഎൽഎമ്മുകളേക്കാൾ ചരിത്രപരമായി കൂടുതൽ ഫലപ്രദമാണെന്ന് തെളിയിക്കപ്പെട്ട ഒരു നൂതനവും ജനറിക് രീതിയെ പ്രതിനിധീകരിക്കുന്ന മൾട്ടിമോഡൽ എൻകോഡറുകൾ ഉപയോഗിക്കുന്ന ഒരു രീതി നിർദ്ദേശിക്കുന്നു, കൂടാതെ ഇന്റർലീവ്ഡ് ഭാഷയും വിഷ്വൽ ഔട്ട്പുട്ടുകളും സൃഷ്ടിക്കുന്നതിന് സ്റ്റേബിൾ ഡിഫ്യൂഷൻ ടെക്നിക്കുകളുമായി സംയോജിപ്പിച്ച ജനറേറ്റീവ് ടോക്കണുകൾ ഉപയോഗിക്കുന്നു. വിവരണ രഹിത മൾട്ടിമോഡൽ ഔട്ട്പുട്ട് സൃഷ്ടിക്കുന്നതിനുള്ള ഒരു ഇരട്ട-ഘട്ട പരിശീലന തന്ത്രം നിർദ്ദേശിക്കുന്നു, കൂടാതെ സൃഷ്ടിക്കുന്ന ഡാറ്റയുടെ ഗുണനിലവാരം കൂടുതൽ മെച്ചപ്പെടുത്തുന്നതിന് പരിശീലന വേളയിൽ ക്ലാസിഫയർ രഹിത മാർഗ്ഗനിർദ്ദേശം ഉൾപ്പെടുത്തുന്നു.

മിനിജിപിടി -5 മോഡൽ ഇനിപ്പറയുന്ന മേഖലകളിൽ നടത്തിയ മുൻ ഗവേഷണങ്ങളിൽ നിന്നും പ്രവർത്തനങ്ങളിൽ നിന്നും വളരെയധികം പ്രചോദനം ഉൾക്കൊണ്ടതാണ്

ടെക്സ്റ്റ് ടു ഇമേജ് ജനറേഷൻ: വാചക വിവരണങ്ങൾ അതത് വിഷ്വൽ പ്രാതിനിധ്യങ്ങളിലേക്കും ടെക്സ്റ്റ് ഇമേജ് മോഡലുകളിലേക്കും പരിവർത്തനം ചെയ്യുന്നത് സുഗമമാക്കുക.

എം എൽ എൽ എമ്മുകൾ അല്ലെങ്കിൽ മൾട്ടിമോഡൽ ലാർജ് ലാംഗ്വേജ് മോഡലുകൾ: മൾട്ടിമോഡൽ ഡാറ്റ സൃഷ്ടിക്കുന്നതിൽ അവയുടെ ആപ്ലിക്കേഷനുകളും ഫലപ്രാപ്തിയും പര്യവേക്ഷണം ചെയ്യുന്നതിന് മുൻകൂട്ടി പരിശീലനം ലഭിച്ച എൽ എൽ എം മോഡലുകൾ ഉപയോഗിക്കുന്നു

വലിയ ഭാഷാ മോഡലുകളുള്ള മൾട്ടിമോഡൽ ജനറേഷൻ: ഭാഷയും വിഷ്വൽ ഡാറ്റ ജനറേഷനും തടസ്സമില്ലാതെ സമന്വയിപ്പിക്കുന്നതിന് ഒരു എൽഎൽഎമ്മിന്റെ കഴിവുകൾ വർദ്ധിപ്പിക്കുക.

MiniGPT-5: രീതി, വാസ്തുവിദ്യ, ചട്ടക്കൂട്

മൾട്ടിമോഡൽ ഡാറ്റ ജനറേഷൻ കഴിവുകളുള്ള വലിയ ഭാഷാ മോഡലുകൾ സുഗമമാക്കുന്നതിന്, മിനിജിപിടി -5 മോഡൽ ഇമേജ് ജനറേഷൻ മോഡലുകളിലേക്കും പ്രീട്രെയിൻ ചെയ്ത മൾട്ടിമോഡൽ വലിയ ഭാഷാ മോഡലുകളിലേക്കും ടെക്സ്റ്റ് സമന്വയിപ്പിക്കാൻ ലക്ഷ്യമിടുന്ന ഒരു ചട്ടക്കൂട് അവതരിപ്പിക്കുന്നു. അസംസ്കൃത ചിത്രങ്ങളിൽ നേരിട്ട് പരിശീലനം നേടുന്നതിലൂടെ വ്യത്യസ്ത ഡൊമെയ്നുകളിലുടനീളം പ്രത്യക്ഷപ്പെടുന്ന പൊരുത്തക്കേടുകൾ പരിഹരിക്കാൻ ഡവലപ്പർമാരെ അനുവദിക്കുന്ന പ്രത്യേക വിഷ്വൽ ടോക്കണുകളായ “ജനറേറ്റീവ് വോക്കനുകൾ” മിനിജിപിടി -5 ചട്ടക്കൂട് കൂടുതൽ അവതരിപ്പിക്കുന്നു. എൽഎൽഎമ്മുകൾ സൃഷ്ടിക്കുന്ന മൾട്ടിമോഡൽ ഡാറ്റയുടെ ഗുണനിലവാരം കൂടുതൽ വർദ്ധിപ്പിക്കുന്നതിന്, മിനിജിപിടി -5 ചട്ടക്കൂട് ഒരു ക്ലാസിഫയർ രഹിത തന്ത്രവും നൂതനമായ രണ്ട് ഘട്ട പരിശീലന രീതിയും അവതരിപ്പിക്കുന്നു. മിനിജിപിടി-5 ചട്ടക്കൂട് വിശദമായി പരിശോധിക്കാം.

മൾട്ടിമോഡൽ ഇൻപുട്ട് സ്റ്റേജ്

സമീപകാലത്ത് എൽഎൽഎമ്മുകളുടെ സംഭവവികാസങ്ങൾ എൽഎൽഎമ്മുകളുടെ മൾട്ടിമോഡൽ ഗ്രഹണ കഴിവുകൾ വെളിച്ചത്തിലേക്ക് കൊണ്ടുവന്നു, ഇത് ഇമേജുകൾ ഒരു തുടർച്ചയായ ഇൻപുട്ടായി പ്രോസസ്സ് ചെയ്യാൻ പ്രാപ്തമാക്കുന്നു. മൾട്ടിമോഡൽ ഡാറ്റ ജനറേഷനിലേക്ക് എൽഎൽഎമ്മുകളുടെ മൾട്ടിമോഡൽ ഗ്രഹണ കഴിവുകൾ വികസിപ്പിക്കാനുള്ള ശ്രമത്തിൽ വിഷ്വൽ സവിശേഷതകൾ ഔട്ട്പുട്ട് ചെയ്യുന്നതിന് മിനിജിപിടി -5 ചട്ടക്കൂട് പ്രത്യേകം രൂപകൽപ്പന ചെയ്ത ജനറേറ്റീവ് വോക്കുകൾ ഉപയോഗിക്കുന്നു. കൂടാതെ, മിനിജിപിടി -5 ചട്ടക്കൂട് എൽഎൽഎം ചട്ടക്കൂട് ഉപയോഗിച്ച് മൾട്ടിമോഡൽ ഔട്ട്പുട്ട് പഠനത്തിനായി പാരാമീറ്റർ കാര്യക്ഷമവും അത്യാധുനികവുമായ മികച്ച ട്യൂണിംഗ് ടെക്നിക്കുകൾ ഉപയോഗിക്കുന്നു.

മൾട്ടിമോഡൽ എൻകോഡിംഗ്

മിനിജിപിടി -5 ചട്ടക്കൂടിലെ പ്രീട്രെയിൻഡ് വിഷ്വൽ എൻകോഡർ ഓരോ ഇൻപുട്ട് ഇമേജിനെയും ഒരു സവിശേഷതയായി പരിവർത്തനം ചെയ്യുന്നു, കൂടാതെ ഓരോ ടെക്സ്റ്റ് ടോക്കണും ഒരു വെക്റ്ററായി ഉൾച്ചേർത്തിരിക്കുന്നു, കൂടാതെ ഈ എംബഡിംഗ്സ് പരസ്പരം സംയോജിപ്പിക്കുമ്പോൾ ഇൻപുട്ട് പ്രോംപ്റ്റ് സവിശേഷതകൾ സൃഷ്ടിക്കപ്പെടുന്നു.

വലിയ ഭാഷാ മോഡലുകളിൽ വോക്കനുകൾ ചേർക്കുന്നു

പരമ്പരാഗതമായി, ലാർജ് ലാംഗ്വേജ് മോഡൽ പദാവലിയിൽ വാചക ടോക്കണുകൾ മാത്രമേ അടങ്ങിയിട്ടുള്ളൂ, അതിനാലാണ് മിനിജിപിടി -5 ചട്ടക്കൂടിൽ പ്രവർത്തിക്കുന്ന ഡവലപ്പർമാർക്ക് ജനറേറ്റീവ്, പരമ്പരാഗത എൽഎൽഎമ്മുകൾ തമ്മിലുള്ള വിടവ് നികത്തേണ്ടിവന്നത്. മിനിജിപിടി -5 ചട്ടക്കൂട് എൽഎൽഎമ്മിന്റെ പദാവലിയിലേക്ക് ജനറേറ്റീവ് ടോക്കണുകളായി ഒരു കൂട്ടം പ്രത്യേക ടോക്കണുകൾ അവതരിപ്പിക്കുന്നു. തുടർന്നുള്ള ഇമേജ് ജനറേഷനായി ഈ പ്രത്യേക വോക്കണുകൾക്കായി എൽഎൽഎമ്മിന്റെ മറഞ്ഞിരിക്കുന്ന ഔട്ട്പുട്ട് അവസ്ഥയെ ചട്ടക്കൂട് ഉപയോഗപ്പെടുത്തുന്നു, കൂടാതെ ഇന്റർലീവ്ഡ് ഇമേജുകൾ ചേർക്കുന്നത് വോക്കനുകളുടെ സ്ഥാനം പ്രതിനിധീകരിക്കുന്നു.

PEFT അല്ലെങ്കിൽ Parameter Efficient Fine Tuning

എൽഎൽഎമ്മുകളെ പരിശീലിപ്പിക്കാൻ ഉപയോഗിക്കുന്ന ഒരു നിർണായക ആശയമാണ് പിഇഎഫ്ടി അല്ലെങ്കിൽ പാരാമീറ്റർ എഫിഷ്യന്റ് ഫൈൻ ട്യൂണിംഗ്, എന്നിട്ടും, മൾട്ടിമോഡൽ ക്രമീകരണങ്ങളിൽ പിഇഎഫ്ടിയുടെ ആപ്ലിക്കേഷനുകൾ ഇപ്പോഴും വലിയ അളവിൽ പര്യവേക്ഷണം ചെയ്തിട്ടില്ല. പ്രോംപ്റ്റുകളോ നിർദ്ദേശങ്ങളോ നന്നായി മനസ്സിലാക്കാൻ മോഡലിനെ പരിശീലിപ്പിക്കുന്നതിനും സീറോ-ഷോട്ട് അല്ലെങ്കിൽ നോവൽ പരിതസ്ഥിതികളിൽ മോഡലിന്റെ മൊത്തത്തിലുള്ള പ്രകടനം വർദ്ധിപ്പിക്കുന്നതിനും മിനിജിപിടി -4 ചട്ടക്കൂടിന്റെ എൻകോഡറിന് മുകളിൽ പാരാമീറ്റർ എഫിഷ്യന്റ് ഫൈൻ ട്യൂണിംഗ് മിനിജിപിടി -5 ചട്ടക്കൂട് ഉപയോഗിക്കുന്നു.

മൾട്ടിമോഡൽ ഔട്ട്പുട്ട് ജനറേഷൻ

ജനറേറ്റീവ് മോഡലിനെ ജനറേറ്റീവ് ടോക്കണുകളുമായി കൃത്യമായി വിന്യസിക്കുന്നതിന്, മിനിജിപിടി -5 ചട്ടക്കൂട് അളവുകളുമായി പൊരുത്തപ്പെടുന്നതിന് ഒരു കോംപാക്റ്റ് മാപ്പിംഗ് മൊഡ്യൂൾ രൂപീകരിക്കുന്നു, കൂടാതെ മറഞ്ഞിരിക്കുന്ന വ്യാപന മോഡൽ നഷ്ടം, ടെക്സ്റ്റ് സ്പേസ് നഷ്ടം എന്നിവയുൾപ്പെടെയുള്ള സൂപ്പർവൈസറി നഷ്ടങ്ങൾ ഉൾക്കൊള്ളുന്നു. മറഞ്ഞിരിക്കുന്ന ഡിഫ്യൂഷൻ സൂപ്പർവൈസറി നഷ്ടം ഉചിതമായ വിഷ്വൽ സവിശേഷതകളെ ടോക്കണുകളുമായി നേരിട്ട് വിന്യസിക്കുന്നു, അതേസമയം ടെക്സ്റ്റ് സ്പേസ് നഷ്ടം ടോക്കണുകളുടെ ശരിയായ സ്ഥാനങ്ങൾ പഠിക്കാൻ മോഡലിനെ സഹായിക്കുന്നു. മിനിജിപിടി -5 ചട്ടക്കൂടിലെ ജനറേറ്റീവ് വോക്കനുകൾ ഇമേജുകളാൽ നേരിട്ട് നയിക്കപ്പെടുന്നതിനാൽ, മിനിജിപിടി -5 ചട്ടക്കൂടിന് ചിത്രങ്ങൾക്ക് സമഗ്രമായ വിവരണം ആവശ്യമില്ല, ഇത് വിവരണ രഹിത പഠനത്തിന് കാരണമാകുന്നു.

Text Space Generation

മിനിജിപിടി -5 ചട്ടക്കൂട് ടെക്സ്റ്റ് സ്പേസിൽ വോക്കനുകളും ടെക്സ്റ്റുകളും സംയുക്തമായി സൃഷ്ടിക്കുന്നതിനുള്ള കാഷ്വൽ ലാംഗ്വേജ് മോഡലിംഗ് രീതി പിന്തുടരുന്നു, പരിശീലന ഘട്ടത്തിൽ, ഡവലപ്പർമാർ ഗ്രൗണ്ട് ട്രൂത്ത് ഇമേജുകളുടെ സ്ഥാനത്തേക്ക് വോക്കണുകൾ ചേർക്കുകയും ടെക്സ്റ്റ് ജനറേഷനിൽ വോക്കണുകൾ പ്രവചിക്കാൻ മോഡലിനെ പരിശീലിപ്പിക്കുകയും ചെയ്യുന്നു.

ഇമേജ് ജനറേഷനായി മാപ്പിംഗ് വോക്കൻ സവിശേഷതകൾ

ടെക്സ്റ്റ് സ്പേസ് സൃഷ്ടിച്ച ശേഷം, ഫ്രെയിംവർക്ക് മറഞ്ഞിരിക്കുന്ന ഔട്ട്പുട്ട് അവസ്ഥയെ ടെക്സ്റ്റിന്റെ സോപാധിക ഫീച്ചർ സ്പേസുമായി ഇമേജ് ജനറേഷൻ മോഡലിലേക്ക് വിന്യസിക്കുന്നു. ഡ്യുവൽ ലെയർ എം എൽ പി മോഡൽ, പഠിക്കാവുന്ന ഡീകോഡർ ഫീച്ചർ സീക്വൻസ്, നാല് ലെയർ എൻകോഡർ-ഡീകോഡർ ട്രാൻസ്ഫോർമർ മോഡൽ എന്നിവ ഉൾപ്പെടുന്ന ഒരു ഫീച്ചർ മാപ്പർ മൊഡ്യൂളിനെയും ചട്ടക്കൂട് പിന്തുണയ്ക്കുന്നു.

എൽഡിഎം അല്ലെങ്കിൽ ലാറ്റന്റ് ഡിഫ്യൂഷൻ മോഡൽ ഉപയോഗിച്ച് ഇമേജ് ജനറേഷൻ

ഡീനോയിസിംഗ് പ്രക്രിയയിൽ ആവശ്യമായ ഇമേജുകൾ സൃഷ്ടിക്കുന്നതിന്, ചട്ടക്കൂട് മാപ്പിംഗ് സവിശേഷതകൾ ഒരു സോപാധിക ഇൻപുട്ടായി ഉപയോഗിക്കുന്നു. മാർഗ്ഗനിർദ്ദേശത്തിനായി ചട്ടക്കൂട് ഒരു എൽഡിഎം അല്ലെങ്കിൽ ലാറ്റന്റ് ഡിഫ്യൂഷൻ മോഡൽ ഉപയോഗിക്കുന്നു, പരിശീലന ഘട്ടത്തിൽ, ഗ്രൗണ്ട് ട്രൂത്ത് ഇമേജ് ആദ്യം മുൻകൂട്ടി പരിശീലനം ലഭിച്ച വിഎഇ ഉപയോഗിച്ച് ഒരു മറഞ്ഞിരിക്കുന്ന സവിശേഷതയായി പരിവർത്തനം ചെയ്യുന്നു, തുടർന്ന് ഡെവലപ്പർമാർക്ക് കുറച്ച് ശബ്ദം ചേർത്തുകൊണ്ട് മറഞ്ഞിരിക്കുന്ന ശബ്ദ സവിശേഷത ലഭിക്കുന്നു.

മിനിജിപിടി -5 ചട്ടക്കൂട് വിന്യസിച്ച സമഗ്രമായ സമീപനം ഡെവലപ്പർമാർക്ക് പ്രത്യേക ടോക്കണുകൾ ഉപയോഗിച്ച്, പ്രീട്രെയിൻഡ് മോഡലുകളുടെ കഴിവുകൾ പ്രയോജനപ്പെടുത്തുന്നതിനും നൂതന പരിശീലന ടെക്നിക്കുകൾ ഉപയോഗിക്കുന്നതിനും വിഷ്വൽ, ടെക്സ്റ്റ് ഘടകങ്ങൾ സൃഷ്ടിക്കുന്നതിനും അനുവദിക്കുന്നു.

MiniGPT-5 : പരിശീലനവും ഫലങ്ങളും

മിനിജിപിടി -5 ചട്ടക്കൂടിൽ പ്രവർത്തിക്കുമ്പോൾ, പരിമിതമായ ഇന്റർലീവ്ഡ് ടെക്സ്റ്റ്-ആൻഡ്-ഇമേജ് ഡാറ്റാസെറ്റിൽ നേരിട്ട് പരിശീലനം നൽകുന്നത് ഗുണനിലവാരം കുറയുന്നതിനും ഇമേജും ടെക്സ്റ്റ് ഡൊമെയ്നുകളും തമ്മിലുള്ള ഗണ്യമായ ഡൊമെയ്ൻ മാറ്റം കണക്കിലെടുക്കുമ്പോൾ തെറ്റായ ക്രമീകരണത്തിനും കാരണമാകുമെന്ന് ഡവലപ്പർമാർ നിരീക്ഷിച്ചു. ഈ പ്രശ്നം ലഘൂകരിക്കാൻ, ഡവലപ്പർമാർ രണ്ട് വ്യത്യസ്ത പരിശീലന തന്ത്രങ്ങൾ സ്വീകരിച്ചു,

വ്യാപന പ്രക്രിയയിൽ ജനറേറ്റീവ് ടോക്കണുകളുടെ ഫലപ്രാപ്തി വർദ്ധിപ്പിക്കുന്ന ക്ലാസിഫയർ-ഫ്രീ ഗൈഡൻസ് ടെക്നിക്കുകളുടെ സംയോജനം ഉൾക്കൊള്ളുന്നു. രണ്ടാമത്തെ തന്ത്രത്തെ രണ്ട് ഘട്ടങ്ങളായി തിരിച്ചിരിക്കുന്നു, ഒരു പ്രാരംഭ പ്രീ-ട്രെയിനിംഗ് ഘട്ടം പ്രാഥമികമായി പരുക്കൻ സവിശേഷതകൾ വിന്യസിക്കുന്നതിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു. ഫീച്ചർ പഠനം സുഗമമാക്കുന്ന ഒരു മികച്ച ട്യൂണിംഗ് ഘട്ടം.

CFG അല്ലെങ്കിൽ ക്ലാസിഫയർ സൗജന്യ മാർഗ്ഗനിർദ്ദേശം

മൾട്ടിമോഡൽ ജനറേഷനായി സിഎഫ്ജിയെ ആദ്യം പ്രയോജനപ്പെടുത്താനുള്ള ആശയം സൃഷ്ടിക്കപ്പെട്ട ഇമേജുകളും ടെക്സ്റ്റുകളും തമ്മിലുള്ള സ്ഥിരതയും യുക്തിയും വർദ്ധിപ്പിക്കാനുള്ള ശ്രമത്തിന്റെ ഫലമായാണ് വന്നത്, കൂടാതെ ടെക്സ്റ്റ് ടു ഇമേജ് ഡിഫ്യൂഷൻ പ്രക്രിയയിൽ സിഎഫ്ജി അവതരിപ്പിക്കുന്നു. നിബന്ധനകളില്ലാത്തതും സോപാധികവുമായ തലമുറയിൽ പരിശീലനം നൽകുന്നതിലൂടെ, ജനറേറ്റീവ് മോഡലിന് മെച്ചപ്പെട്ട സോപാധിക ഫലങ്ങൾ നേടാൻ കഴിയുമെന്ന് ഈ രീതി നിരീക്ഷിക്കുന്നു.

രണ്ട് ഘട്ട പരിശീലന തന്ത്രം

ടെക്സ്റ്റ്-ഇമേജ് ജനറേഷനും ശുദ്ധമായ ടെക്സ്റ്റ് ജനറേഷനും തമ്മിൽ നിരീക്ഷിച്ച ഗണ്യമായ ഡൊമെയ്ൻ മാറ്റം കണക്കിലെടുക്കുമ്പോൾ, മിനിജിപിടി -5 ചട്ടക്കൂട് പരിശീലനത്തിനായി രണ്ട് ഘട്ട തന്ത്രം ഉപയോഗിക്കുന്നു

യൂണിമോഡൽ അലൈൻമെന്റ് സ്റ്റേജ് അല്ലെങ്കിൽ യുഎഎസ്, മൾട്ടിമോഡൽ ലേണിംഗ് സ്റ്റേജ് അല്ലെങ്കിൽ എം എൽ എസ്.

തുടക്കത്തിൽ, ഫ്രെയിംവർക്ക് ഇമേജ് ജനറേഷൻ സവിശേഷതകളെ സിംഗിൾ ടെക്സ്റ്റ്-ഇമേജ് ജോഡി ഡാറ്റാസെറ്റുകളിലെ വോക്കൻ സവിശേഷതയുമായി വിന്യസിക്കുന്നു, അവിടെ ഓരോ ഡാറ്റാ സാമ്പിളിലും ഒരു വാചകം മാത്രമേ അടങ്ങിയിട്ടുള്ളൂ, കൂടാതെ ടെക്സ്റ്റ് സാധാരണയായി ഇമേജ് അടിക്കുറിപ്പാണ്. ഈ ഘട്ടത്തിൽ, അടിക്കുറിപ്പുകൾ എൽഎൽഎം ഇൻപുട്ടുകളായി ഉപയോഗിച്ച് വോക്കനുകൾ സൃഷ്ടിക്കാൻ ചട്ടക്കൂട് എൽഎൽഎമ്മിനെ അനുവദിക്കുന്നു.

യു എ എസ് വിജയകരമായി നടപ്പിലാക്കിക്കഴിഞ്ഞാൽ, മോഡലിന് ഒരൊറ്റ ടെക്സ്റ്റ് വിവരണങ്ങൾക്കായി ഇമേജുകൾ സൃഷ്ടിക്കാൻ കഴിയും, പക്ഷേ ടെക്സ്റ്റ്-ഇമേജ് ജോഡികൾ ഉൾപ്പെടെയുള്ള പരസ്പരബന്ധിത ഭാഷയുമായും വിഷൻ ജനറേഷനുമായും പോരാടുന്നു, കൂടാതെ ഇമേജ്, ടെക്സ്റ്റ് ജനറേഷൻ എന്നിവയ്ക്ക് സങ്കീർണ്ണമായ ന്യായവാദം ആവശ്യമാണ്. ഈ തടസ്സം പരിഹരിക്കുന്നതിന്, ഡെവലപ്പർമാർ പിഇഎഫ്ടി പാരാമീറ്ററുകൾ ഉപയോഗിച്ച് വിഐഎസ്ടി പോലുള്ള ഇന്റർലീവ് വിഷൻ ആൻഡ് ലാംഗ്വേജ് ഡാറ്റാസെറ്റുകൾ ഉപയോഗിച്ച് മിനിജിപിടി -5 ചട്ടക്കൂട് കൂടുതൽ മെച്ചപ്പെടുത്തി. ഈ ഘട്ടത്തിൽ, ചട്ടക്കൂട് ഡാറ്റാസെറ്റിൽ നിന്ന് മൂന്ന് വ്യത്യസ്ത ജോലികൾ നിർമ്മിക്കുന്നു

Text Only Generation : അടുത്ത ചിത്രത്തിന് നൽകിയിരിക്കുന്ന അനുബന്ധ ടെക്സ്റ്റ് സൃഷ്ടിക്കുന്നു. ഇമേജ് ഒൺലി ജനറേഷൻ: അടുത്ത വാചകത്തിൽ നൽകിയിരിക്കുന്ന അനുബന്ധ ചിത്രം സൃഷ്ടിക്കുന്നു. മൾട്ടിമോഡൽ ജനറേഷൻ: നൽകിയിരിക്കുന്ന സന്ദർഭം ഉപയോഗിച്ച് ടെക്സ്റ്റ് ഇമേജ് ജോഡികൾ സൃഷ്ടിക്കുന്നു.

MiniGPT-5: മാനദണ്ഡങ്ങളും ഫലങ്ങളും

മൾട്ടിമോഡൽ ജനറേഷനിലെ പ്രകടനം സമഗ്രമായി വിലയിരുത്തുന്നതിന്, മിനിജിപിടി -5 വികസന ടീം അതിന്റെ പ്രകടനം ഡിവർ, ഗിൽ, ഫൈൻ ട്യൂൺഡ് യൂണിമോഡൽ ജനറേഷൻ മോഡൽ എന്നിവയുൾപ്പെടെയുള്ള മറ്റ് പ്രമുഖ ബേസ് ലൈൻ മോഡലുകളുമായി താരതമ്യം ചെയ്യുന്നു, താരതമ്യം ചുവടെയുള്ള പട്ടികയിൽ പ്രദർശിപ്പിച്ചിരിക്കുന്നു.

സന്ദർഭമനുസരിച്ച് മൾട്ടിമോഡൽ ഔട്ട്പുട്ട് അർത്ഥവത്തായിരിക്കാമെന്ന് മിനിജിപിടി -5 ചട്ടക്കൂട് മനസ്സിലാക്കുന്നു, എന്നിരുന്നാലും ഇത് ഗ്രൗണ്ട് റിയാലിറ്റിയിൽ നിന്ന് വ്യത്യസ്തമായിരിക്കാം, ഇതാണ് മിനിജിപിടി -5 ചട്ടക്കൂട് മോഡലിന്റെ പ്രകടനം വിലയിരുത്തുന്നതിനും വിലയിരുത്തുന്നതിനും മനുഷ്യ ഇൻപുട്ടുകൾ ഉൾപ്പെടുത്തുന്നതിനുള്ള പ്രധാന കാരണം. മൊത്തത്തിൽ, മൾട്ടിമോഡൽ ജോലികൾക്കായുള്ള മിനിജിപിടി -5 ചട്ടക്കൂടിന്റെ ഫലപ്രാപ്തി മൂന്ന് കാഴ്ചപ്പാടുകൾ ഉപയോഗിച്ച് അളക്കുന്നു.

ഭാഷാ തുടർച്ച: സൃഷ്ടിച്ച ഉള്ളടക്കം നൽകിയ സന്ദർഭവുമായി തടസ്സമില്ലാതെ യോജിക്കുന്നുണ്ടോ എന്ന് വിലയിരുത്തുക. ഇമേജ് ക്വാളിറ്റി: സൃഷ്ടിക്കപ്പെടുന്ന ചിത്രത്തിന്റെ പ്രസക്തിയും വ്യക്തതയും വിലയിരുത്തൽ അല്ലെങ്കിൽ വിലയിരുത്തൽ. മൾട്ടിമോഡൽ കോഹെറൻസ്: സംയോജിത ടെക്സ്റ്റ് ഇമേജ് ഔട്ട്പുട്ട് പ്രാരംഭ സന്ദർഭവുമായി സമന്വയിപ്പിക്കുന്നുണ്ടോ എന്ന് നിർണ്ണയിക്കാൻ.

വി.ഐ.എസ്.ടി അവസാന ഘട്ട വിലയിരുത്തൽ

പരീക്ഷണങ്ങളുടെ ആദ്യ ഘട്ടത്തിൽ, മിനിജിപിടി -5 ചട്ടക്കൂട് ബന്ധപ്പെട്ട ഇമേജുകൾ സൃഷ്ടിക്കാൻ ലക്ഷ്യമിടുന്നു, ചുവടെയുള്ള പട്ടിക ഈ ക്രമീകരണത്തിൽ നിന്ന് ലഭിച്ച ഫലങ്ങൾ സംഗ്രഹിക്കുന്നു.

കാണാൻ കഴിയുന്നതുപോലെ, മൂന്ന് ക്രമീകരണങ്ങളിലെയും മിനിജിപിടി -5 ചട്ടക്കൂടിന് മികച്ച രീതിയിൽ ട്യൂൺ ചെയ്ത എസ്ഡി 2 ചട്ടക്കൂടിനെ മറികടക്കാൻ കഴിയും, അങ്ങനെ മിനിജിപിടി -5 പൈപ്പ് ലൈനിന്റെ ഫലപ്രാപ്തി ഉയർത്തിക്കാട്ടുന്നു.

മുകളിലുള്ള ചിത്രം മിനിജിപിടി -5 ചട്ടക്കൂടിന്റെ പ്രകടനത്തെ എസ്-ബെർട്ട്, റൂജ്-എൽ, മെറ്റിയോർ പെർഫോമൻസ് മെട്രിക്സിലെ മികച്ച ട്യൂൺ ചെയ്ത മിനിജിപിടി -4 ചട്ടക്കൂടുമായി താരതമ്യം ചെയ്യുന്നു. മൾട്ടിമോഡൽ കോംപ്രിഹെൻഷൻ ജോലികൾ നിർവഹിക്കുമ്പോൾ ജനറേറ്റീവ് വോക്കനുകളുടെ ഉപയോഗം ചട്ടക്കൂടിന്റെ പ്രകടനത്തെ പ്രതികൂലമായി ബാധിക്കില്ലെന്ന് ഫലങ്ങൾ സൂചിപ്പിക്കുന്നു. മൾട്ടിമോഡൽ ഗ്രഹണത്തിനുള്ള യഥാർത്ഥ മോഡലിന്റെ കഴിവിൽ വിട്ടുവീഴ്ച ചെയ്യാതെ ഉയർന്ന നിലവാരമുള്ളതും യോജിച്ചതുമായ ഇമേജുകൾ സൃഷ്ടിക്കുന്നതിന് വിശാലമായ ഡാറ്റയിലുടനീളം ലോംഗ്-ഹൊറിസോണ്ടൽ മൾട്ടിമോഡൽ ഇൻപുട്ട് പ്രോംപ്റ്റുകൾ ഉപയോഗിക്കാൻ മിനിജിപിടി -5 ചട്ടക്കൂടിന് കഴിയുമെന്നും ഫലങ്ങൾ തെളിയിക്കുന്നു.

മൾട്ടിമോഡൽ കോഹെറൻസ്, ഇമേജ് ക്വാളിറ്റി, ഭാഷാ തുടർച്ച എന്നിവയുടെ വശങ്ങളിൽ നിന്ന് മൾട്ടിമോഡൽ ജനറേഷനായി 5,000 സാമ്പിളുകളിലെ മൂന്ന് ചട്ടക്കൂടുകളുടെ പ്രകടനം മുകളിലുള്ള പട്ടിക താരതമ്യം ചെയ്യുന്നു. നിരീക്ഷിക്കാൻ കഴിയുന്നതുപോലെ, മിനിജിപിടി -5 ചട്ടക്കൂട് മറ്റ് രണ്ട് അടിസ്ഥാന മോഡലുകളെക്കാൾ 70 ശതമാനത്തിലധികം കേസുകൾ കൂടുതലാണ്. മറുവശത്ത്, ചുവടെയുള്ള പട്ടിക സിംഗിൾ ഇമേജുകളുടെ തലമുറയ്ക്കായി സിസി 3 എം മൂല്യനിർണ്ണയ ഡാറ്റാസെറ്റിലെ മിനിജിപിടി -5 ചട്ടക്കൂടിന്റെ പ്രകടനം പ്രകടമാക്കുന്നു. ഡാറ്റാ പരിമിതികൾക്ക് നന്ദി, സ്റ്റേബിൾ ഡിഫ്യൂഷൻ ഉപയോഗിച്ച് ഉപയോഗിക്കുമ്പോൾ ഡവലപ്പർമാർ വോക്കൻ വിന്യാസത്തിന് ഒരു വിടവ് കണ്ടെത്തി. ഈ പരിമിതി ഉണ്ടായിരുന്നിട്ടും, മിനിജിപിടി -5 ചട്ടക്കൂട് എല്ലാ അളവുകളിലും നിലവിലെ അത്യാധുനിക ബേസ് ലൈൻ ഗിൽ ചട്ടക്കൂടിനെക്കാൾ മികച്ചതാണ്.

ഉപസംഹാരം

മൾട്ടിമോഡൽ ഡാറ്റ സൃഷ്ടിക്കുന്നതിന് എൽഎൽഎമ്മുകളുടെ കഴിവുകൾ ഉപയോഗപ്പെടുത്താനുള്ള ശ്രമത്തിൽ “ജനറേറ്റീവ് വോക്കൻസ്” എന്ന ആശയം പരിചയപ്പെടുത്തുന്ന ഇന്റർലീവ്ഡ് ലാംഗ്വേജ് & വിഷൻ ജനറേറ്റിംഗ് അൽഗോരിതം ടെക്നിക്കായ മിനിജിപിടി -5 നെക്കുറിച്ച് ഈ ലേഖനത്തിൽ ഞങ്ങൾ സംസാരിച്ചു. നിലവിലെ ബേസ് ലൈൻ, അത്യാധുനിക മോഡലുകളുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ പ്രകടനത്തിലും കാര്യക്ഷമതയിലും ഗണ്യമായ മെച്ചപ്പെടുത്തലുകൾ സൂചിപ്പിക്കുന്ന ഫലങ്ങൾക്കൊപ്പം മിനിജിപിടി -5 ചട്ടക്കൂടിന്റെ അവശ്യ ഘടകങ്ങളെക്കുറിച്ചും മൊത്തത്തിലുള്ള വാസ്തുവിദ്യയെക്കുറിച്ചും ഞങ്ങൾ സംസാരിച്ചു. മൾട്ടിമോഡൽ ഉള്ളടക്കത്തിലും ഡാറ്റാ ജനറേഷൻ ഡൊമെയ്നിലും ഒരു പുതിയ മാനദണ്ഡം സ്ഥാപിക്കാൻ മിനിജിപിടി -5 ആഗ്രഹിക്കുന്നു, കൂടാതെ അതേ പ്രശ്നം പരിഹരിക്കാൻ ശ്രമിക്കുമ്പോൾ മുൻ മോഡലുകൾ നേരിടുന്ന വെല്ലുവിളികൾ പരിഹരിക്കാനും ലക്ഷ്യമിടുന്നു.

Reference: https://github.com/eric-ai-lab/MiniGPT-5