കാർനെഗി മെല്ലൺ യൂണിവേഴ്സിറ്റി, സാൻ ഡീഗോ സ്റ്റേറ്റ് യൂണിവേഴ്സിറ്റി, സ്റ്റാൻഫോർഡ് യൂണിവേഴ്സിറ്റി ടീം എന്നിവിടങ്ങളിലെ ഗവേഷകർ ‘ഗൗസിയൻ അഡാപ്റ്റീവ് അറ്റൻഷൻ ഈസ് യൂ യൂനിറ്റീവ് എനിഗേറ്റ്: മൾട്ടിപ്പിൾ മോഡാലിറ്റികളിലുടനീളം ശക്തമായ സന്ദർഭോചിത പ്രാതിനിധ്യങ്ങൾ’ എന്ന തലക്കെട്ടിൽ അവരുടെ ഏറ്റവും പുതിയ ഗവേഷണ പ്രബന്ധം പുറത്തിറക്കി.

അമൻ ചദ്ദ, ആരോൺ എൽകിൻസ്, ജോർജ്ജ് അയോണൈഡ്സ് എന്നിവരാണ് പ്രബന്ധത്തിന്റെ രചയിതാക്കൾ.

സംസാരം, വാചകം, കാഴ്ച എന്നിവയുൾപ്പെടെ വൈവിധ്യമാർന്ന രീതികളിലുടനീളം സന്ദർഭോചിത പ്രാതിനിധ്യങ്ങൾ ഉയർത്തുന്നതിനായി രൂപകൽപ്പന ചെയ്ത മൾട്ടി-ഹെഡ് ഗൗസിയൻ അഡാപ്റ്റീവ് അറ്റൻഷൻ മെക്കാനിസം (ജിഎഎഎം), ഗൗസിയൻ അഡാപ്റ്റീവ് ട്രാൻസ്ഫോർമർ (ജിഎടി) എന്നിവയാണ് അവരുടെ ഗവേഷണത്തിന്റെ കാതൽ.

മോഡൽ പ്രകടനത്തിൽ ഗണ്യമായ കുതിച്ചുചാട്ടം അടയാളപ്പെടുത്തുന്ന ഗാം അതിന്റെ ശ്രദ്ധാ സംവിധാനത്തിലേക്ക് പഠിക്കാവുന്ന ശരാശരി, വ്യതിയാന പാരാമീറ്ററുകൾ അവതരിപ്പിക്കുന്നു.

ഗാം, ജിഎടി എന്നിവ പരിചയപ്പെടുത്തിക്കൊണ്ട്, ഗവേഷകർ പൂർണ്ണമായും പഠിക്കാവുന്ന പ്രോബബിലിസ്റ്റിക് ശ്രദ്ധാ ചട്ടക്കൂട് സ്ഥാപിക്കുന്നു. പഠിക്കാവുന്ന ശരാശരി, വ്യതിയാന പാരാമീറ്ററുകളുടെ സംയോജനം സവിശേഷത പ്രാധാന്യത്തിന്റെ ചലനാത്മക പുനഃക്രമീകരണത്തിലൂടെ മോഡലിനെ ശാക്തീകരിക്കുന്നു, ഇത് ശേഷിയുടെ ഗണ്യമായ വർദ്ധനവിന് കാരണമാകുന്നു.

ഗവേഷകർ പ്രാധാന്യ ഘടകം (ഐഎഫ്) ഒരു പുതിയ പഠന അധിഷ്ഠിത മെട്രിക് ആയി അവതരിപ്പിക്കുന്നു. ഈ മെട്രിക് ഗാം അധിഷ്ഠിത രീതികൾക്കുള്ളിൽ മോഡൽ വിശദീകരണക്ഷമത വർദ്ധിപ്പിക്കുന്നു, സവിശേഷതയുടെ പ്രാധാന്യം അളവനുസരിച്ച് വിലയിരുത്തുകയും അതുവഴി വ്യാഖ്യാനക്ഷമത മെച്ചപ്പെടുത്തുകയും ചെയ്യുന്നു.

ഒന്നിലധികം രീതികളിലുടനീളം കർശനമായ പരിശോധനയിലൂടെ, GAT-യ്ക്കുള്ളിൽ GAAM-ന്റെ ഫലപ്രാപ്തിയെ പഠനം സാധൂകരിക്കുന്നു. പരമ്പരാഗത ഡോട്ട്-ഉൽപ്പന്ന ശ്രദ്ധയുമായും മുമ്പത്തെ ഗൗസിയൻ അധിഷ്ഠിത ശ്രദ്ധാ സംവിധാനങ്ങളുമായും താരതമ്യപ്പെടുത്തുമ്പോൾ ഉയർന്ന സ്ഥിരതയില്ലാത്ത ഡാറ്റ കൈകാര്യം ചെയ്യുന്നതിലെ മികവ് കണ്ടെത്തലുകൾ കാണിക്കുന്നു.

നിലവിലുള്ള പ്രീ-ട്രെയിനഡ് മോഡലുകളുമായി (പിടിഎം) പൊരുത്തപ്പെടൽ ഉയർത്തിക്കാട്ടിക്കൊണ്ട് ഗ്രൂപ്പ്ഡ് ക്വെറി അറ്റൻഷനുമായി ഗാമിന്റെ തടസ്സമില്ലാത്ത സംയോജനം പ്രബന്ധം പ്രദർശിപ്പിക്കുന്നു. ഈ സംയോജനം മെച്ചപ്പെട്ട പ്രകടനം പ്രദർശിപ്പിക്കുക മാത്രമല്ല, പഠിക്കാവുന്ന പാരാമീറ്ററുകളിൽ നേരിയ വർദ്ധനവ് മാത്രമേ കാണിക്കുന്നുള്ളൂ.

Dr Bibin

Experienced Researcher with a demonstrated history of working in the Deep Learning, Computer Vision

You May Also Like

മെഷീൻ ഭാഷകളെക്കുറിച്ചുള്ള ആഴത്തിലുള്ള ധാരണ

മുമ്പത്തെ രീതികളുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ ചിത്രങ്ങളുടെ ഒരു ചെറിയ ഉപവിഭാഗവുമായി പ്രവർത്തിക്കാൻ കഴിവുള്ള അൽഗോരിതം അടിസ്ഥാനമാക്കിയുള്ള മൈക്രോസ്കോപ്പി സാങ്കേതികവിദ്യ വേണ്ടത്ര വേഗതയില്ലാത്തപ്പോൾ എന്ത് സംഭവിക്കും? എഫ്എഎസ് സെന്റർ ഫോർ...

കാലക്രമേണ പഠനം തുടരാൻ എഡ്ജ് ഉപകരണങ്ങളിൽ ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് പ്രാപ്തമാക്കുന്നു

എംഐടിയിലെയും മറ്റിടങ്ങളിലെയും ഗവേഷകർ വികസിപ്പിച്ചെടുത്ത ഒരു മെഷീൻ-ലേണിംഗ് ടെക്നിക്, ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് ചാറ്റ്ബോട്ടുകൾ അല്ലെങ്കിൽ സ്മാർട്ട് കീബോർഡുകൾ എന്നിവ പോലുള്ള ആഴത്തിലുള്ള പഠന മോഡലുകളെ സ്മാർട്ട്ഫോൺ പോലുള്ള...

ന്യൂക്ലിയർ ബോംബുകൾ, ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ്, ഭ്രാന്തിലെ യുക്തിയുടെ ഭ്രാന്ത്, ബെഞ്ചമിൻ ലബാട്ടട്ട് ഡിജിറ്റൽ യുഗത്തിന്റെ പ്രശ്നകരമായ പ്രഭാതം പരിശോധിക്കുന്നു

ആധുനിക ശാസ്ത്രത്തിന്റെ വളർച്ച ലോകത്തിന്റെ "നിരാശയ്ക്ക്" കാരണമാകുമെന്ന് 100 വർഷങ്ങൾക്ക് മുമ്പ് മഹാനായ ജർമ്മൻ സാമൂഹ്യശാസ്ത്രജ്ഞനായ മാക്സ് വെബ്ബർ മുന്നറിയിപ്പ് നൽകി. നിഗൂഢതകളില്ലാത്ത, അജ്ഞാതമോ അതീതമോ ഇല്ലാത്ത,...

പ്രവചനങ്ങളെ തകിടം മറിക്കുന്നു: ആഴത്തിലുള്ള പഠനം ഭൂകമ്പ പ്രവചനങ്ങളിൽ വിപ്ലവം സൃഷ്ടിക്കുന്നു

ഭൂകമ്പത്തിന്റെ അനന്തരഫലങ്ങൾ പ്രവചിക്കുന്നതിൽ പരമ്പരാഗത രീതികളെ മറികടക്കുന്ന ഒരു ആഴത്തിലുള്ള പഠന മോഡൽ ഗവേഷകർ വികസിപ്പിച്ചെടുത്തിട്ടുണ്ട്, പ്രത്യേകിച്ച് വലിയ ഡാറ്റാസെറ്റുകൾ ഉപയോഗിച്ച്. സമഗ്രമായ ആഗോള ഡാറ്റ ഉപയോഗിച്ച്...