കാർനെഗി മെല്ലൺ യൂണിവേഴ്സിറ്റി, സാൻ ഡീഗോ സ്റ്റേറ്റ് യൂണിവേഴ്സിറ്റി, സ്റ്റാൻഫോർഡ് യൂണിവേഴ്സിറ്റി ടീം എന്നിവിടങ്ങളിലെ ഗവേഷകർ ‘ഗൗസിയൻ അഡാപ്റ്റീവ് അറ്റൻഷൻ ഈസ് യൂ യൂനിറ്റീവ് എനിഗേറ്റ്: മൾട്ടിപ്പിൾ മോഡാലിറ്റികളിലുടനീളം ശക്തമായ സന്ദർഭോചിത പ്രാതിനിധ്യങ്ങൾ’ എന്ന തലക്കെട്ടിൽ അവരുടെ ഏറ്റവും പുതിയ ഗവേഷണ പ്രബന്ധം പുറത്തിറക്കി.

അമൻ ചദ്ദ, ആരോൺ എൽകിൻസ്, ജോർജ്ജ് അയോണൈഡ്സ് എന്നിവരാണ് പ്രബന്ധത്തിന്റെ രചയിതാക്കൾ.

സംസാരം, വാചകം, കാഴ്ച എന്നിവയുൾപ്പെടെ വൈവിധ്യമാർന്ന രീതികളിലുടനീളം സന്ദർഭോചിത പ്രാതിനിധ്യങ്ങൾ ഉയർത്തുന്നതിനായി രൂപകൽപ്പന ചെയ്ത മൾട്ടി-ഹെഡ് ഗൗസിയൻ അഡാപ്റ്റീവ് അറ്റൻഷൻ മെക്കാനിസം (ജിഎഎഎം), ഗൗസിയൻ അഡാപ്റ്റീവ് ട്രാൻസ്ഫോർമർ (ജിഎടി) എന്നിവയാണ് അവരുടെ ഗവേഷണത്തിന്റെ കാതൽ.

മോഡൽ പ്രകടനത്തിൽ ഗണ്യമായ കുതിച്ചുചാട്ടം അടയാളപ്പെടുത്തുന്ന ഗാം അതിന്റെ ശ്രദ്ധാ സംവിധാനത്തിലേക്ക് പഠിക്കാവുന്ന ശരാശരി, വ്യതിയാന പാരാമീറ്ററുകൾ അവതരിപ്പിക്കുന്നു.

ഗാം, ജിഎടി എന്നിവ പരിചയപ്പെടുത്തിക്കൊണ്ട്, ഗവേഷകർ പൂർണ്ണമായും പഠിക്കാവുന്ന പ്രോബബിലിസ്റ്റിക് ശ്രദ്ധാ ചട്ടക്കൂട് സ്ഥാപിക്കുന്നു. പഠിക്കാവുന്ന ശരാശരി, വ്യതിയാന പാരാമീറ്ററുകളുടെ സംയോജനം സവിശേഷത പ്രാധാന്യത്തിന്റെ ചലനാത്മക പുനഃക്രമീകരണത്തിലൂടെ മോഡലിനെ ശാക്തീകരിക്കുന്നു, ഇത് ശേഷിയുടെ ഗണ്യമായ വർദ്ധനവിന് കാരണമാകുന്നു.

ഗവേഷകർ പ്രാധാന്യ ഘടകം (ഐഎഫ്) ഒരു പുതിയ പഠന അധിഷ്ഠിത മെട്രിക് ആയി അവതരിപ്പിക്കുന്നു. ഈ മെട്രിക് ഗാം അധിഷ്ഠിത രീതികൾക്കുള്ളിൽ മോഡൽ വിശദീകരണക്ഷമത വർദ്ധിപ്പിക്കുന്നു, സവിശേഷതയുടെ പ്രാധാന്യം അളവനുസരിച്ച് വിലയിരുത്തുകയും അതുവഴി വ്യാഖ്യാനക്ഷമത മെച്ചപ്പെടുത്തുകയും ചെയ്യുന്നു.

ഒന്നിലധികം രീതികളിലുടനീളം കർശനമായ പരിശോധനയിലൂടെ, GAT-യ്ക്കുള്ളിൽ GAAM-ന്റെ ഫലപ്രാപ്തിയെ പഠനം സാധൂകരിക്കുന്നു. പരമ്പരാഗത ഡോട്ട്-ഉൽപ്പന്ന ശ്രദ്ധയുമായും മുമ്പത്തെ ഗൗസിയൻ അധിഷ്ഠിത ശ്രദ്ധാ സംവിധാനങ്ങളുമായും താരതമ്യപ്പെടുത്തുമ്പോൾ ഉയർന്ന സ്ഥിരതയില്ലാത്ത ഡാറ്റ കൈകാര്യം ചെയ്യുന്നതിലെ മികവ് കണ്ടെത്തലുകൾ കാണിക്കുന്നു.

നിലവിലുള്ള പ്രീ-ട്രെയിനഡ് മോഡലുകളുമായി (പിടിഎം) പൊരുത്തപ്പെടൽ ഉയർത്തിക്കാട്ടിക്കൊണ്ട് ഗ്രൂപ്പ്ഡ് ക്വെറി അറ്റൻഷനുമായി ഗാമിന്റെ തടസ്സമില്ലാത്ത സംയോജനം പ്രബന്ധം പ്രദർശിപ്പിക്കുന്നു. ഈ സംയോജനം മെച്ചപ്പെട്ട പ്രകടനം പ്രദർശിപ്പിക്കുക മാത്രമല്ല, പഠിക്കാവുന്ന പാരാമീറ്ററുകളിൽ നേരിയ വർദ്ധനവ് മാത്രമേ കാണിക്കുന്നുള്ളൂ.

Dr Bibin

Experienced Researcher with a demonstrated history of working in the Deep Learning, Computer Vision

You May Also Like

ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് 'ബ്രേക്ക് ത്രൂ': ഭാഷയെ സാമാന്യവൽക്കരിക്കാൻ ന്യൂറൽ നെറ്റ് മനുഷ്യനെപ്പോലെയുള്ള കഴിവുണ്ട്

ഭാഷയെക്കുറിച്ച് സാമാന്യവൽക്കരണങ്ങൾ നടത്താനുള്ള മനുഷ്യനെപ്പോലെയുള്ള കഴിവുള്ള ഒരു ന്യൂറൽ നെറ്റ് വർക്ക് ശാസ്ത്രജ്ഞർ സൃഷ്ടിച്ചു1. ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് സിസ്റ്റം പുതുതായി പഠിച്ച വാക്കുകൾ നിലവിലുള്ള പദാവലിയിലേക്ക് മടക്കി...

പുനരുപയോഗ ഊർജ്ജ വിപണിയിൽ ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ്

പുനരുപയോഗ ഊർജ്ജ വിപണിയിലെ ആഗോള ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് 2022 ൽ 0.6 ബില്യൺ ഡോളറായിരുന്നു, ഇത് 2032 ഓടെ 4.6 ബില്യൺ ഡോളറിലെത്തുമെന്ന് പ്രതീക്ഷിക്കുന്നു, ഇത് 2023...

GPT-4 ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് രസതന്ത്രത്തിൽ ചില കഴിവുകൾ കാണിക്കുന്നു

ചാറ്റ്ജിപിടിയുടെ ഡവലപ്പർമാരായ ഓപ്പൺഎഐയിൽ നിന്നുള്ള ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് സിസ്റ്റത്തിന്റെ ഏറ്റവും പുതിയ പതിപ്പായ ജിപിടി 4 രസതന്ത്ര വെല്ലുവിളികളെ കൈകാര്യം ചെയ്യുന്നതിൽ ഗണ്യമായ ഉപയോഗം പ്രകടമാക്കുന്നു, പക്ഷേ...

ബഹിരാകാശ, കാർഷിക മേഖലയിൽ ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ്, മെഷീൻ ലേണിംഗ് എന്നിവ ഐഎസ്ആർഒ പ്രയോജനപ്പെടുത്തുന്നു

ഐഎസ്ആർഒ ബഹിരാകാശ പര്യവേക്ഷണത്തിന്റെ അതിർവരമ്പുകൾ നീക്കുന്നത് തുടരുന്നു, ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ്, എംഎൽ എന്നിവയുടെ സംയോജനം എല്ലാ മേഖലകളിലും നൂതനാശയങ്ങളോടും സാങ്കേതിക മികവിനോടുമുള്ള ഇന്ത്യയുടെ പ്രതിബദ്ധതയുടെ തെളിവാണ്. ഇന്ത്യൻ...