എംഐടിയിലെയും മറ്റിടങ്ങളിലെയും ഗവേഷകർ വികസിപ്പിച്ചെടുത്ത ഒരു മെഷീൻ-ലേണിംഗ് ടെക്നിക്, ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് ചാറ്റ്ബോട്ടുകൾ അല്ലെങ്കിൽ സ്മാർട്ട് കീബോർഡുകൾ എന്നിവ പോലുള്ള ആഴത്തിലുള്ള പഠന മോഡലുകളെ സ്മാർട്ട്ഫോൺ പോലുള്ള ഒരു എഡ്ജ് ഉപകരണത്തിൽ നേരിട്ട് പുതിയ ഉപയോക്തൃ ഡാറ്റയിൽ നിന്ന് കാര്യക്ഷമമായും തുടർച്ചയായും പഠിക്കാൻ പ്രാപ്തമാക്കുന്നു.

വ്യക്തിഗത ഡീപ് ലേണിംഗ് മോഡലുകൾക്ക് ഒരു ഉപയോക്താവിന്റെ ഉച്ചാരണം മനസിലാക്കാൻ പൊരുത്തപ്പെടുന്ന ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് ചാറ്റ്ബോട്ടുകൾ അല്ലെങ്കിൽ ആരുടെയെങ്കിലും ടൈപ്പിംഗ് ചരിത്രത്തെ അടിസ്ഥാനമാക്കി അടുത്ത വാക്ക് നന്നായി പ്രവചിക്കാൻ തുടർച്ചയായി അപ്ഡേറ്റ് ചെയ്യുന്ന സ്മാർട്ട് കീബോർഡുകൾ പ്രാപ്തമാക്കാൻ കഴിയും. ഈ കസ്റ്റമൈസേഷന് പുതിയ ഡാറ്റ ഉപയോഗിച്ച് ഒരു മെഷീൻ ലേണിംഗ് മോഡലിന്റെ നിരന്തരമായ ഫൈൻ ട്യൂണിംഗ് ആവശ്യമാണ്.

സ്മാർട്ട് ഫോണുകൾക്കും മറ്റ് എഡ്ജ് ഉപകരണങ്ങൾക്കും ഈ മികച്ച ട്യൂണിംഗ് പ്രക്രിയയ്ക്ക് ആവശ്യമായ മെമ്മറിയും കമ്പ്യൂട്ടേഷണൽ ശക്തിയും ഇല്ലാത്തതിനാൽ, ഉപയോക്തൃ ഡാറ്റ സാധാരണയായി മോഡൽ അപ് ഡേറ്റുചെയ്യുന്ന ക്ലൗഡ് സെർവറുകളിലേക്ക് അപ് ലോഡ് ചെയ്യുന്നു. എന്നാൽ ഡാറ്റാ ട്രാൻസ്മിഷൻ വളരെയധികം ഊർജ്ജം ഉപയോഗിക്കുന്നു, കൂടാതെ സെൻസിറ്റീവ് ഉപയോക്തൃ ഡാറ്റ ഒരു ക്ലൗഡ് സെർവറിലേക്ക് അയയ്ക്കുന്നത് സുരക്ഷാ അപകടമുണ്ടാക്കുന്നു.

എംഐടി, എംഐടി-ഐബിഎം വാട്സൺ എഐ ലാബ്, മറ്റ് സ്ഥലങ്ങളിൽ നിന്നുള്ള ഗവേഷകർ ഒരു എഡ്ജ് ഉപകരണത്തിൽ നേരിട്ട് പുതിയ സെൻസർ ഡാറ്റയുമായി കാര്യക്ഷമമായി പൊരുത്തപ്പെടാൻ ആഴത്തിലുള്ള പഠന മോഡലുകളെ പ്രാപ്തമാക്കുന്ന ഒരു സാങ്കേതികവിദ്യ വികസിപ്പിച്ചെടുത്തു.

പോക്ക് എഞ്ചിനീയറിംഗ് എന്നറിയപ്പെടുന്ന അവരുടെ ഓൺ-ഡിവൈസ് പരിശീലന രീതി, കൃത്യത മെച്ചപ്പെടുത്തുന്നതിന് ഒരു വലിയ മെഷീൻ-ലേണിംഗ് മോഡലിന്റെ ഏതൊക്കെ ഭാഗങ്ങൾ അപ്ഡേറ്റ് ചെയ്യണമെന്ന് നിർണ്ണയിക്കുന്നു, മാത്രമല്ല ആ നിർദ്ദിഷ്ട കഷണങ്ങളുമായി സംഭരിക്കുകയും കണക്കുകൂട്ടുകയും ചെയ്യുന്നു. റൺടൈമിന് മുമ്പ് മോഡൽ തയ്യാറാക്കുമ്പോൾ ഇത് ഈ കണക്കുകൂട്ടലുകളിൽ ഭൂരിഭാഗവും നിർവഹിക്കുന്നു, ഇത് കമ്പ്യൂട്ടേഷണൽ ഓവർഹെഡ് കുറയ്ക്കുകയും ഫൈൻ-ട്യൂണിംഗ് പ്രക്രിയയുടെ വേഗത വർദ്ധിപ്പിക്കുകയും ചെയ്യുന്നു.

മറ്റ് രീതികളുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ, പോക്ക് എഞ്ചിനീയർ ഓൺ-ഡിവൈസ് പരിശീലനം ഗണ്യമായി വേഗത്തിലാക്കി, ചില ഹാർഡ്വെയർ പ്ലാറ്റ്ഫോമുകളിൽ 15 മടങ്ങ് വരെ വേഗത്തിൽ പ്രവർത്തിച്ചു. മാത്രമല്ല, പോക്ക് എഞ്ചിനീയറിംഗ് മോഡലുകൾക്ക് കൃത്യതയിൽ ഒരു കുറവും വരുത്തിയില്ല. സങ്കീർണ്ണമായ ചോദ്യങ്ങൾക്ക് കൂടുതൽ കൃത്യമായി ഉത്തരം നൽകാൻ അവരുടെ ഫൈൻ ട്യൂണിംഗ് രീതി ഒരു ജനപ്രിയ ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് ചാറ്റ്ബോട്ടിനെ പ്രാപ്തമാക്കിയതായും ഗവേഷകർ കണ്ടെത്തി.

“ഓൺ-ഡിവൈസ് ഫൈൻ-ട്യൂണിംഗിന് മികച്ച സ്വകാര്യത, കുറഞ്ഞ ചെലവ്, ഇച്ഛാനുസൃതമാക്കൽ കഴിവ്, ആജീവനാന്ത പഠനം എന്നിവയും പ്രാപ്തമാക്കാൻ കഴിയും, പക്ഷേ ഇത് എളുപ്പമല്ല. പരിമിതമായ വിഭവങ്ങൾ ഉപയോഗിച്ച് എല്ലാം സംഭവിക്കണം. അനുമാനം മാത്രമല്ല, ഒരു എഡ്ജ് ഉപകരണത്തിൽ പരിശീലനവും പ്രവർത്തിപ്പിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു. പോക്ക് എഞ്ചിനീയറിംഗ് ഉപയോഗിച്ച്, ഇപ്പോൾ ഞങ്ങൾക്ക് കഴിയും,” ഇലക്ട്രിക്കൽ എഞ്ചിനീയറിംഗ് ആൻഡ് കമ്പ്യൂട്ടർ സയൻസ് (ഇഇസിഎസ്) വകുപ്പിലെ അസോസിയേറ്റ് പ്രൊഫസറും എംഐടി-ഐബിഎം വാട്സൺ എഐ ലാബിലെ അംഗവും എൻവിഡിയയിലെ വിശിഷ്ട ശാസ്ത്രജ്ഞനും ആർക്സിവ് പ്രീപ്രിന്റ് സെർവറിലേക്ക് പോസ്റ്റുചെയ്ത പോക്ക് എഞ്ചിനെ വിവരിക്കുന്ന ഓപ്പൺ ആക്സസ് പേപ്പറിന്റെ മുതിർന്ന രചയിതാവുമായ സോംഗ് ഹാൻ പറയുന്നു.

ഇഇസിഎസ് ബിരുദ വിദ്യാർത്ഥിയായ പ്രധാന എഴുത്തുകാരൻ ലിഗെംഗ് ഷുവും എംഐടി, എംഐടി-ഐബിഎം വാട്സൺ എഐ ലാബ്, കാലിഫോർണിയ സർവകലാശാല സാൻ ഡീഗോ എന്നിവിടങ്ങളിലെ മറ്റുള്ളവരും ഹാനിനൊപ്പം പേപ്പറിൽ ചേരുന്നു. മൈക്രോ ആർക്കിടെക്ചറിനെക്കുറിച്ചുള്ള ഐഇഇഇ / എസിഎം ഇന്റർനാഷണൽ സിമ്പോസിയത്തിൽ ഈ പ്രബന്ധം അടുത്തിടെ അവതരിപ്പിച്ചു.

Layer by layer

ഡീപ്-ലേണിംഗ് മോഡലുകൾ ന്യൂറൽ നെറ്റ് വർക്കുകളെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്, അതിൽ നോഡുകളുടെ പരസ്പരബന്ധിത പാളികൾ അല്ലെങ്കിൽ “ന്യൂറോണുകൾ” ഉൾപ്പെടുന്നു, ഇത് ഒരു പ്രവചനം നടത്താൻ ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്നു. മോഡൽ പ്രവർത്തിപ്പിക്കുമ്പോൾ, അനുമാനം എന്ന് വിളിക്കപ്പെടുന്ന ഒരു പ്രക്രിയ, പ്രവചനം (ഒരുപക്ഷേ ഇമേജ് ലേബൽ) അവസാനം ഔട്ട്പുട്ട് ആകുന്നതുവരെ ഒരു ഡാറ്റാ ഇൻപുട്ട് (ഒരു ഇമേജ് പോലുള്ളവ) പാളിയിൽ നിന്ന് പാളിയിലേക്ക് കൈമാറുന്നു. അനുമാന സമയത്ത്, ഇൻപുട്ട് പ്രോസസ്സ് ചെയ്ത ശേഷം ഓരോ പാളിയും സംഭരിക്കേണ്ട ആവശ്യമില്ല.

എന്നാൽ പരിശീലനത്തിലും ഫൈൻ ട്യൂണിംഗിലും, മോഡൽ ബാക്ക്പ്രൊപ്പഗേഷൻ എന്നറിയപ്പെടുന്ന ഒരു പ്രക്രിയയ്ക്ക് വിധേയമാകുന്നു. ബാക്ക്പ്രൊപ്പഗേഷനിൽ, ഔട്ട്പുട്ട് ശരിയായ ഉത്തരവുമായി താരതമ്യപ്പെടുത്തുന്നു, തുടർന്ന് മോഡൽ വിപരീതമായി പ്രവർത്തിപ്പിക്കുന്നു. മോഡലിന്റെ ഔട്ട്പുട്ട് ശരിയായ ഉത്തരത്തോട് അടുക്കുന്നതിനനുസരിച്ച് ഓരോ ലെയറും അപ്ഡേറ്റ് ചെയ്യുന്നു.

ഓരോ ലെയറും അപ്ഡേറ്റ് ചെയ്യേണ്ടതുണ്ട് എന്നതിനാൽ, മുഴുവൻ മോഡലും ഇന്റർമീഡിയറ്റ് ഫലങ്ങളും സംഭരിക്കേണ്ടതുണ്ട്, ഇത് അനുമാനത്തേക്കാൾ മികച്ച ട്യൂണിംഗ് കൂടുതൽ മെമ്മറി ആവശ്യപ്പെടുന്നു

എന്നിരുന്നാലും, കൃത്യത മെച്ചപ്പെടുത്തുന്നതിന് ന്യൂറൽ നെറ്റ് വർക്കിലെ എല്ലാ പാളികളും പ്രധാനമല്ല. പ്രധാനപ്പെട്ട പാളികൾക്ക് പോലും, മുഴുവൻ പാളിയും അപ്ഡേറ്റ് ചെയ്യേണ്ടതില്ല. ആ പാളികളും പാളികളുടെ കഷണങ്ങളും സൂക്ഷിക്കേണ്ട ആവശ്യമില്ല. കൂടാതെ, കൃത്യത മെച്ചപ്പെടുത്തുന്നതിന് ഒരാൾക്ക് ആദ്യ പാളിയിലേക്ക് മടങ്ങേണ്ട ആവശ്യമില്ലായിരിക്കാം – ഈ പ്രക്രിയ മധ്യത്തിൽ എവിടെയെങ്കിലും നിർത്താം.

ഫൈൻ-ട്യൂണിംഗ് പ്രക്രിയ വേഗത്തിലാക്കുന്നതിനും ആവശ്യമായ കമ്പ്യൂട്ടിംഗിന്റെയും മെമ്മറിയുടെയും അളവ് കുറയ്ക്കുന്നതിനും പോക്ക് എഞ്ചിനീയർ ഈ ഘടകങ്ങൾ പ്രയോജനപ്പെടുത്തുന്നു.

സിസ്റ്റം ആദ്യം ഓരോ പാളിയും, ഒരു നിശ്ചിത ജോലിയിൽ ഓരോന്നായി മികച്ചതാക്കുകയും ഓരോ വ്യക്തിഗത പാളിക്കും ശേഷം കൃത്യത മെച്ചപ്പെടുത്തൽ അളക്കുകയും ചെയ്യുന്നു. ഈ രീതിയിൽ, പോക്ക് എഞ്ചിനീയർ ഓരോ പാളിയുടെയും സംഭാവന തിരിച്ചറിയുന്നു, അതുപോലെ കൃത്യതയും മികച്ച ട്യൂണിംഗ് ചെലവും തമ്മിലുള്ള വ്യാപാരം, കൂടാതെ നന്നായി ക്രമീകരിക്കേണ്ട ഓരോ പാളിയുടെയും ശതമാനം യാന്ത്രികമായി നിർണ്ണയിക്കുന്നു.

“വ്യത്യസ്ത ജോലികളിലും വ്യത്യസ്ത ന്യൂറൽ നെറ്റ് വർക്കുകളിലും ഫുൾ ബാക്ക് പ്രചാരണവുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ ഈ രീതി കൃത്യതയുമായി നന്നായി പൊരുത്തപ്പെടുന്നു,” ഹാൻ കൂട്ടിച്ചേർക്കുന്നു.

ഒരു pared-down മോഡൽ

പരമ്പരാഗതമായി, ബാക്ക്പ്രൊപ്പഗേഷൻ ഗ്രാഫ് റൺടൈമിൽ സൃഷ്ടിക്കപ്പെടുന്നു, അതിൽ ധാരാളം കണക്കുകൂട്ടൽ ഉൾപ്പെടുന്നു. പകരം, വിന്യാസത്തിനായി മോഡൽ തയ്യാറാക്കുമ്പോൾ, കംപൈൽ സമയത്ത് പോക്ക് എഞ്ചിനീയർ ഇത് ചെയ്യുന്നു.

അനാവശ്യ പാളികളോ പാളികളുടെ കഷണങ്ങളോ നീക്കം ചെയ്യുന്നതിനായി പോക്ക് എഞ്ചിനീയർ കോഡിന്റെ ബിറ്റുകൾ ഇല്ലാതാക്കുന്നു, ഇത് റൺടൈമിൽ ഉപയോഗിക്കേണ്ട മോഡലിന്റെ ഒരു പാർഡ്-ഡൗൺ ഗ്രാഫ് സൃഷ്ടിക്കുന്നു. കാര്യക്ഷമത കൂടുതൽ മെച്ചപ്പെടുത്തുന്നതിന് ഇത് ഈ ഗ്രാഫിൽ മറ്റ് ഒപ്റ്റിമൈസേഷനുകൾ നടത്തുന്നു.

ഇതെല്ലാം ഒരു തവണ മാത്രമേ ചെയ്യേണ്ടതുള്ളൂ എന്നതിനാൽ, ഇത് റൺടൈമിനായി കമ്പ്യൂട്ടേഷണൽ ഓവർഹെഡിൽ ലാഭിക്കുന്നു.

“ഒരു കാൽനടയാത്ര പുറപ്പെടുന്നതിന് മുമ്പുള്ളതുപോലെയാണിത്. വീട്ടിൽ, നിങ്ങൾ ശ്രദ്ധാപൂർവ്വം ആസൂത്രണം ചെയ്യും – ഏത് പാതകളിലൂടെയാണ് നിങ്ങൾ പോകാൻ പോകുന്നത്, ഏത് പാതകളാണ് നിങ്ങൾ അവഗണിക്കാൻ പോകുന്നത്. അതിനാൽ എക്സിക്യൂഷൻ സമയത്ത്, നിങ്ങൾ യഥാർത്ഥത്തിൽ കാൽനടയാത്ര നടത്തുമ്പോൾ, നിങ്ങൾക്ക് ഇതിനകം വളരെ ശ്രദ്ധാപൂർവ്വം ഒരു പദ്ധതിയുണ്ട്, “ഹാൻ വിശദീകരിക്കുന്നു.

ആപ്പിൾ എം 1 ചിപ്പുകൾ, പല സ്മാർട്ട് ഫോണുകളിലും റാസ്ബെറി പൈ കമ്പ്യൂട്ടറുകളിലും സാധാരണമായ ഡിജിറ്റൽ സിഗ്നൽ പ്രോസസ്സറുകൾ എന്നിവയുൾപ്പെടെ വിവിധ എഡ്ജ് ഉപകരണങ്ങളിലെ ഡീപ് ലേണിംഗ് മോഡലുകളിൽ അവർ പോക്ക് എഞ്ചിനീയറിംഗ് പ്രയോഗിച്ചപ്പോൾ, കൃത്യതയിൽ ഒരു കുറവും വരുത്താതെ 15 മടങ്ങ് വേഗത്തിൽ ഓൺ-ഡിവൈസ് പരിശീലനം നടത്തി. ഫൈൻ ട്യൂണിംഗിന് ആവശ്യമായ മെമ്മറിയുടെ അളവും പോക്ക് എഞ്ചിനീയർ ഗണ്യമായി കുറച്ചു.

വലിയ ഭാഷാ മോഡലായ ലാമ-വി 2 ലും സംഘം ഈ സാങ്കേതികവിദ്യ പ്രയോഗിച്ചു. വലിയ ഭാഷാ മോഡലുകൾ ഉപയോഗിച്ച്, ഫൈൻ-ട്യൂണിംഗ് പ്രക്രിയയിൽ നിരവധി ഉദാഹരണങ്ങൾ നൽകുന്നത് ഉൾപ്പെടുന്നു, കൂടാതെ ഉപയോക്താക്കളുമായി എങ്ങനെ ഇടപഴകാമെന്ന് മോഡൽ പഠിക്കേണ്ടത് നിർണായകമാണെന്ന് ഹാൻ പറയുന്നു. സങ്കീർണ്ണമായ പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിനോ പരിഹാരങ്ങളെക്കുറിച്ച് ന്യായവാദം ചെയ്യുന്നതിനോ ചുമതലപ്പെടുത്തിയ മോഡലുകൾക്കും ഈ പ്രക്രിയ പ്രധാനമാണ്.

ഉദാഹരണത്തിന്, പോക്ക് എഞ്ചിൻ ഉപയോഗിച്ച് നന്നായി ട്യൂൺ ചെയ്ത ലാമ-വി 2 മോഡലുകൾ “മൈക്കൽ ജാക്സന്റെ അവസാന ആൽബം എന്താണ്?” എന്ന ചോദ്യത്തിന് ശരിയായി ഉത്തരം നൽകി, അതേസമയം നന്നായി ട്യൂൺ ചെയ്യാത്ത മോഡലുകൾ പരാജയപ്പെട്ടു. എഡ്ജ് ജിപിയു പ്ലാറ്റ്ഫോമായ എൻവിഡിയ ജെറ്റ്സൺ ഓറിനിൽ ഫൈൻ-ട്യൂണിംഗ് പ്രക്രിയയുടെ ഓരോ ആവർത്തനത്തിനും എടുത്ത സമയം പോക്ക് എഞ്ചിനീയർ ഏകദേശം ഏഴ് സെക്കൻഡിൽ നിന്ന് ഒരു സെക്കൻഡിൽ താഴെയായി കുറച്ചു.

ഭാവിയിൽ, ടെക്സ്റ്റും ഇമേജുകളും ഒരുമിച്ച് പ്രോസസ്സ് ചെയ്യുന്നതിന് രൂപകൽപ്പന ചെയ്ത വലിയ മോഡലുകൾ മികച്ചതാക്കാൻ പോക്ക് എഞ്ചിനീയറിംഗ് ഉപയോഗിക്കാൻ ഗവേഷകർ ആഗ്രഹിക്കുന്നു.

വിവിധ വ്യവസായങ്ങളിലെ വൈവിധ്യമാർന്ന ആപ്ലിക്കേഷനുകളിലുടനീളം എൽഎൽഎം പോലുള്ള വലിയ ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് മോഡലുകൾ സ്വീകരിക്കുന്നതിലൂടെ വർദ്ധിച്ചുവരുന്ന കാര്യക്ഷമത വെല്ലുവിളികളെ ഈ പ്രവർത്തനം അഭിസംബോധന ചെയ്യുന്നു. വലിയ മോഡലുകൾ ഉൾക്കൊള്ളുന്ന എഡ്ജ് ആപ്ലിക്കേഷനുകൾക്ക് മാത്രമല്ല, ക്ലൗഡിലെ വലിയ ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് മോഡലുകൾ പരിപാലിക്കുന്നതിനും അപ്ഡേറ്റ് ചെയ്യുന്നതിനുമുള്ള ചെലവ് കുറയ്ക്കുന്നതിനും ഇത് വാഗ്ദാനം ചെയ്യുന്നു,” ആമസോണിന്റെ ആർട്ടിഫിഷ്യൽ ജനറൽ ഇന്റലിജൻസ് ഡിവിഷനിലെ സീനിയർ മാനേജർ എഹ്രി മക്റോസ്റ്റി പറയുന്നു.

കൂടുതൽ വിവരങ്ങൾക്ക്: Ligeng Zhu et al, PockEngine: Stros and Efficient Fine-tuning in a Pocket, arXiv (2023). DOI: 10.48550/arxiv.2310.17752 ജേണൽ വിവരങ്ങൾ: arXiv