മെഷീൻ ലേണിംഗിലെ ‘പരിഹരിക്കപ്പെടാത്ത’ പ്രശ്നങ്ങൾ
ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസും മെഷീൻ ലേണിംഗും ധാരാളം യഥാർത്ഥ ലോക പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നുണ്ടെങ്കിലും, ഈ മേഖലകളിലെ “പരിഹരിക്കപ്പെടാത്ത” ധാരാളം പ്രശ്നങ്ങളെക്കുറിച്ച് പൂർണ്ണമായ ധാരണ തടസ്സപ്പെടുന്നു. മെഷീൻ ലേണിംഗ് മേഖലയിൽ ഡെവലപ്പർമാർ ആഴത്തിൽ ഇറങ്ങിച്ചെല്ലുകയും ചെറിയ വർദ്ധനവ് മെച്ചപ്പെടുത്തലുകൾ വരുത്തുകയും ചെയ്യുന്ന വിവിധ ഡൊമെയ്നുകൾ ഉണ്ട്. എന്നിരുന്നാലും, ഈ മേഖലകളിൽ കൂടുതൽ പുരോഗതി കൈവരിക്കുന്നതിനുള്ള വെല്ലുവിളികൾ നിലനിൽക്കുന്നു.
റെഡ്ഡിറ്റിനെക്കുറിച്ചുള്ള സമീപകാല ചർച്ച എഐ / എംഎൽ ലാൻഡ്സ്കേപ്പിന്റെ നിരവധി ഡവലപ്പർമാരെ ഈ “പ്രധാനപ്പെട്ടതും” “പരിഹരിക്കാത്തതുമായ” ചില പ്രശ്നങ്ങളെക്കുറിച്ച് സംസാരിക്കാൻ കൊണ്ടുവന്നു, അവ പരിഹരിക്കപ്പെടുമ്പോൾ ഈ മേഖലകളിൽ ഗണ്യമായ മെച്ചപ്പെടുത്തലുകൾക്ക് വഴിയൊരുക്കാൻ സാധ്യതയുണ്ട്.
അനിശ്ചിതത്വ പ്രവചനം
ഒരു മെഷീൻ ലേണിംഗ് മോഡൽ സൃഷ്ടിക്കുന്നതിന്റെ ഏറ്റവും പ്രധാനപ്പെട്ട വശം വിശ്വസനീയവും സമൃദ്ധവുമായ ഉറവിടങ്ങളിൽ നിന്ന് വിവരങ്ങൾ ശേഖരിക്കുക എന്നതാണ്. മുമ്പ് കമ്പ്യൂട്ടർ ശാസ്ത്രജ്ഞരായി പ്രവർത്തിച്ചിരുന്ന മെഷീൻ ലേണിംഗ് മേഖലയിലെ തുടക്കക്കാർ അപൂർണ്ണമോ അപൂർണ്ണമോ ആയ വിവരങ്ങളുമായി പ്രവർത്തിക്കുന്നതിനുള്ള ബുദ്ധിമുട്ട് അഭിമുഖീകരിക്കുന്നു- ഇത് ഈ മേഖലയിൽ അനിവാര്യമാണ്.
“പല കമ്പ്യൂട്ടർ ശാസ്ത്രജ്ഞരും സോഫ്റ്റ്വെയർ എഞ്ചിനീയർമാരും താരതമ്യേന വൃത്തിയുള്ളതും നിശ്ചിതവുമായ അന്തരീക്ഷത്തിലാണ് ജോലി ചെയ്യുന്നത് എന്നതിനാൽ, മെഷീൻ ലേണിംഗ് പ്രോബബിലിറ്റി തിയറിയെ വളരെയധികം ഉപയോഗിക്കുന്നു എന്നത് ആശ്ചര്യകരമാണ്,” ആൻഡിക് മൗലാന തന്റെ പുസ്തക പരമ്പരയായ ‘അഡാപ്റ്റീവ് കംപ്യൂട്ടേഷൻ ആൻഡ് മെഷീൻ ലേണിംഗ്’ ൽ പറഞ്ഞു.
മെഷീൻ ലേണിംഗിലെ അനിശ്ചിതത്വത്തിന്റെ മൂന്ന് പ്രധാന ഉറവിടങ്ങൾ ഇവയാണ്:
ഡാറ്റയിലെ ശബ്ദത്തിന്റെ സാന്നിധ്യം: മെഷീൻ ലേണിംഗിലെ നിരീക്ഷണങ്ങളെ “സാമ്പിൾ” അല്ലെങ്കിൽ “ഇൻസ്റ്റൻസ്” എന്ന് വിളിക്കുന്നു, അതിൽ പലപ്പോഴും വ്യതിയാനവും ക്രമരഹിതതയും അടങ്ങിയിരിക്കുന്നു, ഇത് ആത്യന്തികമായി ഔട്ട്പുട്ടിനെ ബാധിക്കുന്നു.
: മെഷീൻ ലേണിംഗിലെ നിരീക്ഷണങ്ങളെ “സാമ്പിൾ” അല്ലെങ്കിൽ “ഉദാഹരണം” എന്ന് വിളിക്കുന്നു, അതിൽ പലപ്പോഴും വ്യതിയാനവും ക്രമരഹിതതയും അടങ്ങിയിരിക്കുന്നു, ഇത് ആത്യന്തികമായി ഔട്ട്പുട്ടിനെ ബാധിക്കുന്നു. ഡൊമെയ്നിന്റെ അപൂർണ്ണമായ കവറേജ്: ഡിഫോൾട്ട് അപൂർണ്ണമായ നിരീക്ഷണങ്ങളിൽ പരിശീലനം നേടിയ മോഡലുകൾ, കാരണം അവയിൽ എത്തിച്ചേരാൻ കഴിയാത്ത വലിയ ഡാറ്റാസെറ്റിന്റെ “സാമ്പിൾ” മാത്രമേ അടങ്ങിയിട്ടുള്ളൂ.
: അപ്രാപ്യമായ വലിയ ഡാറ്റാസെറ്റിന്റെ “സാമ്പിൾ” മാത്രം അടങ്ങിയിരിക്കുന്നതിനാൽ ഡിഫോൾട്ട് അപൂർണ്ണമായ നിരീക്ഷണങ്ങളിൽ പരിശീലനം നേടിയ മോഡലുകൾ. അപൂർണ മാതൃകകൾ: “എല്ലാ മോഡലുകളും തെറ്റാണ്, പക്ഷേ ചിലത് ഉപയോഗപ്രദമാണ്,” ജോർജ്ജ് ബോക്സ് പറഞ്ഞു. എല്ലാ മോഡലുകളിലും എപ്പോഴും ചില പിശകുകൾ ഉണ്ട്.
മെഷീൻ ലേണിംഗ് മോഡലുകൾക്കായുള്ള അനിശ്ചിതത്വ പ്രവചനത്തെക്കുറിച്ച് ഫ്രാൻസെസ്ക തവാസയുടെ ഒരു ഗവേഷണ പ്രബന്ധം ഇവിടെ പരിശോധിക്കുക.
കൺവെർജൻസ് സമയവും കുറഞ്ഞ വിഭവ പഠന സംവിധാനങ്ങളും
പരിശീലന പ്രക്രിയ ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിനും തുടർന്ന് ഡാറ്റ അനുമാനിക്കുന്നതിനും ധാരാളം വിഭവങ്ങൾ ആവശ്യമാണ്. ന്യൂറൽ നെറ്റ് വർക്കുകളുടെ സംയോജന സമയം കുറയ്ക്കുന്നതും കുറഞ്ഞ റിസോഴ്സ് സംവിധാനങ്ങൾ ആവശ്യമുള്ളതുമായ പ്രശ്നങ്ങൾ പരസ്പരം പ്രതിരോധിക്കുന്നു. ആപ്ലിക്കേഷനുകളിൽ അതിശയകരമായ സാങ്കേതികവിദ്യ നിർമ്മിക്കാൻ ഡവലപ്പർമാർക്ക് കഴിഞ്ഞേക്കാം, പക്ഷേ ഹാർഡ്വെയർ, പവർ, സ്റ്റോറേജ്, വൈദ്യുതി തുടങ്ങിയ വലിയ അളവിലുള്ള വിഭവങ്ങൾ ആവശ്യമാണ്.
ഉദാഹരണത്തിന്, ഭാഷാ മോഡലുകൾക്ക് വളരെയധികം ഡാറ്റ ആവശ്യമാണ്. മോഡലുകളിൽ മനുഷ്യതല ആശയവിനിമയം കൈവരിക്കുന്നതിനുള്ള ആത്യന്തിക ലക്ഷ്യത്തിന് വലിയ തോതിലുള്ള പരിശീലനം ആവശ്യമാണ്. ഇതിനർത്ഥം കൂടുതൽ സംയോജന സമയവും പരിശീലനത്തിനായി ഉയർന്ന വിഭവങ്ങളുടെ ആവശ്യകതയുമാണ്.
മെഷീൻ ലേണിംഗ് അൽഗോരിതങ്ങളുടെ വികസനത്തിലെ ഒരു പ്രധാന ഘടകം ഇൻപുട്ട് ഡാറ്റയുടെ അളവ് വർദ്ധിപ്പിക്കുക എന്നതാണ്, ഇത് ഒരു മോഡലിന്റെ കൃത്യത വർദ്ധിപ്പിക്കുന്നു. എന്നാൽ ഇത് നേടുന്നതിന്, ആഴത്തിലുള്ള പഠന മോഡലുകളുടെ സമീപകാല വിജയം ശക്തമായ പ്രോസസ്സറുകളുടെയും വിഭവങ്ങളുടെയും പ്രാധാന്യം കാണിക്കുന്നു, അങ്ങനെ രണ്ട് പ്രശ് നങ്ങളുടെയും തുടർച്ചയായ കുസൃതിക്ക് കാരണമാകുന്നു.
ന്യൂറൽ നെറ്റ് വർക്കുകൾ എങ്ങനെ വേഗത്തിൽ സംയോജിപ്പിക്കാമെന്ന് അറിയാൻ ഇവിടെ ക്ലിക്കുചെയ്യുക.
ഓവർ ഫിറ്റിംഗ്
ഡാൽ-ഇ അല്ലെങ്കിൽ മിഡ്ജൗർണി പോലുള്ള സമീപകാല ടെക്സ്റ്റ്-ടു-ഇമേജ് ജനറേറ്ററുകൾ ഇൻപുട്ടിന്റെയും പരിശീലന ഡാറ്റയുടെയും ഓവർഫിറ്റിംഗ് എങ്ങനെയായിരിക്കുമെന്നതിന്റെ സാധ്യതകൾ പ്രദർശിപ്പിക്കുന്നു.
ഡാറ്റയിലെ ശബ്ദത്തിന്റെ ഫലമായി, ഒരു പഠന മോഡൽ പരിശീലന ഡാറ്റയിലെ ക്രമരഹിതമായ ഏറ്റക്കുറച്ചിലുകൾ എടുക്കുകയും അവയെ മോഡലിന്റെ ആശയങ്ങളായി പരിഗണിക്കുകയും പിശകുകളുണ്ടാക്കുകയും മോഡലിന്റെ സാമാന്യവൽക്കരണ കഴിവിനെ ബാധിക്കുകയും ചെയ്യുമ്പോഴാണ് ഓവർഫിറ്റിംഗ്.
ഈ പ്രശ്നത്തെ നേരിടാൻ, മിക്ക നോൺ-പാരാമെട്രിക്, നോൺ-ലീനിയർ മോഡലുകളിലും മോഡലിന്റെ പഠനത്തിന്റെ വ്യാപ്തി പരിമിതപ്പെടുത്തുന്നതിന് സാങ്കേതികതകളും ഇൻപുട്ട് ഗൈഡിംഗ് പാരാമീറ്ററുകളും ഉൾപ്പെടുന്നു. എന്നിരുന്നാലും, പ്രായോഗികമായി, ഒരു മികച്ച ഡാറ്റാസെറ്റ് ഒരു മോഡലിലേക്ക് ഘടിപ്പിക്കുന്നത് ബുദ്ധിമുട്ടുള്ള കാര്യമാണ്. ഓവർഫിറ്റിംഗ് ഡാറ്റ പരിമിതപ്പെടുത്തുന്നതിന് നിർദ്ദേശിക്കപ്പെട്ട രണ്ട് ടെക്നിക്കുകൾ ഇവയാണ്:
മോഡൽ കൃത്യത അളക്കാൻ റീസാംപ്ലിംഗ് ടെക്നിക്കുകൾ ഉപയോഗിക്കുന്നു: പരിശീലന ഡാറ്റയുടെ വ്യത്യസ്ത ഉപവിഭാഗങ്ങൾ ഉപയോഗിച്ച് മോഡലുകളെ നിരവധി തവണ പരിശീലിപ്പിക്കാനും പരീക്ഷിക്കാനും ഡവലപ്പർമാരെ അനുവദിക്കുന്ന ഏറ്റവും ജനപ്രിയ സാമ്പിൾ സാങ്കേതികതയാണ് ‘കെ-ഫോൾഡ് ക്രോസ് വാലിഡേഷൻ’.
പരിശീലന ഡാറ്റയുടെ വ്യത്യസ്ത ഉപവിഭാഗങ്ങൾ ഉപയോഗിച്ച് മോഡലുകളെ നിരവധി തവണ പരിശീലിപ്പിക്കാനും പരീക്ഷിക്കാനും ഡവലപ്പർമാരെ അനുവദിക്കുന്ന ഏറ്റവും ജനപ്രിയ സാമ്പിൾ സാങ്കേതികതയാണ് ‘കെ-ഫോൾഡ് ക്രോസ് വാലിഡേഷൻ’. ഹോൾഡിംഗ് ബാക്ക് വാലിഡേഷൻ ഡാറ്റാസെറ്റ്: പ്രാരംഭ ഡാറ്റാസെറ്റിലെ മെഷീൻ ലേണിംഗ് അൽഗോരിതം ട്യൂണിംഗ് ചെയ്ത ശേഷം, മോഡലിന്റെ അന്തിമ ലക്ഷ്യം കൈവരിക്കുന്നതിനും മുമ്പ് കാണാത്ത ഡാറ്റയിൽ മോഡൽ എങ്ങനെ പ്രവർത്തിക്കുമെന്ന് പരിശോധിക്കുന്നതിനും ഡവലപ്പർമാർ ഒരു മൂല്യനിർണ്ണയ ഡാറ്റാസെറ്റ് ഇൻപുട്ട് ചെയ്യുന്നു.
പരസ്പരബന്ധങ്ങൾക്ക് പകരം കാര്യകാരണം കണക്കാക്കൽ
കാര്യകാരണ അനുമാനങ്ങൾ സ്വാഭാവികമായും മനുഷ്യരിലേക്ക് വരുന്നു. ഡീപ് ന്യൂറൽ നെറ്റ് വർക്കുകൾ പോലുള്ള മെഷീൻ ലേണിംഗ് അൽഗോരിതങ്ങൾ വലിയ ഡാറ്റാസെറ്റുകളിലെ പാറ്റേണുകൾ വിശകലനം ചെയ്യുന്നതിന് മികച്ചതാണ്, പക്ഷേ കാര്യകാരണ അനുമാനങ്ങൾ നടത്താൻ പാടുപെടുന്നു. കമ്പ്യൂട്ടർ വിഷൻ, റോബോട്ടിക്സ്, സെൽഫ്-ഡ്രൈവിംഗ് കാറുകൾ തുടങ്ങിയ മേഖലകളിൽ ഇത് സംഭവിക്കുന്നു, അവിടെ മോഡലുകൾക്ക് പാറ്റേണുകൾ തിരിച്ചറിയാൻ കഴിവുണ്ടെങ്കിലും വസ്തുക്കളുടെ ഭൗതിക പാരിസ്ഥിതിക സവിശേഷതകൾ മനസ്സിലാക്കാൻ കഴിയില്ല, ഇത് സാഹചര്യങ്ങളെക്കുറിച്ച് പ്രവചനങ്ങൾ നടത്തുകയും നൂതന സാഹചര്യങ്ങളെ സജീവമായി കൈകാര്യം ചെയ്യാതിരിക്കുകയും ചെയ്യുന്നു.
മാക്സ് പ്ലാങ്ക് ഇൻസ്റ്റിറ്റ്യൂട്ട് ഫോർ ഇന്റലിജന്റ് സിസ്റ്റങ്ങളിലെ ഗവേഷകർ ഗൂഗിൾ റിസർച്ചുമായി ചേർന്ന് ഒരു പ്രബന്ധം പ്രസിദ്ധീകരിച്ചു- കാര്യകാരണ പ്രാതിനിധ്യത്തിന്റെ അഭാവം കാരണം മെഷീൻ ലേണിംഗ് അൽഗോരിതങ്ങളിലെ വെല്ലുവിളികളെക്കുറിച്ച് സംസാരിക്കുന്നു. ഗവേഷകരുടെ അഭിപ്രായത്തിൽ, മെഷീൻ ലേണിംഗ് മോഡലുകളിൽ കാര്യകാരണത്തിന്റെ അഭാവത്തെ നേരിടാൻ, ഡവലപ്പർമാർ മോഡലുകൾക്ക് പരിശീലനം നൽകുന്ന ഡാറ്റാസെറ്റുകളുടെ അളവ് വർദ്ധിപ്പിക്കാൻ ശ്രമിക്കുന്നു, പക്ഷേ ഇത് ക്രമേണ മോഡലുകൾ പാറ്റേണുകൾ തിരിച്ചറിയുന്നതിലേക്ക് നയിക്കുന്നുവെന്നും സ്വതന്ത്രമായി “ചിന്തിക്കുന്നില്ല” എന്നും മനസ്സിലാക്കുന്നതിൽ പരാജയപ്പെടുന്നു.
മോഡലുകളിൽ “ഇൻഡക്റ്റീവ് പക്ഷപാതം” അവതരിപ്പിക്കുന്നത് യന്ത്രങ്ങളിലേക്ക് കാര്യകാരണം കെട്ടിപ്പടുക്കുന്നതിനുള്ള ഒരു ചുവടുവയ്പ്പാണെന്ന് വിശ്വസിക്കപ്പെടുന്നു. എന്നാൽ പക്ഷപാതരഹിതമായ ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് കെട്ടിപ്പടുക്കുന്നതിൽ ഇത് വിപരീത ഫലമുണ്ടാക്കും.
സഹായം! എന്താണ് “ഇൻഡക്റ്റീവ് പക്ഷപാതം”? ‘ഇൻഡക്റ്റീവ് പക്ഷപാതികളുടെ’ മെഷീൻ ലേണിംഗ് വിഭാഗം ലോകത്തെക്കുറിച്ച് ഒരു കാര്യകാരണ ധാരണ കെട്ടിപ്പടുക്കാൻ ഞങ്ങളെ അനുവദിക്കുമെന്ന് ചില എം എൽ ഗവേഷകർ അഭിപ്രായപ്പെടുന്നു. “ഇത് ഗണിതശാസ്ത്രപരമായി അസാധ്യമാണ്” എന്ന് എന്റെ ലാഡർ ഓഫ് കോസേഷൻ പറയുന്നു. ആരാണ് ശരി? ജൂഡിയ പേൾ (@yudapearl) ഫെബ്രുവരി 14, 2021
പുനരുൽപാദനക്ഷമത
ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് / എം എൽ മിക്കവാറും എല്ലാ മേഖലകളിലും ഏറ്റവും പ്രതീക്ഷ നൽകുന്ന ഉപകരണമായതിനാൽ നിരവധി പുതുമുഖങ്ങൾ വിഷയത്തിന്റെ സങ്കീർണ്ണതകൾ പൂർണ്ണമായി മനസ്സിലാക്കാതെ നേരിട്ട് അതിലേക്ക് മുങ്ങുന്നു. പുനരുൽപാദനക്ഷമത അല്ലെങ്കിൽ ആവർത്തനം മുകളിൽ സൂചിപ്പിച്ച പ്രശ്നങ്ങളുടെ സംയോജിത ഫലമാണെങ്കിലും, പുതുതായി വികസിച്ചുകൊണ്ടിരിക്കുന്ന മോഡലുകൾക്ക് ഇത് ഇപ്പോഴും വലിയ വെല്ലുവിളികൾ ഉയർത്തുന്നു.
വിഭവങ്ങളുടെ അഭാവവും വിപുലമായ പരീക്ഷണങ്ങൾ നടത്താനുള്ള വിമുഖതയും കാരണം, മറ്റ് വിദഗ്ദ്ധ ഗവേഷകർ പരീക്ഷിക്കുകയും നടപ്പിലാക്കുകയും ചെയ്യുമ്പോൾ പല അൽഗോരിതങ്ങളും പരാജയപ്പെടുന്നു. ഹൈടെക് പരിഹാരങ്ങൾ വാഗ്ദാനം ചെയ്യുന്ന വലിയ കമ്പനികൾ എല്ലായ്പ്പോഴും അവരുടെ കോഡുകൾ പരസ്യമായി പുറത്തുവിടുന്നില്ല, പുതിയ ഗവേഷകർ സ്വന്തമായി പരീക്ഷണം നടത്തുകയും കർശനമായ പരിശോധനയില്ലാതെ വലിയ പ്രശ്നങ്ങൾക്ക് പരിഹാരങ്ങൾ നിർദ്ദേശിക്കുകയും ചെയ്യുന്നു, അതിനാൽ വിശ്വാസ്യത കുറവാണ്.
Experienced Researcher with a demonstrated history of working in the Deep Learning, Computer Vision
