ട്രാൻസ്ഫോർമർ (ഡീപ് ലേണിംഗ് ആർക്കിടെക്ചർ)
ഡീപ് ലേണിംഗിൽ, മൾട്ടി-ഹെഡ് അറ്റെൻഷൻ മെക്കാനിസത്തെ അടിസ്ഥാനമാക്കിയുള്ള ആർട്ടിഫിഷ്യൽ ന്യൂറൽ നെറ്റ്വർക്ക് ആർക്കിടെക്ചറുകളുടെ ഒരു കുടുംബമാണ് ട്രാൻസ്ഫോർമർ. ഇതിൽ ടെക്സ്റ്റിനെ ടോക്കൺ എന്ന് വിളിക്കുന്ന സംഖ്യാ പ്രതിനിധാനങ്ങളാക്കി മാറ്റുന്നു, ഓരോ ടോക്കണും ഒരു വേഡ് എംബെഡിംഗ് ടേബിളിൽ നിന്ന് ലുക്കപ്പ് ചെയ്ത് ഒരു വെക്ടറാക്കി മാറ്റുന്നു. ഓരോ ലേയറിലും, മറ്റ് (മാസ്ക് ചെയ്യാത്ത) ടോക്കണുകൾക്കൊപ്പം ഒരു പാരലൽ മൾട്ടി-ഹെഡ് അറ്റെൻഷൻ മെക്കാനിസത്തിലൂടെ ഓരോ ടോക്കണും കോൺടെക്സ്റ്റ് വിൻഡോയുടെ പരിധിക്കുള്ളിൽ കോൺടെക്സ്റ്റലൈസ് ചെയ്യപ്പെടുന്നു, ഇത് പ്രധാനപ്പെട്ട ടോക്കണുകൾക്കുള്ള സിഗ്നൽ വർദ്ധിപ്പിക്കാനും പ്രാധാന്യം കുറഞ്ഞ ടോക്കണുകൾ കുറയ്ക്കാനും അനുവദിക്കുന്നു. സെൽഫ്-അറ്റെൻഷൻ മാത്രം പെർമ്യൂട്ടേഷൻ-ഇൻവേരിയന്റ് ആയതിനാൽ, ട്രാൻസ്ഫോർമറുകൾ പൊസിഷണൽ വിവരങ്ങൾ ഉൾപ്പെടുത്തുന്നു, സാധാരണയായി പൊസിഷണൽ എൻകോഡിംഗുകൾ അല്ലെങ്കിൽ ലേണ്ട് പൊസിഷണൽ എംബെഡിംഗുകൾ വഴി, അതിനാൽ ടോക്കൺ ക്രമം ഔട്ട്പുട്ടിനെ ബാധിക്കാം.
ചിത്രം: CC BY 4.0 — Wikimedia Commons