ഏറ്റവും പുതിയ വലിയ ഭാഷാ മോഡലായ ജെമിനി പ്രഖ്യാപിച്ചതിന് തൊട്ടുപിന്നാലെ, ഗൂഗിൾ അതിന്റെ പുതിയ ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് പവർ ടൂളായ ലൂമിയർ അവതരിപ്പിച്ചു, ഇത് ലളിതമായ ടെക്സ്റ്റ് പ്രോംപ്റ്റുകളിൽ നിന്ന് വീഡിയോകൾ സൃഷ്ടിക്കാൻ ജനറേറ്റീവ് ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് ഉപയോഗിക്കുന്നു.
യാഥാർത്ഥ്യബോധമുള്ളതും വൈവിധ്യമാർന്നതും യുക്തിസഹവുമായ ചലനത്തിൽ ടെക്സ്റ്റിൽ നിന്ന് വീഡിയോകൾ സൃഷ്ടിക്കാൻ രൂപകൽപ്പന ചെയ്ത ഒരു പുതിയ ടെക്സ്റ്റ്-ടു-വീഡിയോ ഡിഫ്യൂഷൻ മോഡലാണ് ലൂമിയർ. പുതിയ വീഡിയോ ഭാഷാ മോഡൽ സ്പേസ്-ടൈം യു-നെറ്റ് ആർക്കിടെക്ചറിനെ ആശ്രയിച്ചിരിക്കുന്നു, ഇത് മോഡലിലെ ഒരൊറ്റ പാസിലൂടെ വീഡിയോയുടെ മുഴുവൻ താൽക്കാലിക ദൈർഘ്യവും ഒരേസമയം സൃഷ്ടിക്കുന്നു. ലൂമിയർ ഉപയോഗിച്ച്, ഗൂഗിൾ സ്പേഷ്യൽ, ടെമ്പറൽ ഡൗൺ ആൻഡ് അപ്പ് സാമ്പിളുകൾ ഉപയോഗിച്ചു, ഇത് മുൻകൂട്ടി പരിശീലനം ലഭിച്ച ടെക്സ്റ്റ്-ടു-ഇമേജ് ഡിഫ്യൂഷൻ മോഡൽ പ്രയോജനപ്പെടുത്തുന്നു. ഒന്നിലധികം സ്പേസ്-ടൈം സ്കെയിലുകളിൽ പ്രോസസ്സ് ചെയ്ത് ഒരു ഫുൾ ഫ്രെയിം-റേറ്റ്, കുറഞ്ഞ റെസല്യൂഷൻ വീഡിയോ നേരിട്ട് സൃഷ്ടിക്കാൻ അവരുടെ പുതിയ മോഡൽ പഠിക്കുന്നുവെന്ന് ഗൂഗിൾ പറയുന്നു.
ലൂമിയർ ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസിന് സൃഷ്ടിക്കാൻ കഴിയുന്ന ചില സാമ്പിളുകളും വീഡിയോകളും ഗൂഗിൾ പങ്കിട്ടിട്ടുണ്ട്:
ടെക്സ്റ്റ്-ടു-വീഡിയോ: വിവരണാത്മക ടെക്സ്റ്റ് പ്രോംപ്റ്റുകളെ അടിസ്ഥാനമാക്കിയുള്ള വീഡിയോകൾ സൃഷ്ടിക്കുന്നതിൽ ലൂമിയർ മികവ് പുലർത്തുന്നു.
ഇമേജ്-ടു-വീഡിയോ: ഒരൊറ്റ റഫറൻസ് ഇമേജും നിർദ്ദിഷ്ട ടെക്സ്റ്റ് പ്രോംപ്റ്റും ഉപയോഗിച്ച്, ലൂമിയർ ഒരു നിയുക്ത പ്രദേശത്തെ ആനിമേറ്റുചെയ്യുന്ന വീഡിയോകൾ സൃഷ്ടിക്കുന്നു, ഇത് സ്റ്റാറ്റിക് വിഷ്വലുകളിൽ നിന്ന് ചലനാത്മക ഉള്ളടക്കം സൃഷ്ടിക്കാൻ പ്രാപ്തമാക്കുന്നു.
വീഡിയോ പെയിന്റിംഗ്: ഇൻപുട്ട് വീഡിയോകളുടെ കാണാതായതോ കേടായതോ ആയ ഭാഗങ്ങൾ ലൂമിയർ തടസ്സമില്ലാതെ നിറയ്ക്കുന്നു, ഇത് സുഗമവും തടസ്സമില്ലാത്തതുമായ കാഴ്ച അനുഭവം ഉറപ്പാക്കുന്നു.
സ്റ്റൈലൈസ്ഡ് ജനറേഷൻ: ഇമേജുകളോ വീഡിയോകളോ ഇൻപുട്ട് ചെയ്യുന്നതിന് വ്യത്യസ്ത ശൈലികളോ തീമുകളോ പ്രയോഗിക്കാനും സർഗ്ഗാത്മകതയെ പരിപോഷിപ്പിക്കാനും വ്യക്തിഗത വിഷ്വൽ സൗന്ദര്യാത്മകത പ്രാപ്തമാക്കാനും ഈ സവിശേഷത ഉപയോക്താക്കളെ അനുവദിക്കുന്നു.
വീഡിയോ സ്റ്റൈലൈസേഷൻ: സ്ഥിരവും യുക്തിസഹവുമായ വീഡിയോ എഡിറ്റിംഗിനായി ഓഫ്-ദി-ഷെൽഫ് ടെക്സ്റ്റ് അധിഷ്ഠിത ഇമേജ് എഡിറ്റിംഗ് രീതികൾ ലൂമിയർ സമന്വയിപ്പിക്കുന്നു, ഇത് യോജിപ്പുള്ള വിഷ്വൽ ആഖ്യാനം ഉറപ്പാക്കുന്നു.
സിനിമാഗ്രാഫുകൾ: ലൂമിയറിന്റെ നൂതന മോഡൽ ഒരു ചിത്രത്തിനുള്ളിൽ നിർദ്ദിഷ്ട ഉപയോക്തൃ നിർവചിച്ച പ്രദേശങ്ങളെ സജീവമാക്കുന്നു, സ്റ്റാറ്റിക്, ഡൈനാമിക് ഘടകങ്ങളെ തടസ്സമില്ലാതെ സംയോജിപ്പിക്കുന്ന ആകർഷകമായ സിനിമാഗ്രാഫുകൾ സൃഷ്ടിക്കുന്നു.
വീഡിയോ പെയിന്റിംഗ് (ആവർത്തനം): ഒരു വീഡിയോ സീക്വൻസിൽ കാണാതായതോ കേടായതോ ആയ പ്രദേശങ്ങൾ പൂരിപ്പിക്കുന്നതിലും വിഷ്വൽ സമഗ്രത നിലനിർത്തുന്നതിലും ഉള്ളടക്കത്തിന്റെ മൊത്തത്തിലുള്ള ഗുണനിലവാരം വർദ്ധിപ്പിക്കുന്നതിലും ഉപകരണം മികവ് പുലർത്തുന്നു.
