Explicatorul dvs. unic despre Deepfakes și pentru a le face ușor cu Faceswap.
Inteligența artificială nu mai este atât de „artificială”. Aceste vremuri l-au pus periculos de aproape de noi, oamenii.
Poate sugera, scrie, crea artă, iar acum arată și vorbește ca cei vii.
Aceasta este una dintre cele mai recente evoluții în acest domeniu de care ar trebui să profităm. Totuși, acesta este și unul de care trebuie să ne ferim.
Cuprins
Ce sunt Deepfake-urile?
Cuvântul Deepfake este creat prin combinarea deep learning și fake. În termeni simpli, puteți presupune, de asemenea, că aceasta este o mass-media manipulată cu experiență sau profund falsificată.
Conform Wikipedia, aceasta este cunoscută și ca media sintetică în care o imagine, un sunet sau un videoclip existent este modificat pentru a reprezenta pe altcineva în întregime.
De obicei, deepfake-urile fac ca personalitățile renumite să pară să spună ceva ce altfel nu ar spune.
Pe baza abilităților creatorului său, poate fi extrem de greu de spus dacă este real sau fals.
Cum funcționează Deepfakes?
Mai simplu spus, o parte a videoclipului original (să zicem o față) este înlocuită cu un fals cu aspect similar. Într-un astfel de caz, poate fi numit și schimb de fețe, ca în acest videoclip „Obama”.
Cu toate acestea, nu se limitează doar la video și avem și imagini și audio deepfake (și cine știe, avatare VR deepfake în viitorul apropiat).
Sursa: Disney
Metodologia de lucru din spatele unor astfel de trucuri depinde în primul rând de aplicație și de algoritmul de bază.
Conform acestei lucrări de cercetare a Disney, există diverse tehnici, inclusiv codificatoare-decodificatoare, rețele generative adverse (GAN), deepfake-uri bazate pe geometrie etc.
Cu toate acestea, următoarele secțiuni sunt afectate în mare măsură de modul în care funcționează cu Facewap. Acesta este un software Deepfake gratuit și open-source care permite ca mai mulți algoritmi să obțină rezultatul așteptat.
Există trei procese majore pentru a genera deepfake: extracție, antrenament și conversie.
#1. Extracţie
Este vorba despre detectarea și stoarcerea subiectului de interes din mostrele media, originalul și cel pentru schimb.
Pe baza capacităților hardware, pot exista mulți algoritmi pentru a opta pentru o detectare eficientă.
De exemplu, Faceswap are câteva opțiuni diferite pentru extracție, aliniere și mascare bazate pe eficiența CPU sau GPU.
Extragerea identifică pur și simplu fața din videoclipul general. Alinierea localizează trăsăturile esențiale ale oricărei fețe (ochi, nas, bărbie etc.). Și, în sfârșit, mascarea blochează alte elemente ale imaginii, cu excepția zonei de interes.
Timpul total necesar pentru ieșire este important în selectarea oricărei opțiuni, deoarece alegerea algoritmilor care consumă mult resurse pe hardware mediocru poate duce la eșec sau un timp substanțial îndelungat pentru a obține rezultate acceptabile.
Pe lângă hardware, alegerea depinde și de parametrii cum ar fi dacă videoclipul de intrare suferă de obstrucții faciale, cum ar fi mișcările mâinii sau ochelarii.
Un element necesar, în final, este curățarea (explicată mai târziu) a ieșirii, întrucât extracțiile vor avea câteva fals pozitive.
În cele din urmă, extragerea se repetă pentru videoclipul original și pentru fals (folosit pentru schimb).
#2. Instruire
Aceasta este inima creării deepfake-urilor.
Antrenamentul se referă la rețeaua neuronală, care constă din codificator și decodor. Aici, algoritmii sunt alimentați cu datele extrase pentru a crea un model pentru conversie ulterioară.
Codificatorul convertește intrarea într-o reprezentare vectorială pentru a antrena algoritmul pentru a recrea fețele înapoi din vectori, așa cum face decodorul.
Ulterior, rețeaua neuronală își evaluează iterațiile și le compară cu originalul, atribuind un scor de pierdere. Această valoare a pierderii scade în timp pe măsură ce algoritmul continuă să repete și te oprești când previzualizările sunt acceptabile.
Instruirea este un proces care consumă timp, iar rezultatele se îmbunătățesc în general pe baza iterațiilor pe care le efectuează și a calității datelor de intrare.
De exemplu, Faceawap sugerează un minim de 500 de imagini fiecare, originale și pentru schimb. În plus, imaginile ar trebui să difere semnificativ între ele, acoperind toate unghiurile posibile într-o iluminare unică pentru cea mai bună recreere.
Având în vedere durata antrenamentului, unele aplicații (cum ar fi Faceswap) permit să opriți antrenamentul la jumătate sau să continue mai târziu.
În special, fotorealismul ieșirii depinde și de eficiența algoritmului și de intrare. Și unul este din nou limitat de capacitățile hardware.
#3. Conversie
Acesta este ultimul capitol din creația deepfake. Algoritmii de conversie au nevoie de videoclipul sursă, modelul antrenat și fișierul de aliniere sursă.
Ulterior, se pot modifica câteva opțiuni legate de corectarea culorii, tipul de mască, formatul de ieșire dorit etc.
După configurarea acestor câteva opțiuni, așteptați doar randarea finală.
După cum am menționat, Faceswap funcționează cu mulți algoritmi și se poate juca între ele pentru a obține un schimb de fețe tolerabil.
Asta e tot?
Nu!
Acesta a fost doar schimb de fețe, un subset de tehnologie deepfake. Schimbarea feței, ca și sensul literal, înlocuiește doar o parte a feței pentru a oferi o idee vagă despre ce ar putea face deepfakes.
Pentru un schimb credibil, s-ar putea să fie nevoie și să imitați sunetul (mai bine cunoscut sub numele de clonarea vocii) și întregul fizic, inclusiv tot ceea ce se potrivește în cadru, astfel:
Deci, ce se joacă aici?
Ceea ce s-ar fi putut întâmpla este că autorul deepfake a filmat el însuși videoclipul (așa cum a fost indicat în ultimele secunde), a sincronizat pe buze dialogul cu vocea sintetică a lui Morgan Freeman și și-a pus capul la loc.
În concluzie, nu este vorba doar de schimbarea feței, ci de întregul cadru, inclusiv de audio.
Puteți găsi tone de deepfake-uri pe YouTube până la punctul în care devine înfricoșător în ceea ce să aveți încredere. Și tot ce este nevoie este un computer plin de putere cu o placă grafică eficientă pentru a începe.
Cu toate acestea, perfecțiunea este greu de atins și este valabil mai ales în cazul deepfake-urilor.
Pentru un deepfake convingător care poate induce în eroare sau uimește publicul necesită abilități și câteva zile până la săptămâni de procesare pentru un minut sau două dintr-un videoclip.
Interesant este că atât de capabili sunt acești algoritmi de acum. Dar ceea ce ne rezervă viitorul, inclusiv cât de eficiente pot fi aceste aplicații pe hardware-ul de ultimă generație, este ceva care a încurajat guvernele întregi.
Cu toate acestea, nu ne vom scufunda în repercusiunile sale viitoare. În schimb, să verificăm cum să o faci singur pentru puțină distracție.
Crearea de videoclipuri Deepfake (de bază).
Puteți verifica multe aplicații în această listă de aplicații deepfake pentru a crea meme.
Unul dintre ele este Faceswap, pe care îl vom folosi.
Există câteva lucruri pe care le vom asigura înainte de a continua. În primul rând, ar trebui să avem un videoclip de bună calitate al țintei care să ilustreze diferite emoții. În continuare, vom avea nevoie de un videoclip sursă pentru a schimba pe țintă.
În plus, închideți toate aplicațiile intensive pentru plăcile grafice, cum ar fi browserele sau jocurile, înainte de a continua cu Faceswap. Acest lucru este valabil mai ales dacă aveți mai puțin de 2 giga de VRAM (RAM video).
Pasul 1: Extragerea fețelor
Primul pas în acest proces este extragerea fețelor din videoclip. Pentru aceasta, trebuie să selectăm videoclipul țintă în Input Dir și să listăm un Output Dir pentru extracții.
În plus, există câteva opțiuni, inclusiv detector, aliniere, mascare etc.; explicațiile pentru fiecare se află în Întrebările frecvente Faceawap și ar fi o risipă să reluăm informațiile aici.
Sursa: Faceswap FAQ
În general, este bine să revizuiți documentația pentru o mai bună înțelegere și un rezultat decent. Cu toate acestea, există texte utile în Faceswap pe care le puteți găsi trecând cu mouse-ul peste opțiunea specifică.
Mai simplu spus, nu există o modalitate universală și ar trebui să începem cu cei mai buni algoritmi și să-și coboare cu succes pentru a crea un deepfake convingător.
Pentru context, am folosit Mtcnn (detector), Fan (aligner) și Bisenet-Fp (masker), păstrând toate celelalte opțiuni așa cum sunt.
Inițial, l-am încercat cu S3Fd (cel mai bun detector) și alte câteva măști combinate. Cu toate acestea, 2Gb-ul meu Nvidia GeForce GTX 750Ti nu a putut suporta greul, iar procesul a eșuat în mod repetat.
În cele din urmă, mi-am atenuat așteptările și setările pentru a reuși.
Pe lângă selectarea detectorului, mascatorilor, etc., mai există câteva opțiuni în Setări > Configurare setări care ajută la ajustarea setărilor individuale în continuare pentru a ajuta hardware-ul.
Mai simplu, selectați cea mai mică dimensiune posibilă a lotului, dimensiunea intrării și dimensiunea ieșirii și bifați LowMem etc. Aceste opțiuni nu sunt disponibile universal și se bazează pe o anumită secțiune. În plus, textele de ajutor ajută în continuare la selectarea celor mai bune opțiuni.
Deși acest instrument face o treabă excelentă de extragere a fețelor, cadrele de ieșire pot avea mult mai mult decât este necesar pentru a antrena (discutat mai târziu) modelul. De exemplu, va avea toate fețele (dacă videoclipul are mai multe) și unele detectări necorespunzătoare care nu au fața țintă deloc.
Acest lucru duce la curățarea setului de date. Oricine poate verifica folderul de ieșire și se poate șterge singur sau poate folosi sortarea Faceswap pentru a obține ajutor.
Folosind instrumentul menționat mai sus, veți aranja diferite fețe în succesiune, de unde le puteți combina pe cele necesare într-un singur folder și le puteți șterge pe celelalte.
Ca reamintire, veți dori, de asemenea, să repetați extragerea pentru videoclipul din sursă.
Pasul 2: Antrenarea modelului
Acesta este cel mai lung proces de creare a unui deepfake. Aici, intrarea A se referă la fața țintă, iar intrarea B se referă la fața sursă. În plus, Model Dir este locul unde vor fi salvate fișierele de antrenament.
Aici cea mai importantă opțiune este Trainer. Există o mulțime de opțiuni de scalare individuale; cu toate acestea, ceea ce a funcționat pentru hardware-ul meu este Dfl-H128 și antrenamentele ușoare cu cele mai mici setări de configurare.
Urmează dimensiunea lotului. O dimensiune mai mare a lotului reduce timpul general de antrenament, dar consumă mai multă VRAM. Iterațiile nu au un efect fix asupra rezultatului și ar trebui să setați o valoare suficient de mare și să opriți antrenamentul odată ce previzualizările sunt acceptabile.
Mai sunt câteva setări, inclusiv crearea unui timelapse cu intervale prestabilite; cu toate acestea, am antrenat modelul cu strictul minim.
Pasul 3: Schimbarea pe original
Aceasta este ultima faptă din creația deepfake.
În general, acest lucru nu necesită atât de mult timp și vă puteți juca cu multe opțiuni pentru a obține rapid rezultatul dorit.
După cum se indică în imaginea de mai sus, acestea sunt câteva opțiuni pentru care trebuie să optați pentru a începe conversia.
Cele mai multe opțiuni sunt deja discutate, cum ar fi directorul de intrare și ieșire, directorul de model, etc. Un lucru crucial este Alinierea care se referă la fișierul de aliniere (.fsa) al videoclipului țintă. Acesta este creat în directorul de intrare în timpul extragerii.
Câmpul Alinieri poate fi lăsat necompletat dacă acel fișier specific nu a fost mutat. În caz contrar, se poate selecta fișierul și trece la alte opțiuni. Totuși, nu uitați să curățați fișierul de aliniere dacă ați curățat extracțiile mai devreme.
Pentru aceasta, acest mini instrument se află în Instrumente > Alinieri.
Începeți prin a selecta Eliminarea fețelor din secțiunea Lucrări, selectați fișierul de aliniere original și folderul fețe țintă curățate și faceți clic pe Aliniamente din dreapta jos.
Aceasta va crea un fișier de aliniere modificat, care se potrivește cu folderul fețe optimizate. Vă rugăm să rețineți că avem nevoie de acest lucru pentru videoclipul țintă, în care vrem să îl schimbăm.
Alte câteva configurații includ reglarea culorii și tipul de mască. Ajustarea culorii dictează amestecarea măștii și puteți încerca câteva, verificați previzualizarea și selectați opțiunea optimă.
Tipul de mască este mai important. Acest lucru, din nou, depinde de așteptările dumneavoastră și de hardware-ul disponibil. De obicei, trebuie să luați în considerare și caracteristicile video de intrare. De exemplu, Vgg-Clear funcționează bine cu fețele frontale fără obstacole, în timp ce Vgg-Obstructed se poate descurca și cu obstacole, cum ar fi gesturi cu mâinile, ochelari etc.
Apoi, Writer prezintă câteva opțiuni bazate pe rezultatul dorit. Pentru De exemplu, selectați Ffmpeg pentru o redare video.
În general, cheia unui deepfake de succes este previzualizarea câtorva rezultate și optimizarea în funcție de disponibilitatea timpului și potența hardware-ului.
Aplicații Deepfake
Există aplicații bune, rele și periculoase ale deepfake-urilor.
Cele bune constau în recrearea lecțiilor de istorie de către cei care au fost de fapt acolo pentru o mai mare implicare.
În plus, acestea sunt folosite de platformele de învățare online pentru a genera videoclipuri din texte.
Dar unul dintre cei mai mari beneficiari va fi industria filmului. Aici, va fi ușor să-ți imaginezi liderul real care efectuează cascadorii, chiar și atunci când va fi cascadorul care își riscă viața. În plus, realizarea de filme în mai multe limbi va fi mai ușor ca niciodată.
Venind la cele rele, din păcate, sunt multe. Cea mai mare aplicație de deepfake de până acum, de fapt, 96% (conform acestui raport Deeptrace), este în industria porno pentru a schimba fețele celebrităților cu actori porno.
În plus, deepfake-urile sunt, de asemenea, armate împotriva femeilor „standard” care nu sunt celebrități. De obicei, astfel de victime au fotografii sau videoclipuri de înaltă calitate pe profilurile lor de rețele sociale, care sunt folosite pentru crearea de deepfakes.
O altă aplicație înfricoșătoare este vishing, alias phishing vocal. Într-un astfel de caz, CEO-ul unei firme din Marea Britanie a transferat 243.000 de dolari la ordinul „CEO” al companiei-mamă din Germania, pentru a afla mai târziu că a fost de fapt un apel telefonic fals.
Dar ceea ce este și mai periculos este deepfake să provoace războaie sau să ceri capitularea. În cea mai recentă încercare, președintele ucrainean, Volodimir Zelenski, le-a spus forțelor și oamenilor să se predea în războiul aflat în desfășurare. Cu toate acestea, adevărul de data aceasta a fost dezvăluit de videoclipul subpar.
În concluzie, există multe aplicații deepfake și abia începe.
Asta ne aduce la întrebarea de un milion de dolari…
Deepfakes este legal?
Acest lucru depinde în mare măsură de administrația locală. Deși, legi bine definite, inclusiv ce este permis și ce nu, sunt încă de văzut.
Totuși, ceea ce este evident este că depinde de ceea ce folosești deepfake-urile – intenția. Nu există aproape niciun rău dacă intenționați să distrați sau să educați pe cineva fără a deranja ținta de schimb.
Pe de altă parte, aplicațiile rău intenționate ar trebui să fie pedepsite prin lege, indiferent de jurisdicție. O altă zonă gri este încălcarea drepturilor de autor, care necesită o atenție adecvată.
Dar pentru a reitera, ar trebui să verificați cu organismele guvernamentale locale despre aplicațiile legale de deepfake.
Fii atent!
Deepfkaes folosește inteligența artificială pentru a face pe oricine să spună lucruri.
Să nu ai încredere în nimic din ceea ce vezi pe internet este primul sfat după care ar trebui să luăm măsuri. Există o mulțime de dezinformare, iar eficacitatea lor este în creștere.
Și, deoarece va fi doar mai ușor să le creăm, este timpul să învățăm cum să descoperim deepfake-urile.