Să adaugi un obiect într-o fotografie e cel mai de bază lucru din Photoshop, dar schema asta simplă devine mai complexă când vrei să alterezi în mod convingător tablouri faimoase. Noroc cu inteligența artificială.
La începutul acestui an, o echipă de cercetători de la Cornell University și Adobe Research au creat un algoritm de machine learning care e capabil să adauge fără cusur obiecte în tablouri, prin replicarea stilurilor unice. Acest lucru necesită niște skill-uri serioase de editare imagine, iar până acum nimic nu a mers.
Videos by VICE
Așa cum a explicat într-o lucrare intitulată Deep Painterly Harmonization, postată pe serverul arXiv în aprilie, e mai greu să adaugi obiecte în picturi decât în fotografii, deoarece uneltele folosite pentru a manipula fotografiile nu sunt concepute pentru a calcula texturile de pensulă și abstractizarea tipică a tablourilor.
Conform lucrării, noua tehnică se bazează pe o lucrare anterioară care a utilizat rețelele neurale artificiale, un tip de inteligență modelată după creierul uman, pentru a efectua o „stilizare de pictură”. Acest tip de rețea neurală folosește analiza statistică pentru a crea o hartă abstractizată a unui stil de pictură, care poate fi aplicat[ oricărei imagini pentru a recrea stilul acelui pictor.
Deși abordarea asta merge destul de bine dacă vrei să-ți faci un selfie a la Van Gogh, există chiar și aplicații pentru asta, dar ce faci dacă vrei să-ți inserezi selfie-ul într-o pictură de Van Gogh?
Asta au reușit să realizeze doctorandul Cornell Fujun Luan și colegii săi, pentru prima oară, cu rețeaua lor neurală.
„Marea provocare în problema de armonizare a picturii e că trebuie analizată în detaliu atât consistența statistică a perspectivei, cât și proporția obiectului adăugat, altfel ar prezenta erori evidente de compoziție”, mi-a spus Luan într-un mail. „Am făcut și experimente folosind patch-uri neurale anterioare de potrivire a tehnicilor, însă rezultatele nu au fost satisfăcătoare.”
Pentru a atinge nivelul de realism local necesar pentru a adăuga obiecte în picturi, Luan și colegii săi au instruit rețeaua lor neurală să urmeze un proces în trei etape. Primul pas implică copierea și lipirea imaginii în fotografie. În pasul următor, algoritmul încearcă să aplice un stil potrivit în funcție de pictură. În cele din urmă, rețeaua neurală face o potrivire mai rafinată a stilului, care se potrivește și texturii picturii originale.
Luan mi-a spus că el a început proiectul în timp ce era intern la Adobe. El consideră că „scopul final” al rețelei neurale este de a oferi o unealtă pentru artiști. Într-adevăr, cel mai probabil va ajunge în viitoarele software-uri de editare imagini.
„Să sperăm că unealta va fi ușor de folosit, astfel încât să poate fi utilizată și de amatori, pentru a produce imagini amuzante”, a spus Luan.
Luan și colegii lui au făcut codul open source și disponibil pentru toată lumea pe GitHub. Lucrările au ajuns recent și pe Twitter, după ce artistul și programatorul Gene Kogan a postat câteva din rezultatele mai amuzante.
Kogan mi-a spus într-un mail că rețeaua neurală open source poate fi pornită din command line cu niște „aptitudini rudimentare.”
Pentru că skill-urile mele de programare de abia pot spune că sunt rudimentare, nu am fost în stare să instalez rețeaua neurală. Dar poate în viitorul apropiat o să pot da click pe un buton și algoritmul să facă toată treaba.
