Machine Learning En Plein Air: Vytváření dostupných nástrojů pro umělce

Krátký příběh ve dvou částech.

Jako umělec a nováček v oboru strojového učení mě fascinuje to, čeho může technologie dosáhnout, poněkud ohromená její složitostí. Při zkoumání kreativních využití ML a při zvažování jeho možných aplikací jsem však našel užitečnou historickou paralelu. Tato inspirace pochází z exploze kreativních inovací, které se objevily v polovině 18. století zavedením nového nástroje: skládací lakovací trubice. Náhle se umělecké experimentování stalo dostupným pro kreativní jedince, kteří byli dříve zavřeni nedostatkem výcviku a spojení s mistrovskými řemeslníky, a nastolili novou demokratickou éru dějin umění.

Část první: Malování venku

Až do poloviny sedmnáctého století byly přinejmenším ve Francii vyvíjeny a vyučovány malířské techniky a postupy téměř kultovním způsobem, protože metody byly tajně předávány generacemi elitních umělců. Skupiny mistrů v zásadě řídily přístup k plavidlu a učily své učně esoterickými spisy, některé z nich vlastně nazývaly „Knihy tajemství“ ¹, které byly k dispozici pouze vyvoleným. Jedním z těchto vzácných textů bylo „Les secrets de reverend Alexis Piemontois“. Obsahoval návod k různým tématům, včetně klíčových pokynů, jak by malíř měl připravovat své pigmenty.

Tajemství reverenda Alexise Piemontoise - (Paříž, 1557)

Vytváření, míchání a udržování barvy bylo komplikovaným postupem, který zahrnoval mletí, smíchání a sušení pigmentových prášků s lněným olejem2 a jejich uložení do prasečího měchýře uzavřeného provázkem3. Zdokonalování této techniky často trvalo roky výcviku. Studio malování se stalo normou, protože myšlenka malování venku, bez všech potřebných nástrojů a nástrojů, byla považována za příliš těžkopádnou. Pigmenty samotné, jakmile byly vytvořeny, musely být neseny v jednotlivých skleněných nádobách, jeden pro každou potřebnou barvu3. Skutečnost, že barvy byly omezené a příprava byla únavná, ohromně omezila zobrazení, která umělci mohli vylíčit a omezit jejich experimentování. Někteří umělci dokázali experimentovat s výzvami venkovního malířství, ale letecký obraz na místě nebo v plénu byl prostě příliš nepraktický a komplikovaný na to, aby byl široce přijat.

V roce 1841 však americký malíř portrétů John Goffe Rand přišel s jednoduchým vynálezem, který změnil, jak umělci navždy malovali. Po cestě do Evropy vymyslel skládací lakovací trubici: „Vyrobený z cínu a utěsněný šroubovacím uzávěrem, Randova skládací trubice dala barvě dlouhou životnost, nepronikla a mohla být opakovaně otevřena a zavřena.“ ³

Tento jednoduchý, ale velmi účinný vynález umožnil, aby byly barvy a olejové pigmenty snadno přístupné lidem. K dispozici bylo více barev, protože vytváření pigmentů již nebyl časově náročný úkol a pigmenty nevyschly tak rychle. Najednou se nástroje a techniky, které byly obtížně přístupné, staly hlavním proudem.

Patentované výkresy skládací nátěrové trubice John Goffe Rand.

Po Randově vynálezu bylo nejen možné, ale i povzbuzeno, vnější malba nebo vzduch. Renoir jednou řekl: „Bez barev v tubách by neexistoval žádný Cézanne, žádný Monet, žádný Pissarro a žádný impresionismus.“ ³ Nové plemeno umělců nyní mohlo experimentovat s novými technikami, barvami, tématy a vyobrazeními v zejména, malba účinku přirozeného světla venku. Umělci jako Monet, Pissarro, Renoir, Constable a JMW Turner se zasazovali o leteckou malbu a experimentování.

Obraz Clauda Moneta okrajem dřeva (1885) John Singer Sargent. Olej na plátně. 54,0 × 64,8 cm. Tate Gallery, Londýn.

Měli lepší nástroje pro malování, přiznávali umělcům více svobody zkoumat témata, unikat omezením studia a inspirovat se přírodním světem kolem nich.

Moderní pigmentové prášky

Umělci před vynálezem skládací malířské trubice experimentovali s novými způsoby vytváření obrazů mimo hranice studia. Rychle vpřed 150 let nyní objevujeme nové generace umělců, kteří se pokoušejí experimentovat s novými způsoby využití digitální technologie ve své práci. Rád bych tyto současné pokusy považoval za venkovní obrazy XXI. Století. Ale stejně jako jejich kolegové v 18. století měli problémy s výrobou a používáním pigmentů, než byly vynalezeny skládací nátěrové trubky bez přístupu k rozsáhlému a exkluzivnímu školení, umělci dnes mají potíže s plně se rozvíjejícími technickými obory a začleňují do své práce nejnovější nástroje a technologie, protože s ohledem na ně bylo navrženo několik nástrojů.

Jedním z takových oborů je strojové učení, které používá statistické techniky, aby počítačům umožnilo naučit se nebo zlepšit výkon daného úkolu bez výslovného programování posloupnosti instrukcí. Strojové učení, narozené ze statistiky a informatiky, se v naší společnosti stává základní technologií. Ale zatímco komerční, sociální a politické aplikace, jako je rozpoznávání řeči a rozpoznávání obrazu, lze nalézt všude, experimenty s strojovým učením zůstávají z velké části omezeny na počítačové vědce a inženýry. Pro cizince, který nemá žádné předchozí zkušenosti s počítačovou vědou a snaží se porozumět a používat moderní techniky strojového učení k prozkoumání svého tvůrčího potenciálu, cítí se hodně jako snažit se rozdrtit, smíchat a vysušit tajné práškové pigmenty s lněným olejem, jen aby udělal obraz

Tajemství Ctihodného strojového učení

Luke Dubois má vynikající citaci o roli umělců a o tom, jak by se měli zapojit do technologie.

„Každá civilizace použije maximální úroveň technologie, která je k dispozici pro umění. A je na zodpovědnosti umělce klást otázky o tom, co tato technologie znamená a jak odráží naši kulturu. “- R Luke Dubois⁵

Umět umění pomocí maximální úrovně technologie však vyžaduje přístup k této technologii. Vzhledem k tomu, že strojové učení bude i nadále růst ve složitosti a segmentaci, je třeba vytvořit nové způsoby, jak otevřít svůj potenciál praktikům pocházejícím z jiných oborů. I mimo umělce by každý, kdo má zájem, měl být schopen experimentovat se strojovým učením, aniž by musel vytvářet a kompilovat nízkoúrovňový a nejasný kód C ++. Potřebujeme strojové učení přenosných zinkových trubek, aby je mohli všichni použít k experimentování.

Představte si druhy kreativních projektů, které by bylo možné sestavit pomocí algoritmů vyškolených k detekci lidských pozic ve videích a obrázcích. Pokud Kinect uvolní novou vlnu průzkumů pro mediální umělce, co bude dělat výzkum jako DensePose?

Část druhá: Vytvoření správných nástrojů

Nejprve jsem se přiblížil strojovému učení, protože jsem chtěl pomocí této technologie budovat kreativní, podivné a nečekané projekty. To byl jeden z důvodů, proč jsem se téměř před dvěma lety rozhodl přijít do interaktivního telekomunikačního programu NYU (ITP). Můj první projekt využívající strojové učení byl pro třídu, kterou jsem absolvoval s Danem Shiffmanem. Byla to aplikace, která vyprávěla příběhy založené na kombinaci obrázků pomocí předem trénované neuronové sítě, která dokázala generovat titulky. Poté jsem vzal ten samý model a jako součást jiné třídy se Sam Lavigne jsem vytvořil nástroj pro generování podobných sémantických scén z dvojice videí. Zadáte video a v jiném videu získáte scénu, která má podobný význam. Byl jsem fascinován tím, čeho mohl dosáhnout jen jeden model strojového učení.

Také jsem měl možnost spolupracovat s Anastasis Germanidis. Společně jsme vytvořili kreslicí nástroj, který umožňuje uživatelům interaktivně syntetizovat snímky ulic pomocí Generative Adversarial Networks (GAN). Projekt využívá dva výzkumné práce AI zveřejněné v loňském roce jako výchozí bod (překlad obrazu z obrazu pomocí podmíněných kontradiktorních sítí od Isola et al. A syntéza obrazu s vysokým rozlišením a sémantická manipulace s podmíněnými GAN Wangem a kol.) nové druhy spolupráce člověk-stroj, které umožňuje hluboké učení.

Ale jedna opakující se věc, se kterou se při práci se strojovým učením setkávám znovu a znovu, je něco podobného problému s pigmentem popsaným v části první výše: Nástroje se zdají příliš složité na to, aby se dokonce pokusily použít, a spadají pod „Stačí nainstalovat [něco]“. předpoklad. Vývojáři nástrojů předpokládají, že každý, kdo tyto nástroje používá, pochází ze stejného prostředí, nebo vyžadují spoustu znalostí o interních funkcích nízké úrovně. Při pokusu o použití modelů a technik strojového učení jsem se tedy pokusil zjednodušit základní systémy a zároveň mi pomohl lépe porozumět tématu. Účinek byl dvojí: aktivně jsem se něco učil a současně vytvářel nástroj k abstraktování jeho složitosti.

Jeden z nástrojů, které jsem pomohl vytvořit, se snaží zjednodušit strojové učení webu. ml5.js, je knihovna JavaScript, založená na tensorflow.js, která přináší přátelské rozhraní pro strojové učení na webu. Je to projekt, který jsem pomáhal rozvíjet pod vedením Dan Shiffmana a s vynikající skupinou ITP. Hlavním cílem ml5.js je dále snižovat bariéry mezi strojovým učením na nižší úrovni a kreativním kódováním v JavaScriptu. Protože JavaScript se rychle stává vstupním bodem pro mnoho nových programátorů, doufáme, že se může stát také prvním vstupním bodem do strojového učení.

Také jsem experimentoval s možností aplikovat některé principy, které jsou za tím, na jiné kreativní rámce a prostředí. Značná část tohoto úsilí byla zaměřena na pokusit se položit otázky o tvůrčím využití strojového učení v jiných kreativních pracovních postupech: Lze například použít moderní techniky strojového učení k podpoře, generování nebo porozumění tvůrčího procesu? Jak může grafický ilustrátor těžit z hluboké neuronové sítě, která se učí, jak popsat obsah obrázků? Co udělá 3D animátor s neuronovou sítí vyškolenou k vytváření řeči? Může hudebník vytvářet zvuk z algoritmu, který vytváří fotorealistické portréty? Jakým způsobem by měli nebo mohli lidé s malými zkušenostmi optimálně interagovat se strojovým učením? Zkoumal jsem tyto druhy otázek v rámci svého projektu disertační práce ITP, Runway, a rád bych stručně diskutoval o některých věcech, které jsem objevil a dosud postavil.

Ale nejdřív: Modely.

Strojové učení se z velké části skládá z řady kroků navržených ke generování modelů mimo datové body. Model je strojově naučená reprezentace vstupních dat. Model vytvořený pro rozpoznávání obličejů bude tedy nejprve třeba vyškolit na datových sadách mnoha různých typů obličejů. Po zaškolení by měl být schopen rozpoznat tváře z obrázků, které ještě nikdy neviděl. Tento model je vysoce abstraktní reprezentací vstupních dat, která jsou nyní schopna rozpoznat tváře. Ve skutečnosti je tento proces o něco složitější. Zahrnuje shromažďování velkého počtu datových bodů, vytváření školicích, ověřovacích a testovacích datových sad, výběr správné architektury, výběr správných hyperparametrů a poté zaškolení modelu pomocí, pokud je to možné, grafické procesorové jednotky (GPU) pro rychlejší výsledky .

Lidé trénovali a stavěli modely pro mnoho různých účelů, včetně modelů pro rozpoznávání emocí, objektů a lidí, pozic těla, párků v rohlíku, spamu a zvuků; modely generující fotorealistické tváře, titulky, ulice, fasády, hlasy a videa letadel přeměňujících se na kočky; modely pro detekci rakoviny, malárie a HIV. Některé trénované modely jsou eticky pochybné a vyvolávají důležité otázky týkající se sociálního dopadu algoritmů a předpojatostí v naší společnosti, jako jsou modely používané k oddělování čtvrtí nebo předpovídání zločinu.

Postupné pěstování GAN pro zlepšení kvality, stability a variace: http://research.nvidia.com/publication/2017-10_Progressive-Growing-of

Ale ne všechny modely nejsou vytvořeny stejně. Lidé staví modely v různých programovacích jazycích, s různými rámci a pro různé účely. Bez ohledu na to, jak jsou vyrobeny, jsou tyto modely nejužitečnějším aspektem strojového učení, což je na konci opravdu důležité. Modely jsou to, co můžete použít k budování společnosti, vytváření moderně vypadajících uměleckých a výkonných vyhledávačů. Modely jsou nakonec tím, o čem je strojové učení. Modely jsou obrazové pigmenty strojového učení. Jsou to nástroje, které používáte k vytváření umění a podnikání. Většina modelů, přestože jsou stále otevřené, je však stále uzavřena uvnitř močového měchýře: je obtížné je používat, je nákladná a časově náročná.

S frustrováním, že jsem se začal učit a používat modely, jsem zažil od té doby, co jsem se poprvé začal zajímat o strojové učení. Abychom věděli věci, je dobrým příkladem akademický výzkum, jako je Deep Photo Style Transfer, kde styl jednoho obrázku lze aplikovat na jiný a vytvářet tak realistické nové obrázky, které mají hodně tvůrčího potenciálu. V zásadě můžete vytvářet nové obrázky z dvojice dvou odlišných stylů. Představte si Kubrickovu scénu předělenou ve stylu Wes Andersona. Nebo skica umělce, který se transformuje převodem obrázků v reálném čase do jakéhokoli uměleckého stylu nebo období, které chce.

Deep Photo Style Transfer: První sloupec je vstup, druhý je styl a třetí ve vygenerovaném výstupu. - github.com/luanfujun/deep-photo-styletransfer

Ale vzhledem k tomu, že povaha této publikace je stále v oblasti akademického výzkumu, vyžaduje její „základní použití“ drakonický výpočetní proces (pro umělce) „matování Laplacianské matice pomocí Matlabu“:

Základní pokyny k použití pro hluboký přenos stylů fotografií - github.com/luanfujun/deep-photo-styletransfer

Pro každého, kdo má zájem prozkoumat potenciální kreativní využití modelů a technik, jako je Deep Photo Style Transfer, může být takový složitý výchozí bod ohromující a hluboce frustrující. Strojové učení hraje roli v našem každodenním životě, ale stále je uzavřeno pro lidi, kteří nejsou obeznámeni s věcmi, jako jsou Laplacianovy matrice. Chci to změnit a vytvořit posun. Chtěl bych, aby moderní modely strojového učení byly přístupné více lidem, aniž by vyžadovaly předchozí zkušenosti s teorií grafů na vysoké úrovni.

Přistávací dráha

Můj projekt disertační práce ITP, Runway, je výzvou k prozkoumání těchto myšlenek. Pokud jsou modely stavebními kameny strojového učení, jak můžeme vytvořit jednodušší nástroje pro přístup k nim? Jaké by měly být požadavky na spouštění a používání modelů, jako je Deep Photo Style Transfer? Kdybychom mohli mít moderní zinkové barvy pro digitální umělce, jak by vypadali?

Hlavním cílem dráhy je usnadnit proces používání nejmodernějšího modelu strojového učení. Přestože je důležité naučit se data za těmito modely a proces školení, tento projekt není o vytváření správného prostředí pro nasazení modelů do výroby. Nejde o trénink algoritmu a nejde o hyperparametry nebo tvrdé vědy o datech. Je to projekt postavený na jednoduché myšlence zpřístupnění modelů lidem, aby mohli začít uvažovat o nových způsobech použití těchto modelů. A odtud lépe porozumět tomu, jak funguje strojové učení. Proces učení učením.

Dráha má 3 hlavní komponenty: Vstupy, Modely a Výstupy.

V dráze jsou vstupy způsoby, jak spustit předškolený model k provedení určité operace. Model přejde přes vstupy a poté výsledky. Tyto výsledky můžete použít libovolným způsobem. Modely jsou open-source a můžete si vybrat ze sbírky vyškolených modelů. Runway poskytuje knihovnu modelů, které můžete použít libovolným způsobem. Dráha umožňuje uživatelům připojit vstupy nebo výstupy těchto modelů k jinému softwaru.

Integrace dráhy s jiným softwarem

Můžete například spustit model trénovaný k detekci klíčových bodů lidského těla, rukou a obličeje a posílat výsledky živého webového proudu do 3D scény Unity Scene, hudební aplikace běžící v Max / MSP, náčrtu pomocí Zpracování nebo webové stránky používající JavaScript. Abstrakt správného a nejúčinnějšího způsobu spuštění modelu strojového učení umožňuje tvůrcům soustředit se spíše na používání technologie než na pokus o naučení nebo nastavení technologie, účinně přesouvá jejich energii a čas od nastavení nástrojů k tvorbě.

Několik týdnů před obhajobou diplomové práce a poté, co jsem vyvinul funkční beta verzi Runway, jsem otevřel výzvu každému, kdo měl zájem o vyzkoušení aplikace. Jeden z mých hlavních zájmů byl zaměřen na pochopení toho, jak by lidé jednali s takovým nástrojem, nebo zda by to vůbec považovali za užitečné. Naštěstí jsem dostal ohromně pozitivní odpověď. Nejen od umělců, ale také od návrhářů, učitelů, společností a lidí zvědavých na strojové učení obecně. Abych to zvládl, vybral jsem kolem 200 beta testerů. A za pár týdnů začali lidé budovat interaktivní projekty s využitím nejmodernějších modelů strojového učení, které byly dříve nepřístupné: Projekty jako budování pohledů a odhadů v jednotě nebo hraní s rozpoznáváním objektů v openFrameworks a v JavaScriptu.

Něco, co jsem přímo neplánoval, bylo, jak užitečný bude tento nástroj pro strojové učení pedagogů. Jelikož složitost ML na nižší úrovni řídí Runway, mohou pedagogové soustředit svůj čas na vysvětlení architektury modelu, důležitost shromažďování datových sad a projednání možných případů použití. Ale co je nejdůležitější, mohou nechat své studenty, aby vytvářeli plně funkční projekty pomocí strojového učení.

Gene Kogan a Andreas Refsgaard používají dráhu k výuce na Kodaňském institutu interakčního designu Letní školy v Kostarice

Dráha je pozvání pro umělce a další, aby se dozvěděli a prozkoumali strojové učení pomocí přístupnějších nástrojů. Strojové učení je složitá oblast, která bude pravděpodobně i nadále ovlivňovat naši společnost v nadcházejících letech a potřebujeme více způsobů, jak poskytnout více lidem přístup. Stejně jako inovativní technický vynález umožnil impresionistům objevit en plein air painting a začít objevovat a porozumět novému a nezmapovanému teritoriu, snad s nástroji jako Runway, můžeme zahájit éru en plein machine learning as ním uvolnit kreativní potenciál této technologie ve prospěch umění i společnosti jako celku.

Dráha bude k dispozici zdarma a nyní je v beta verzi. Více se můžete dozvědět na runwayml.com

Mnohokrát děkuji Dan Shiffman, Kathleen Wilson, Hannah Davis, Patrick Presto a Scott Reitherman za jejich podporu při psaní tohoto příspěvku.

Poznámky

[1] Od knih tajemství k encyklopediím: malířské techniky ve Francii v letech 1600 - 1800 - historické malířské techniky, materiály a ateliérová praxe

[2] En plein Air - https://en.wikipedia.org/wiki/En_plein_air

[3] Nikdy nepodceňujte sílu malířské trubice https://www.smithsonianmag.com/arts-culture/never-underestimate-the-power-of-a-paint-tube-36637764/#lsrgxhpI13tUTkzg.99

[4] Technika moderního věku: Historie letecké malby v Pleinu - https://www.artelementsgallery.com/blogs/gallery-blog/104238278-a-technique-of-the-modern-age-the-history -of-plein-air-painting

[5] Insightful lidské portréty z dat - R. Luke DuBois - TED Talk: https://www.youtube.com/watch?v=9kBKQS7J7xI