Trencar arxius a mà
El taller fa els glitches amb codi, però la gràcia va començar al revés: obrir un arxiu amb el programa equivocat i veure què passa. Això és el que he après dels manuals de stAllio!, de Phillip Stearns i de la xerrada de James Connolly.
Què és un glitch
Un glitch és una fallada que es veu o se sent: la imatge que es baixa a mitges, la cinta que s'arruga, el joc que pinta brossa quan el cartutx no està ben posat. El glitch art les provoca a propòsit i es queda amb el que surt.
No és nou. Nam June Paik ja posava imants damunt dels televisors als anys seixanta per torçar la imatge. El que va canviar amb els ordinadors és que l'error va deixar de ser un accident de l'aparell i va passar a ser dins de l'arxiu: es pot desar, repetir i compartir.
La gràcia és que no ho controles del tot. Canvies quatre bytes i el resultat depèn de com està fet el format per dins. Per això la meitat d'aquest ofici és aprendre com són els arxius.
Abans del glitch: net.art
A mitjans dels noranta, un grapat d'artistes va començar a fer servir la web com a material i no com a aparador: el navegador, l'HTML, els marcs, els enllaços trencats i els errors eren l'obra. Se'n va dir net.art, amb punt, com si fos un nom d'arxiu.
Diu la llegenda que el nom va sortir d'un correu anònim que li va arribar a Vuk Ćosić el 1995, tan destrossat per un programa incompatible que només s'hi llegia «net.art». Sigui veritat o no, ja és una història de glitch.
Moltes d'aquestes obres encara són en línia i es poden visitar tal qual; d'altres les ha restaurat Rhizome perquè funcionin als navegadors d'avui.
- jodi
- wwwwwwwww.jodi.org (1995): una pàgina que sembla codi vomitat i que, si mires el codi font, amaga dibuixos. Trencar la web a propòsit, des del principi.
- Olia Lialina
- My Boyfriend Came Back from the War (1996): una història d'amor explicada amb marcs HTML que es van partint cada vegada que fas clic.
- Vuk Ćosić
- A més de batejar-ho, va passar pel·lícules clàssiques a caràcters a ASCII History of Moving Images (1998): l'avi del taller ASCII.
- Alexei Shulgin
- Form Art (1997): obres fetes només amb botons, caselles i camps de formulari, el més gris de la web.
- Net Art Anthology
- Entre el 2016 i el 2019 Rhizome va restaurar i comentar cent obres de net art, dels noranta fins avui. El millor lloc per començar.
Qui és qui
No és una llista completa, només la gent que surt una vegada i una altra en el que he anat llegint, per ordre més o menys d'aparició.
- Nam June Paik
- El 1965 va posar un imant damunt d'un televisor i la imatge es va retorçar (Magnet TV). És l'avi de tot això: el vídeo com a material que es pot doblegar.
- Steve Rutt i Bill Etra
- A principis dels setanta van construir el sintetitzador de vídeo Rutt/Etra, que converteix la imatge en línies que s'aixequen amb la llum.
- jodi
- Joan Heemskerk i Dirk Paesmans. Des del 1995 fan webs i jocs que semblen trencats a propòsit: el codi, els errors i la pantalla com a obra.
- Cory Arcangel
- Va obrir un cartutx de Super Mario Bros. i li va treure tot menys els núvols (Super Mario Clouds, 2002). Fer el hacker amb l'aparell també és glitch.
- Takeshi Murata
- Monster Movie (2005) és una de les obres que van donar a conèixer el datamosh: un vídeo que es fon quan li treus els fotogrames clau.
- Rosa Menkman
- Artista i teòrica neerlandesa. Va escriure el Glitch Studies Manifesto (2010) i el llibre The Glitch Moment(um) (2011): per què l'error diu alguna cosa de la màquina i de qui la mira.
- Kim Asendorf
- El 2010 va publicar ASDFPixelSort, el programa de Processing que va posar de moda el pixel sorting.
- stAllio!
- Els seus manuals de databending (des del 2008) van ensenyar molta gent a trencar arxius a mà, començant per l'efecte WordPad.
- Phillip Stearns
- Trenca càmeres digitals i arxius d'imatge, i teixeix els resultats en mantes i tapissos (Glitch Textiles). Manté una llista enorme de recursos.
- Don Miller (NO CARRIER)
- Fa cartutxos de NES pensats per provocar glitches en directe, com glitchNES, i els toca en concerts.
- GLI.TC/H
- El festival de glitch de Chicago (2010–2012), organitzat entre d'altres per Nick Briz, Jon Satrom, Evan Meaney i Rosa Menkman. Va aplegar mig món glitch.
Per què uns arxius es trenquen millor que d'altres
Gairebé tots els arxius d'imatge tenen dues parts: una capçalera al principi, que diu què és (mida, colors, taules), i després les dades de la imatge. Si trenques la capçalera, el programa ja no l'obre. Si trenques les dades, l'obre i la pinta malament, que és el que volem.
En un BMP sense comprimir cada byte és directament un tros de color d'un píxel, així que un canvi es queda on l'has fet: soroll, franges, colors que es corren. En un JPG les dades estan comprimides i cada tros depèn de l'anterior: un sol byte canviat arrossega l'error a la resta de la imatge, amb aquells desplaçaments de color i blocs que es veuen al taller.
En un JPG, les dades de veritat comencen després del marcador FF DA (l'«Start of Scan»). Tot el que hi ha abans, millor no tocar-ho.
Amb un editor hexadecimal
És la manera més directa: obres l'arxiu i en veus els bytes, un a un, en hexadecimal. Serveix qualsevol editor; al navegador hi ha hexed.it, i a Windows el clàssic és HxD.
- Treballa sempre sobre una còpia: la trencaràs.
- Obre-la a l'editor i busca on acaba la capçalera. En un JPG, busca FF DA i salta't uns quants bytes més.
- Canvia alguns bytes de la part de les dades, o copia'n un tros i enganxa'l en un altre lloc. Comença per poc: amb deu canvis ja es nota.
- No escriguis FF en un JPG: obre un marcador nou i el normal és que la imatge deixi d'obrir-se.
- Desa i obre-la. Si no s'obre, torna a la còpia i toca'n menys o més cap al final.
Amb un editor d'àudio (sonificació)
Un arxiu són bytes i a un programa d'àudio li és igual d'on vénen: si li dius que és so, el tracta com a so. Així es pot aplicar a una foto un eco, una inversió o un phaser, i l'efecte es veu com a franges i repeticions.
Funciona millor amb imatges sense comprimir: BMP o TIFF.
- A Audacity: Fitxer → Importa → Dades en brut. Tria «U-Law» o «8 bits sense signe», un canal.
- Selecciona-ho tot menys el principi (allà hi ha la capçalera; amb un tros petit n'hi ha prou) i aplica-hi un efecte: eco, reverb, inverteix, canvi de to…
- Exporta com a «Altres sense comprimir», capçalera «RAW (sense capçalera)», amb la mateixa codificació que en importar.
- Canvia l'extensió a la d'abans (.bmp) i obre-la. Si no s'obre, torna-ho a provar deixant més principi sense tocar.
Prova-ho al taller →Glitch Art Resources (Phillip Stearns) ↗
L'efecte WordPad
El primer manual de stAllio! explica un truc que es va fer famós: obrir una imatge BMP al WordPad, el processador de textos de Windows, i desar-la. El WordPad es pensa que és text i «arregla» alguns bytes pel camí (sobretot els salts de línia), així que tot el que ve després es desplaça una mica i la imatge surt creuada de ratlles en diagonal.
Windows 11 ja no porta WordPad, però l'efecte es pot imitar: qualsevol programa que converteixi els salts de línia (de 0A a 0D 0A) en un arxiu que no és text fa el mateix.
GIF
Un GIF porta la seva paleta, com a molt 256 colors, a prop del principi. Si canvies bytes de la paleta, la imatge no es trenca: canvia de colors sencera, com si l'haguessin revelat amb una altra química.
Les dades van comprimides amb LZW, i allà un canvi fa que tot el que ve darrere es torni franges i brossa. Amb un GIF animat pots trencar només alguns fotogrames. La tercera part del manual de stAllio! ho explica byte a byte.
Vídeo: datamosh
Un vídeo comprimit no desa tots els fotogrames sencers. En desa un de complet de tant en tant (el fotograma clau, o I-frame) i, entremig, només el que es mou (els P-frames). Si esborres els fotogrames clau, el moviment del pla nou s'aplica damunt de la imatge del pla vell i totes dues es fonen: això és el datamosh.
Takeshi Murata el va portar als museus a mitjan anys 2000 i després va arribar als vídeos musicals. Abans es feia amb versions velles d'Avidemux i vídeos en Xvid; avui hi ha eines com FFglitch, feta sobre FFmpeg.
Amb l'aparell: consoles, cables i circuits
També es pot trencar des de fora. El circuit bending obre joguines i aparells barats i connecta punts del circuit que no tocava connectar. El cartutx mig posat d'una consola vella pinta gràfics impossibles.
Don Miller (NO CARRIER) va fer glitchNES, un cartutx de NES pensat per provocar glitches en directe amb el comandament, i el fa servir en concerts.
Glitch de veritat o de mentida?
Iman Moradi, a la seva tesi Glitch Aesthetics (2004), separava els glitches «purs», els que passen sols perquè alguna cosa falla, dels glitch-alikes: els que es busquen o s'imiten a propòsit. Gairebé tot el glitch art és dels segons, i no passa res.
Dins del que es busca també hi ha diferències. Trencar l'arxiu de veritat (canviar bytes, esborrar fotogrames) dona resultats que no pots preveure. Aplicar un filtre que imita l'error (les línies del VHS, els colors desplaçats) dona sempre el mateix i s'ha tornat una estètica més, d'anunci i de videoclip.
El taller té de les dues coses i no ho amaga: el JPG trencat trenca l'arxiu de veritat; el VHS i els canals RGB són imitacions. Totes dues serveixen; només està bé saber quina és quina.
Glossari
Les paraules que surten tota l'estona, amb una frase cadascuna i, si el taller ho fa, l'enllaç per provar-ho.
- Glitch
- Una fallada breu que es veu o se sent. Ve de l'anglès dels tècnics de ràdio i de la NASA dels seixanta; abans dels ordinadors ja existia.
- Databending
- Trencar un arxiu obrint-lo o editant-lo amb un programa que no és el seu: una foto en un editor d'àudio, un BMP al WordPad.
- Artefacte de compressió
- El que deixa a la vista un format que comprimeix: els blocs del JPG, el color que es corre, el vídeo fet quadradets quan va malament la connexió.
- Macrobloc
- Els quadrats de 16×16 píxels en què el vídeo comprimit parteix cada fotograma. En un datamosh són els que es mouen i arrosseguen la imatge vella.
- Fotograma clau (I-frame) i P-frame
- L'I-frame és un fotograma sencer; els P-frames només desen el que canvia respecte de l'anterior. Sense I-frames, surt el datamosh.
- Datamosh
- Treure fotogrames clau d'un vídeo perquè el moviment d'un pla es pinti damunt d'un altre.
- Pixel sorting
- Ordenar els píxels d'una fila o columna per brillantor o per to, normalment només en un tram. Surt com si la imatge degotés.
- Aberració cromàtica
- Els colors que no coincideixen: el vermell, el verd i el blau desplaçats, com en una lent barata o un projector mal alineat.
- Dither (tramat)
- Fer veure més colors dels que hi ha barrejant punts dels pocs que queden. És el que feien els ordinadors de 3 o 8 bits.
- Slit-scan
- Fer una imatge per trossos presos en moments diferents: el que es mou s'estira. És el truc del passadís de colors de 2001: una odissea de l'espai.
- Scan lines i tracking
- Les línies del televisor de tub i la franja que puja per la pantalla quan el vídeo no llegeix bé la cinta.
- Sonificació
- Tractar com a so dades que no ho són, per aplicar-hi efectes d'àudio.
- Circuit bending
- Obrir un aparell electrònic i unir punts del circuit perquè faci el que no havia de fer.
- Zalgo
- Text ple de marques combinables d'Unicode apilades a sobre i a sota de les lletres.
- Mojibake
- El text que surt malament perquè s'ha llegit amb una altra codificació: «Ã±» en lloc de «ñ». La paraula és japonesa.