Romper archivos a mano
El taller hace los glitches con código, pero la gracia empezó al revés: abrir un archivo con el programa equivocado y ver qué pasa. Esto es lo que he aprendido de los manuales de stAllio!, de Phillip Stearns y de la charla de James Connolly.
Qué es un glitch
Un glitch es un fallo que se ve o se oye: la imagen que se descarga a medias, la cinta que se arruga, el juego que pinta basura cuando el cartucho no está bien metido. El glitch art los provoca a propósito y se queda con lo que sale.
No es nuevo. Nam June Paik ya ponía imanes encima de los televisores en los años sesenta para torcer la imagen. Lo que cambió con los ordenadores es que el error dejó de ser un accidente del aparato y pasó a estar dentro del archivo: se puede guardar, repetir y compartir.
La gracia está en que no lo controlas del todo. Cambias cuatro bytes y el resultado depende de cómo está hecho el formato por dentro. Por eso la mitad de este oficio es aprender cómo son los archivos.
Antes del glitch: net.art
A mediados de los noventa, un puñado de artistas empezó a usar la web como material y no como escaparate: el navegador, el HTML, los marcos, los enlaces rotos y los errores eran la obra. Se llamó net.art, con punto, como si fuera un nombre de archivo.
Cuenta la leyenda que el nombre salió de un correo anónimo que le llegó a Vuk Ćosić en 1995, tan destrozado por un programa incompatible que solo se leía «net.art». Sea verdad o no, ya es una historia de glitch.
Muchas de estas obras siguen en línea y se pueden visitar tal cual; otras las ha restaurado Rhizome para que funcionen en los navegadores de hoy.
- jodi
- wwwwwwwww.jodi.org (1995): una página que parece código vomitado y que, si miras el código fuente, esconde dibujos. Romper la web a propósito, desde el principio.
- Olia Lialina
- My Boyfriend Came Back from the War (1996): una historia de amor contada con marcos HTML que se van partiendo cada vez que haces clic.
- Vuk Ćosić
- Además de bautizarlo, pasó películas clásicas a caracteres en ASCII History of Moving Images (1998): el abuelo del taller ASCII.
- Alexei Shulgin
- Form Art (1997): obras hechas solo con botones, casillas y campos de formulario, lo más gris de la web.
- Net Art Anthology
- Entre 2016 y 2019 Rhizome restauró y comentó cien obras de net art, de los noventa a hoy. El mejor sitio para empezar.
Quién es quién
No es una lista completa, solo la gente que sale una y otra vez en lo que he ido leyendo, por orden más o menos de aparición.
- Nam June Paik
- En 1965 puso un imán encima de un televisor y la imagen se retorció (Magnet TV). Es el abuelo de todo esto: el vídeo como material que se puede doblar.
- Steve Rutt y Bill Etra
- A principios de los setenta construyeron el sintetizador de vídeo Rutt/Etra, que convierte la imagen en líneas que se levantan con la luz.
- jodi
- Joan Heemskerk y Dirk Paesmans. Desde 1995 hacen webs y juegos que parecen rotos a propósito: el código, los errores y la pantalla como obra.
- Cory Arcangel
- Abrió un cartucho de Super Mario Bros. y le quitó todo menos las nubes (Super Mario Clouds, 2002). Hackear el aparato también es glitch.
- Takeshi Murata
- Monster Movie (2005) es una de las obras que dieron a conocer el datamosh: un vídeo que se derrite al quitarle los fotogramas clave.
- Rosa Menkman
- Artista y teórica neerlandesa. Escribió el Glitch Studies Manifesto (2010) y el libro The Glitch Moment(um) (2011): por qué el error dice algo de la máquina y de quien la mira.
- Kim Asendorf
- En 2010 publicó ASDFPixelSort, el programa de Processing que puso de moda el pixel sorting.
- stAllio!
- Sus manuales de databending (desde 2008) enseñaron a mucha gente a romper archivos a mano, empezando por el efecto WordPad.
- Phillip Stearns
- Rompe cámaras digitales y archivos de imagen, y teje los resultados en mantas y tapices (Glitch Textiles). Mantiene una lista enorme de recursos.
- Don Miller (NO CARRIER)
- Hace cartuchos de NES pensados para provocar glitches en directo, como glitchNES, y los toca en conciertos.
- GLI.TC/H
- El festival de glitch de Chicago (2010–2012), organizado entre otros por Nick Briz, Jon Satrom, Evan Meaney y Rosa Menkman. Juntó a medio mundo glitch.
Por qué unos archivos se rompen mejor que otros
Casi todos los archivos de imagen tienen dos partes: una cabecera al principio, que dice qué es (tamaño, colores, tablas), y luego los datos de la imagen. Si rompes la cabecera, el programa ya no lo abre. Si rompes los datos, lo abre y lo pinta mal, que es lo que queremos.
En un BMP sin comprimir cada byte es directamente un trozo de color de un píxel, así que un cambio se queda donde lo has hecho: ruido, franjas, colores que se corren. En un JPG los datos están comprimidos y cada trozo depende del anterior: un solo byte cambiado arrastra el error al resto de la imagen, con esos desplazamientos de color y bloques que se ven en el taller.
En un JPG, los datos de verdad empiezan después del marcador FF DA (el «Start of Scan»). Todo lo de antes es mejor no tocarlo.
Con un editor hexadecimal
Es la manera más directa: abres el archivo y ves sus bytes, uno a uno, en hexadecimal. Sirve cualquier editor; en el navegador está hexed.it, y en Windows el clásico es HxD.
- Trabaja siempre sobre una copia: lo vas a romper.
- Ábrela en el editor y busca dónde acaba la cabecera. En un JPG, busca FF DA y sáltate unos cuantos bytes más.
- Cambia algunos bytes de la parte de los datos, o copia un trozo y pégalo en otro sitio. Empieza por poco: con diez cambios ya se nota.
- No escribas FF en un JPG: abre un marcador nuevo y lo normal es que la imagen deje de abrirse.
- Guarda y ábrelo. Si no se abre, vuelve a la copia y toca menos o más hacia el final.
Con un editor de audio (sonificación)
Un archivo son bytes y a un programa de audio le da igual de dónde vengan: si le dices que es sonido, lo trata como sonido. Así se le pueden aplicar a una foto un eco, una inversión o un phaser, y el efecto se ve como franjas y repeticiones.
Funciona mejor con imágenes sin comprimir: BMP o TIFF.
- En Audacity: Archivo → Importar → Datos en bruto. Elige «U-Law» o «8 bits sin signo», un canal.
- Selecciona todo menos el principio (ahí está la cabecera; con un trozo pequeño basta) y aplica un efecto: eco, reverb, invertir, cambio de tono…
- Exporta como «Otros sin comprimir», cabecera «RAW (sin cabecera)», con la misma codificación que al importar.
- Cambia la extensión a la de antes (.bmp) y ábrelo. Si no se abre, prueba otra vez dejando más principio sin tocar.
Probarlo en el taller →Glitch Art Resources (Phillip Stearns) ↗
El efecto WordPad
El primer manual de stAllio! cuenta un truco que se hizo famoso: abrir una imagen BMP en WordPad, el procesador de textos de Windows, y guardarla. WordPad cree que es texto y «arregla» algunos bytes por el camino (sobre todo los saltos de línea), así que todo lo que viene después se desplaza un poco y la imagen sale cruzada de rayas en diagonal.
Windows 11 ya no trae WordPad, pero el efecto se puede imitar: cualquier programa que convierta los saltos de línea (de 0A a 0D 0A) en un archivo que no es texto hace lo mismo.
GIF
Un GIF trae su paleta, como mucho 256 colores, cerca del principio. Si cambias bytes de la paleta, la imagen no se rompe: cambia de colores entera, como si la hubieran revelado con otra química.
Los datos van comprimidos con LZW, y ahí un cambio hace que todo lo que viene detrás se vuelva franjas y basura. Con un GIF animado puedes romper solo algunos fotogramas. La tercera parte del manual de stAllio! lo explica byte a byte.
Probarlo en el taller →Databending primer, part 3: the GIF ↗
Vídeo: datamosh
Un vídeo comprimido no guarda todos los fotogramas enteros. Guarda uno completo de vez en cuando (el fotograma clave, o I-frame) y, entre medias, solo lo que se mueve (los P-frames). Si borras los fotogramas clave, el movimiento del plano nuevo se aplica encima de la imagen del plano viejo y las dos se funden: eso es el datamosh.
Takeshi Murata lo llevó a los museos a mediados de los 2000 y luego llegó a los vídeos musicales. Antes se hacía con versiones viejas de Avidemux y vídeos en Xvid; hoy hay herramientas como FFglitch, hecha sobre FFmpeg.
Con el aparato: consolas, cables y circuitos
También se puede romper desde fuera. El circuit bending abre juguetes y aparatos baratos y conecta puntos del circuito que no tocaba conectar. El cartucho medio metido de una consola vieja pinta gráficos imposibles.
Don Miller (NO CARRIER) hizo glitchNES, un cartucho de NES pensado para provocar glitches en directo con el mando, y lo usa en conciertos.
¿Glitch de verdad o de mentira?
Iman Moradi, en su tesis Glitch Aesthetics (2004), separaba los glitches «puros», los que pasan solos porque algo falla, de los glitch-alikes: los que se buscan o se imitan a propósito. Casi todo el glitch art es de los segundos, y no pasa nada.
Dentro de lo buscado también hay diferencias. Romper el archivo de verdad (cambiar bytes, borrar fotogramas) da resultados que no puedes prever. Aplicar un filtro que imita el error (las líneas del VHS, los colores desplazados) da siempre lo mismo y se ha vuelto una estética más, de anuncio y de videoclip.
El taller tiene de las dos cosas y no lo esconde: el JPG roto rompe el archivo de verdad; el VHS y los canales RGB son imitaciones. Las dos sirven; solo está bien saber cuál es cuál.
Glosario
Las palabras que salen todo el rato, con una frase cada una y, si el taller lo hace, el enlace para probarlo.
- Glitch
- Un fallo breve que se ve o se oye. Viene del inglés de los técnicos de radio y de la NASA de los sesenta; antes de los ordenadores ya existía.
- Databending
- Romper un archivo abriéndolo o editándolo con un programa que no es el suyo: una foto en un editor de audio, un BMP en WordPad.
- Artefacto de compresión
- Lo que deja a la vista un formato que comprime: los bloques del JPG, el color que se corre, el vídeo hecho cuadraditos cuando va mal la conexión.
- Macrobloque
- Los cuadrados de 16×16 píxeles en que el vídeo comprimido parte cada fotograma. En un datamosh son los que se mueven y arrastran la imagen vieja.
- Fotograma clave (I-frame) y P-frame
- El I-frame es un fotograma entero; los P-frames solo guardan lo que cambia respecto al anterior. Sin I-frames, sale el datamosh.
- Datamosh
- Quitar fotogramas clave de un vídeo para que el movimiento de un plano se pinte encima de otro.
- Pixel sorting
- Ordenar los píxeles de una fila o columna por brillo o por tono, normalmente solo en un tramo. Sale como si la imagen goteara.
- Aberración cromática
- Los colores que no coinciden: el rojo, el verde y el azul desplazados, como en una lente barata o un proyector mal alineado.
- Dither (tramado)
- Fingir más colores de los que hay mezclando puntos de los pocos que quedan. Es lo que hacían los ordenadores de 3 u 8 bits.
- Slit-scan
- Hacer una imagen por trozos tomados en momentos distintos: lo que se mueve se estira. Es el truco del pasillo de colores de 2001: una odisea del espacio.
- Scan lines y tracking
- Las líneas del televisor de tubo y la franja que sube por la pantalla cuando el vídeo no lee bien la cinta.
- Sonificación
- Tratar como sonido datos que no lo son, para aplicarles efectos de audio.
- Circuit bending
- Abrir un aparato electrónico y unir puntos del circuito para que haga lo que no debía.
- Zalgo
- Texto lleno de marcas combinables de Unicode apiladas encima y debajo de las letras.
- Mojibake
- El texto que sale mal porque se ha leído con otra codificación: «Ã±» en vez de «ñ». La palabra es japonesa.