Las polémicas rodean a un sitio web que te permite subir una foto para saber en cuál de las 2500 categorías puede quedar clasificada tu cara. Dicha clasificación que se hace del rostro humano no siempre es correcta ni precisa, e incluso a veces se encuentra con terminología misógina o racista.

ImageNet Roulette emplea la base de datos ImageNet, "una de las más importantes e históricamente significativas", puesta en marcha inicialmente en 2009, que aloja millones de imágenes de entrenamiento para IA.

ImageNet, aunque se enfoca al reconocimiento de objetos, cuenta también con una categoría de "persona". En la misma, contiene más de 2500 etiquetas que clasifican a la gente según raza, nacionalidad, profesión, comportamiento, situación económica o moralidad.

Las críticas hacia esta tecnología pretenden resaltar la forma fundamentalmente defectuosa en que ImageNet clasifica a las personas con categorías “problemáticas” y “ofensivas”. Por ejemplo, algunos hombres que suben su imagen son etiquetados aleatoriamente como “sospechosos de violación” por razones inexplicables, según denunciaron a través de las redes sociales.

Una vez subida la fotografía, la IA analiza la fotografía en busca de rostros. Si así ocurre, entonces los envía a Caffe (una herramienta de aprendizaje automático de código abierto) que realiza la clasificación. Posteriormente, la imagen regresa con etiquetas sobre las clasificaciones realizadas. Si no reconoce ningún rostro, entonces la imagen mostrará una etiqueta en la esquina superior izquierda.

ImageNet Roulette es una aplicación web desarrollada por Leif Ryge para el estudio del artista Trevor Paglen, y forma parte de la muestra Training Humans, de Trevor Paglen y Kate Crawford, que actualmente se exhibe en la Fundación Prada, de Milán (Italia).