Puede fallar: los riesgos del reconocimiento facial 👺

Ciberpatrullaje, errores en reconocimiento facial y Reconoceme

sep 15, 2024

Muy buenos días y al fin se asoma la primavera por estos lares.

No quiero ser mala onda pero creo que es hora de hablar de esto 👍, un emoji amargo. O al menos mal visto por determinadas generaciones. Si bien significa ok o de acuerdo, puede ser tomado de muchas maneras y, en general, no muy buenas.

En este posteo de Eva Larrarte, analiza otros porqué no “a mi no me mandes un pulgar”. Como dice la Emojipedia, el uso del emoji del pulgar hacia arriba puede interpretarse como una muestra de agresión pasiva o sarcasmo. En esta reciente nota de El País, me dan la razón y hay muchos argumentos al respecto. Lo importante es que el significado de los emojis cambia con el tiempo y con el contexto. Hay muchos, hay nuevos, mi propuesta es, elijan otro más personal y creativo o prueben escribiendo palabras 😬.

El tema de hoy son las cámaras de reconocimiento facial, el cruce con los datos personales y como los sistemas pueden fallar y poner en riesgo nuestra libertad.
Y un dato genial, la Agencia de Protección de Datos (AEPD) indica que se pide el DNI en muchos casos innecesariamente y pide por la "minimización de datos", algo que debería suceder en todos los países en cuidado de los datos personales. No dejen que hagan copias de su DNI, allí está el número de trámite, un dato más que sensible que solo debemos tener nosotros.

📌 Para agendar: este jueves estaré participando en el panel “Te apuesto a que no sabés todo sobre #ApuestasEnLinea” en #CharlasProgramar junto con Lucía Fainboim y Gisela Grunin. Lo pueden ver a las 17.30 aquí.

🕣 Este boletín tiene 2500 palabras y lleva 12 minutos de lectura.

🔉 Ahora desde la app de Substack tenés la opción de escucharlo

☕️ Este news es gratuito pero pueden colaborar de muchas maneras ♥️

Deja un comentario

1. Estudios antropomórficos que pueden fallar

La semana pasada se detuvo en Argentina a una persona por el atentado en las oficinas de la Rural, dirigidas Nicolas Pino, presidente de La Rural, por error. Alberto Santiago Soria estuvo preso del viernes a la noche, cuando irrumpieron a la medianoche en su casa hasta el lunes, cuando en su testimonio indicó y mostró pruebas de qué el no tenía nada que ver. Tres días preso por un error. ¿Humano? ¿De software? El error es parte de un conjunto de malas decisiones. Así lo definió Tomás Pomar, presidente del Observatorio de Derecho Informático Argentino (ODIA), en díalogo con el programa #LIM de Reynaldo Sietecase.

Soria había sido detenido por un análisis antropomórfico elaborado por especialistas del Ministerio Público Fiscal de la Ciudad de Buenos Aires. Es una técnica de análisis forense en el que se comparó la cara que aparecía en la filmación del sospechoso en la librería de Barracas con su foto. También habían tomado como prueba una vieja guía T con la ubicación de la Rural marcada en bolígrafo en su casa. Los medios también habían publicado características de este hombre como que era vegano, aunque se pudo comprobar que había milanesas de carne y un pollo congelado en la heladera.

El único dato comprobable de Soria fue que tenía antecedentes por amenazas antisemitas anónimas y que en en 2017 se le abrió una causa que ya prescribió.

El problema de la tecnología mal utilizada puede arruinar la vida de las personas. Como sucedió con el entonces Sistema de Reconocimiento Facial en 2019 por un error humano en una base de datos. Lamentablemente, además de pasar unos días detenido, fue expuesto por todos los medios de comunicación, ofrecido a la comidilla pública. ¿Alguien pidió disculpas?

2. Reconoceme: ¿quién te filmó la carita?

QR por aquí, escaneo de iris por allá, una fotito del DNI por este lado y una cámara que nos filma y reconoce por el otro. El panóptico de Foucault no solo está en nuestros celulares sino que también está en las calles.

El otro día me llegó la gráfica en cartón de una campaña del Observatorio de Derecho Informático Argentino (O.D.I.A.) y Democracia en Red titualada “Reconoceme”. “Podés elegir entre estas caretas”, me dicen y miro, cuál batea de discos: “Viviana Canosa, Patricia Bullrich, Axel Kicillof, Estela Carlotto, Eduardo Feinmann, etc”.

La campaña es impactante porque está destinada justamente a eso, a concientizar sobre los riesgos del Sistema de Reconocimiento Facial (SRF) y su impacto en los derechos civiles y la privacidad de las personas.

Hay cámaras por toda la Ciudad de Buenos Aires que capturan nuestros rostros. Más exactamente, 17.000, según este análisis de Comparitech que nos deja como una de los puntos del mundo más vigilados. Su uso sin normas adecuadas puede poner en riesgo los derechos de las personas y así sucedió.

En 2019 se implementó en la Ciudad de Buenos Aires el SRF. Se comprobó que el sistema y sus registros no cumplían con requisitos de seguridad básicos y se encontraron datos de personas que no estaban incluidas en la base de datos del sistema de Consulta Nacional de Rebeldía y Capturas (CONARC).

¿Cómo lo sabemos? Porque estos registros alcanzaron a figuras públicas, desde periodistas hasta políticos, incluido el actual presidente de la Nación, Javier Milei. Y fue un escándalo señores. No lo digo yo, lo titula esta nota de la Revista Wired en 2023.

“Y entonces empezó la pesadilla”, exclama Guillermo Ibarrola, recordando su arresto en la concurrida estación de tren del centro de la ciudad de Buenos Aires, donde nos encontramos” dice el artículo y cuenta el caso de Ibarrolla, el hombre que fue arrestado durante seis días y acusado de robo a mano armada en una ciudad que nunca había pisado: Bahía Blanca. Pero allí fue por primera vez hasta el juzgado adonde se había cometido el supuesto crimen en donde pudieron develar la situación. Alguien había ingresado mal el número de documento de Ibarrola y lo había asociado a otro rostro (¡un error de tipeo!). Fue un error humano en la base de datos que, asociado el sistema de reconocimiento facial, le hizo pasar la peor semana de su vida a un tipo que caminaba por los andenes del tren.

Este fue uno de los 140 errores cometidos por este sistema hasta que fue dado de baja. Y no fue dado de baja por esto. Sino por el COVID.

¿Cómo se dieron cuenta? Nos explica Juan Ribera, abogado del Observatorio de Derecho Informático Argentino (O.D.I.A): “Se comprobó que estaba funcionando de esa forma con dos medidas de prueba que se realizaron en el marco del amparo. La primera es cuando se solicitó al Registro Nacional de las Personas, RENAPER, que informe cuántos datos biométricos había migrado desde su base de datos hacia la base de datos del Ministerio de Seguridad del Gobierno de la Ciudad que fue utilizado en el sistema de reconocimiento facial para prófugos”. La respuesta: millones de datos biométricos sin identificar cuáles o de quiénes. Ante esto, el mismo juez ordenó una nueva medida de prueba que fue allanar los dispositivos de almacenamiento del sistema de reconocimiento facial para prófugos en manos de la policía: “En esa auditoría se comprobó que había alrededor de 4.000 personas por afuera del listado de prófugos que estaban siendo estudiadas sus movimientos o que estaban siendo sus datos biométricos pasados por el filtro del sistema de reconocimiento facial”.

En 2022, el juez Gallardo logró mantenerlo apagado. Suspendió el sistema a raíz de una acción de amparo presentada por el Observatorio de Derecho Informático Argentino (ODIA) y en base a una presentación de la Defensoría del Pueblo presentada en 2022 en la que se indica recomendaciones legales a la hora de trabajar con este tipo de datos.

Pero además ordenó, en ese momento, un allanamiento en oficinas del Gobierno de la Ciudad. En su fallo se determina que se hicieron consultas a la base de datos del Renaper que exceden la búsqueda de prófugos. Y aquí aparecen todas las personas publicas mencionadas en esta nota.

4. Argentina es uno de los países más vigilados de la región

Junto con junto con Brasil y Ecuador, Argentina es uno de los países con más sistemas de vigilancia en sus ciudades. Estos métodos implementados hace tiempo en todo el mundo están dando marcha atrás en algunas ciudades.

Por ejemplo, en 2019 San Francisco prohibió los sistemas de reconocimiento facial en defensa de la privacidad y las libertades civiles. La decisión fue tomada luego de que el ayuntamiento considerara que su utilización abre la puerta hacia una mayor represión a nivel estatal. También en Boston, Minneapolis y en Detroit a raíz de problemas similares a los de la Ciudad de Buenos Aires. Gracias -y por culpa de- al caso de Robert Williams, un hombre arrestado injustificadamente, hace pocos meses lograron un acuerdo de conciliación en donde la policía tendrá:

Prohibido arrestar a personas basándose únicamente en los resultados de reconocimiento facial o en los resultados de alineaciones fotográficas tomadas inmediatamente después de una búsqueda de reconocimiento facial.
Prohibido realizar una formación de reconocimiento facial basándose únicamente en una pista de investigación sin evidencia independiente y confiable que vincule a un sospechoso con un delito.
Capacitación policial sobre tecnología de reconocimiento facial, incluidos sus riesgos y peligros y que identifica erróneamente a personas de color en tasas más altas.
Se realizará una auditoría de todos los casos desde 2017 en los que se utilizó tecnología de reconocimiento facial para obtener una orden de arresto.

¿Cuáles son los riesgos de estar vigilados a través de estos sistemas de reconocimiento facial? Detalla la campaña que pueden visita ren Reconoceme.org:

Riesgo #1: Uso inadecuado de las bases de datos por parte del Estado

Con el uso del SRF el Estado puede crear bases de datos con información de la ciudadanía como ubicación, movimientos, agrupación de civiles en espacios públicos, etc. Ante la falta de transparencia del uso de esta tecnología y la poca información sobre lo que implica y lo que no, el Estado puede usar esta información en contra de nuestra privacidad, atentando contra derechos constitucionales.

Riesgo #2: Discriminación

El uso del SRF plantea serias preocupaciones, ya que son muchos los derechos fundamentales que se comprometen, al ser invasivo con la esfera privada de las personas y su vez probable de conclusiones discriminatorias. Se ha advertido que estos sistemas identifican incorrectamente a personas de piel oscura, jóvenes y mujeres con mayor frecuencia, que a personas de piel clara, de mayor edad y hombres, respectivamente, lo que llevaría a reforzar la circulación de determinados estereotipos, conduciendo a actos discriminatorios completos.

Riesgo #3: Falta de control en la adquisición y uso del software

Los softwares de estos sistemas utilizados hasta ahora por parte del Estado, son como cajas negras, de las que se desconoce no solo su funcionamiento técnico, sino también los términos de su adquisición. La puesta en marcha de SRF en otros países llevó meses de un debate integral con la ciudadanía y el proporcionamiento de información concreta por parte del Estado. En la Argentina se puso en marcha sin ninguna instancia de consulta o intermediación pública, ni sobre su uso ni sobre los términos de su adquisición.

3. Nace el CS5: Centro de Sinergia Cibernética

Para terminar con la temática CSI les cuento que el Gobierno creó el CS5: Centro de Sinergía Cibernética para investigar y prevenir los ciberdelitos. Su objetivo será colaborar en las investigaciones en las que hubiera actividades presuntamente delictivas contra computadores, sistemas de información o redes informáticas que fueran caracterizadas por su complejidad y/o su urgencia.

La creación de la organización especializada en el cibercrimen fue detallada en la Resolución 914/2024 en el Boletín Oficial y funcionará bajo la órbita de la Dirección de Ciberdelito y Asuntos Cibernéticos, perteneciente a la Unidad Gabinete de Asesores del Ministerio de Seguridad de la Nación. El tándem de ciberdelitos estará conformado por el personal que sea seleccionado de la Policía Federal Argentina (PFA), la Gendarmería Nacional (GNA), la Policía de Seguridad Aeroportuaria (PSA), la Prefectura Naval Argentina (PNA) y el Servicio Penitenciario Federal (SPF).

Hablando de tecnología y delitos, la AFIP anunció que va a empezar a usar analíticas e inteligencia artificial para detectar evasores en el marco del nuevo escenario fiscal relativo al blanqueo de capitales. Como muestra en este video Maximiliano Firtman en X, analizarán a evasores que se parecen a otros contribuyentes en sus actividades y viajes, entre otras cosas.

Decíamos que Argentina es uno de los países más cibervigilados del mundo. También es uno de los más inseguros a nivel cibernética. Según el la 5ta edición del Indice Global de Ciberseguridad de ITU en el que analiza cinco niveles de madurez en 194 países, Argentina está en cuarto lugar. El 5to es el más inseguro.

Por todo esto, no solo tenemos que saber cómo se usan nuestros datos, sino tener garantías de que no los usen para meternos presos por error o acusarnos de un delito que no cometimos.