Proteger a la sociedad de los daños causados ​​por la IA: Matt Mahmoudi y Damini Satija de Amnistía Internacional (Parte 1)

Jun 20, 2023

Dos investigadores de la organización de derechos humanos discuten la intersección de la política social y la tecnología, así como los problemas con el uso de la IA en el sector público.

En colaboración con

En colaboración con

Recibe actualizaciones por correo electrónico

Por favor, introduce una dirección de correo electrónico válida

Gracias por registrarte

política de privacidad

Amnistía Internacional reúne a más de 10 millones de miembros de su personal y voluntarios en todo el mundo para abogar por la justicia social. Damini Satija y Matt Mahmoudi trabajan con Amnesty Tech, una división de la organización de derechos humanos que se centra en el papel del gobierno, las grandes tecnologías y tecnologías como la inteligencia artificial en áreas como la vigilancia, la discriminación y los prejuicios.

En este episodio del podcast Me, Myself and AI, Matt y Damini se unen a los presentadores Sam Ransbotham y Shervin Khodabandeh para resaltar escenarios en los que las herramientas de IA pueden poner en riesgo los derechos humanos, como cuando los gobiernos y las agencias del sector público utilizan sistemas de reconocimiento facial. para rastrear activistas sociales o algoritmos para tomar decisiones automatizadas sobre el acceso a viviendas públicas y el bienestar infantil. Damini y Matt advierten que la tecnología de inteligencia artificial no puede solucionar problemas humanos como el prejuicio, la discriminación y la desigualdad; eso requerirá intervención humana y cambios en las políticas públicas.

Para obtener más información sobre lo que las organizaciones pueden hacer para combatir las consecuencias negativas no deseadas que surgen del uso de tecnologías automatizadas, sintonice nuestro próximo episodio, la Parte 2 de nuestra conversación con Matt y Damini, que se transmitirá el 13 de septiembre de 2023.

Matt Mahmoudi es conferenciante, investigador y organizador. Ha estado liderando los esfuerzos de investigación y promoción de Amnistía Internacional para prohibir las tecnologías de reconocimiento facial y exponer sus usos contra comunidades racializadas, desde la ciudad de Nueva York hasta los territorios palestinos ocupados. Fue el destinatario inaugural del Jo Cox Ph.D. beca en la Universidad de Cambridge, donde estudió infraestructuras urbanas digitales como nuevas fronteras para el capitalismo racial y sigue siendo profesor afiliado de sociología. Su trabajo ha aparecido en las revistas The Socioological Review e International Political Sociology y en el libro Digital Witness (Oxford University Press, 2020). Su próximo libro es Migrantes en la periferia digital: nuevas fronteras urbanas de control (University of California Press, 2023).

Damini Satija es un experto en derechos humanos y políticas públicas que trabaja en datos e inteligencia artificial, centrándose en la discriminación algorítmica, la automatización del bienestar, la vigilancia gubernamental y la equidad tecnológica. Es jefa del Laboratorio de Responsabilidad Algorítmica y subdirectora de Amnesty Tech. Anteriormente trabajó como asesora del gobierno del Reino Unido sobre datos y ética de la IA y representó al Reino Unido como experta en políticas sobre IA y derechos humanos en el Consejo de Europa. Tiene una maestría en administración pública de la Escuela de Asuntos Públicos e Internacionales de la Universidad de Columbia.

Si está disfrutando del podcast Me, Myself and AI, continúe la conversación con nosotros en LinkedIn. Únase hoy al grupo AI for Leaders.

Únete ahora "

Suscríbete a Me, Myself and AI en Apple Podcasts, Spotify o Google Podcasts.

Shervin Khodabandeh: Muchos de nuestros invitados pretenden utilizar la IA para siempre en sus organizaciones. En el episodio de hoy, hablamos con dos investigadores que se centran en la protección de los derechos humanos cuando se utilizan herramientas de inteligencia artificial.

Damini Satija:Soy Damini Satija...

Matt Mahmoudi:…y soy Matt Mahmoudi de Amnistía Internacional…

Damini Satija:… y me estás escuchando a mí, a mí mismo y a la IA.

Sam Ransbotham: Bienvenido a Me, Myself, and AI, un podcast sobre inteligencia artificial en los negocios. En cada episodio, le presentamos a alguien que innova con la IA. Soy Sam Ransbotham, profesor de análisis en Boston College. También soy editor invitado de inteligencia artificial y estrategia empresarial en MIT Sloan Management Review.

Shervin Khodabandeh: Y yo soy Shervin Khodabandeh, socio principal de BCG y uno de los líderes de nuestro negocio de IA. Juntos, MIT SMR y BCG han estado investigando y publicando sobre IA desde 2017, entrevistando a cientos de profesionales y encuestando a miles de empresas sobre lo que se necesita para construir, implementar y escalar capacidades de IA y transformar realmente la forma en que operan las organizaciones.

Bienvenido. Hoy, Sam y yo estamos emocionados de poder hablar con Matt Mahmoudi y Damini Satija de Amnistía Internacional. Matt, Damini, gracias por acompañarnos hoy. Empecemos. Matt, cuéntanos un poco sobre tu papel en Amnistía.

Matt Mahmoudi: Absolutamente. Y sí, muchas gracias por invitarnos. Soy asesor e investigador sobre inteligencia artificial y derechos humanos en el programa tecnológico de Amnistía. Mi función se ha centrado en cómo ciertas tecnologías de IA y, en particular, la vigilancia impulsada por IA son adoptadas por las agencias policiales [y] desarrolladas por las empresas, aparentemente para lograr eficiencia, pero que a menudo conducen a resultados discriminatorios, desigualdades de diversas formas y afectan a algunos de las comunidades históricamente más marginadas. En particular, durante los últimos dos años, he estado rastreando los despliegues de reconocimiento facial, las empresas involucradas y dónde la policía utiliza las herramientas.

Hemos analizado el reconocimiento facial en lugares como la ciudad de Nueva York, la ciudad de Hyderabad en India y los territorios palestinos ocupados y [estamos] realmente prestando atención a las formas en que estas tecnologías que prometían mayor eficiencia y ser más inteligentes Las formas de trasladar a las personas de A a B o de garantizar su seguridad están llevando en realidad a la erosión de sus derechos.

Sam Ransbotham:Matt, cuéntanos un poco sobre lo que hace Amnistía Internacional, cuál es la estructura [y] cómo comenzaron [sus] prácticas tecnológicas.

Matt Mahmoudi:Amnistía Internacional es un movimiento de más de 10 millones de personas en todo el mundo que trabajan juntas, por ejemplo, a través del voluntariado o mediante la investigación, la promoción y la campaña para movilizarse en torno a cuestiones clave de derechos humanos del momento.

En lo que respecta al programa de tecnología y derechos humanos, también conocido como Amnistía Tech, somos un colectivo de tecnólogos, investigadores, defensores, juristas y más que trabajan juntos para tratar de hacer que tanto las empresas como los estados rindan cuentas por sus uso y desarrollo de tecnologías que realmente ponen en riesgo esos derechos humanos fundamentales. Por lo tanto, nuestro trabajo es investigar y exponer las formas en que esas configuraciones de tecnologías se utilizan para erosionar esos derechos y, cuando sea posible, abogar por salvaguardias, regulaciones y prácticas de derechos humanos más estrictas que nos permitan disfrutar de esos derechos incluso mientras continuamos vivir en un mundo que cambia rápidamente.

Shervin Khodabandeh:Damini, cuéntanos un poco sobre lo que hace el Laboratorio de Responsabilidad Algorítmica.

Damini Satija: Sí, muchas gracias por invitarnos aquí hoy. Trabajo en el programa de tecnología y dirijo un equipo llamado Algorithmic Accountability Lab, un equipo relativamente nuevo dentro de Amnesty Tech. Analizamos específicamente el uso cada vez mayor de tecnologías de automatización e inteligencia artificial en el sector público y, dentro de él, específicamente en contextos de bienestar y protección social. Por eso, analizamos cómo los gobiernos y las agencias del sector público están utilizando la automatización para determinar quién tiene acceso a servicios básicos esenciales como vivienda, educación, beneficios de atención médica, etc. Y nuestro interés particular es investigar y comprender cómo estas herramientas tienen un impacto discriminatorio o desproporcionado en grupos ya marginados, algo de lo que ya hemos visto evidencia en la automatización del sector público o la automatización del bienestar.

Y el equipo en sí es un equipo multidisciplinario de siete personas: científicos de datos, investigadores de derechos humanos, defensores, expertos legales: toda una gama... para respaldar la visión de que adoptaremos una visión holística al interrogar y comprender los impactos de estos sistemas en la sociedad.

Shervin Khodabandeh: Gracias por eso. Esto es bastante interesante, Sam, porque cuando la mayoría de nuestros invitados nos hablan sobre cómo usan la IA, [es] para generar más ganancias o más ingresos o reducir costos o hacer el bien, pero en general, ¿verdad? Parece que tu función es asegurarte de que no hagamos cosas malas con la IA, ¿verdad?

Y entonces, en ese contexto, dada su experiencia y experiencia en IA, ¿cuáles cree que son algunos de los principios rectores y en qué se diferencian? Por ejemplo, cuando buscas malos actores, tengo que imaginar que es fundamentalmente un poco diferente a buscar hacer el bien. Voy a empezar contigo, Matt. ¿Cómo haces para hacer esto?

Matt Mahmoudi: Bueno, muchas veces nos enteramos de algunos casos que involucran a una persona en particular que ha enfrentado alguna forma de discriminación. En el contexto de la ciudad de Nueva York, por ejemplo, nos pusieron en contacto con un activista llamado Derrick Ingram, quien fundó un colectivo conocido como Warriors in the Garden pero también fue un activista destacado dentro de la comunidad Black Lives Matter. Y había sido objeto de acoso [por parte de la policía], quienes se presentaron en su puerta y efectivamente lo acosaron durante cuatro horas por algo que él no sabía que había hecho y, realmente, no había una respuesta clara de por qué lo habían hecho. estaban allí.

Y resulta que, dada la presencia de ciertos periodistas alrededor de su casa mientras estaba siendo acosado, se dieron cuenta de que la policía había impreso un informe de identificación por reconocimiento facial, que estaba presente en el lugar, lo que luego resulta Lo había identificado como uno de los únicos manifestantes identificables en la protesta en particular, que era una protesta de Black Lives Matter en protesta por el asesinato de George Floyd. Y en este contexto, descubrimos que, en realidad, la policía simplemente había identificado a este manifestante prominente con un megáfono y, como resultado de poder identificarlo, consideró que dentro de sus competencias, incluso sin una orden judicial, mostrar Me detengo en su puerta y trato de interrogarlo y tratar de acosarlo.

Al final, la policía presentó una especie de cargo falso en el que lo acusaban de sostener un megáfono demasiado cerca de la oreja de un oficial, pero todo esto sucedía mientras Amnistía investigaba a qué otros miembros de la comunidad había estado apuntando el Departamento de Policía de Nueva York. con este software y quién estaba desarrollando [y] proporcionando el software que estaban usando. Y la policía de Nueva York no fue particularmente comunicativa.

Por lo tanto, nuestro trabajo generalmente ha girado en torno a enfoques convencionales, como las solicitudes de la Ley de Libertad de Información o las solicitudes de la Ley de Libertad de Información, pero también ha implicado el uso, por ejemplo, de imágenes de Google Street View para etiquetar las cámaras administradas por la policía de Nueva York para dar Esto nos da una idea de cuán expuestos están los neoyorquinos, por ejemplo, a los sistemas de cámaras de red y, en particular, a los sistemas de cámaras de red con reconocimiento facial. Y eso da una idea de cuán extendido está el riesgo.

Sam Ransbotham: Entonces, algo que me molesta cuando la gente habla de inteligencia artificial es esta tendencia, creo, a utilizar un lenguaje antropomórfico. Es tentador usar frases como “La IA hace X” o “La IA hace Y”, y ya llama la atención [que] al hablar con ustedes dos, ninguno de los dos ha usado la IA como actor. Es una herramienta y pareces estar muy concentrado en quién es el actor. Entonces, lo difícil es que si una herramienta puede amplificar lo bueno y lo malo, ¿cómo promovemos un mensaje entre los actores reales? ¿Cómo se consigue que los actores utilicen una herramienta que puede usarse para bien y para mal, para bien o para mal? E incluso es difícil trazar una línea entre lo bueno y lo malo.

Damini Satija: Sí, y si pudiera usar eso para aprovechar una pregunta anterior en la que preguntaste sobre los malos actores, creo que eso es muy revelador en sí mismo porque estamos muy centrados en el actor, y no se trata solo de la IA. También se trata de quién diseñó la IA, la forma en que se diseñó, quién la implementa, en qué contexto se implementa. Y tenemos que tener mucho cuidado de no centrarnos en lo que está mal con la IA porque eso también puede llevarnos a caer en la trampa de "Existe una solución técnica para este problema".

Pero a menudo, las herramientas de inteligencia artificial que estamos analizando también ponen en funcionamiento un determinado entorno que nos preocupa, ¿verdad? Entonces, por ejemplo, si estamos analizando una herramienta que se utiliza en un contexto de inmigración y la narrativa predominante es xenófoba o antiinmigrante, se pondrán en práctica políticas que encajen en esa categoría. Por lo tanto, no se trata sólo de la tecnología, como usted dice, sino también del entorno en el que se desarrollan, adquieren e implementan.

Y eso significa que no siempre estamos mirando a los malos actores como tales, sino al mal uso, para decirlo de manera muy simple. Pero creo que ese es un factor que nos guía a la hora de buscar los casos que necesitamos investigar, como también lo es, como dijo Matt, buscar el impacto discriminatorio. Creo que otro ejemplo que me viene a la mente aquí en el que una herramienta no se implementó específicamente para obtener consecuencias negativas pero terminó teniendo una consecuencia negativa es el caso de un algoritmo de vivienda que se utilizó en San Francisco. Y hubo una historia sobre esto hace aproximadamente un año.

Hubo una herramienta que fue desarrollada para que los trabajadores sociales la utilizaran en la asignación de viviendas públicas. Y la intención detrás del desarrollo de esa herramienta era proporcionar algo que permitiera a los trabajadores sociales tener una conversación más informada con las personas con las que trabajan y que necesitan asistencia para la vivienda. Y la herramienta específicamente les ayudaría a construir una especie de evaluación de vulnerabilidad o riesgo de la persona para luego determinar cuánta asistencia de vivienda necesitaba. Esa herramienta estaba destinada a ayudar a facilitar las conversaciones. Por la forma en que se usó, [sin embargo] los trabajadores sociales tomaban decisiones de sí y no basadas en lo que la herramienta escupía sobre quién debería recibir asistencia de vivienda y quién no.

Entonces... quiero decir, se podría argumentar que es un mal uso, pero también es un uso no intencionado de la herramienta. Entonces, estamos viendo todo tipo de realidades que no son tan fáciles; simplemente nunca es fácil decir que el problema está en la IA en sí, lo que no responde a su pregunta original, pero era el contexto que quería. para agregar a la pregunta sobre el tipo de malos actores.

Shervin Khodabandeh: También resalta lo que estás diciendo: la importancia crítica de la IA y la [interacción] humana, y no solo uno versus otro, o uno u otro. Porque en todos estos ejemplos, hay ejemplos de uso no intencionado o no anticipado, o tal vez por falta de capacitación, o donde la narrativa subyacente no es que se comienza con la intención de hacer daño; simplemente no lo sabías o no anticipaste ese "Oh, se supone que debo usarlo simplemente como una entrada y no como una indicación".

La única pregunta que tengo... usted aludió a ella, pero tomó una dirección diferente a la que pensé que iba a tomar, porque dijo: "No estamos hablando de lo que está mal con la tecnología, porque la implicación sería que hay una solución tecnológica”. Pero me gustaría cuestionar eso porque ¿por qué parte de la solución, al menos, no sería tecnológica?

Damini Satija: Sí, existen soluciones técnicas cuando se trata de sesgos, y hay personas que han creado herramientas para eliminar los sesgos. Creo que la razón por la que no queremos limitarnos completamente a eso es por lo que describí: que necesitamos adoptar un enfoque más holístico para comprender los impactos de estas tecnologías porque, como decimos, no se trata solo de la forma en que está diseñada la herramienta, aunque sí, eso también es muy importante. También se trata de la interacción humana con las herramientas y cómo las usan.

Y creo que el otro problema es que la ruta de la solución técnica puede hacernos adoptar un enfoque muy aislado sobre cuál es el problema. Entonces, por ejemplo, en el mundo de la equidad algorítmica de la ética de la IA, se han propuesto muchas soluciones de eliminación de sesgos, y eso implica que el sesgo, de una manera muy técnica dentro del sistema algorítmico o de IA, es el único problema. Pero creo que es muy posible que podamos resolver eso desde una perspectiva técnica, pero todavía hay muchos otros problemas con las herramientas que estamos analizando. R, todavía pueden usarse de manera discriminatoria, incluso si ha habido una solución técnica. Hay preocupaciones sobre la vigilancia; Estas son tecnologías que hacen un uso intensivo de datos.

También nos preocupamos a menudo por los impactos de segundo y tercer orden de estas tecnologías. Entonces, por ejemplo, para tomar nuevamente el ejemplo de la vivienda, si se utiliza una herramienta para negarle a alguien una vivienda o para negarle a alguien el acceso a los beneficios del Seguro Social y luego no puede pagar el alquiler o comprar alimentos para su familia, esos son efectos que Ha ocurrido dos o tres grados de separación de la herramienta, y continúa sucediendo incluso si invierte o elimina el algoritmo de la imagen. Ese impacto todavía existe y todavía ha sucedido.

Creo que el énfasis, desde nuestra perspectiva, es mantener esa comprensión holística de las consecuencias sociales (políticas, económicas) y técnicas. No sé si Matt quizás quiera agregar algo al respecto.

Matt Mahmoudi: Me encantaría profundizar un poco más en eso, en particular, por el ejemplo de la vivienda y otros ejemplos similares. Además, los algoritmos de indicadores de riesgo que utilizan los servicios de protección infantil para tomar decisiones sobre si sacar a un niño del cuidado de crianza o incluso ponerlo en cuidado de crianza. Especialmente el trabajo de Virginia Eubanks describirá cómo los trabajadores sociales que se enfrentan a este algoritmo toman determinaciones de acuerdo con un indicador luminoso que les da una especie de señal roja si parece que ha habido demasiados informes no solicitados sobre el bienestar del niño. peligro. Y realmente, lo que eso te dice es que el sistema en sí mismo, la tecnología en sí misma, no se arregla tan fácilmente como, ya sabes, decir: "Oh, bueno, entonces deshazte de los indicadores y apágalos". en una forma de texto más descriptiva”. Porque lo que estamos tratando es una tecnología que se extiende mucho más allá del código mismo, que es a lo que Damini también se refiere aquí. Es todo un sistema sociotécnico.

No se puede sostener que la IA existe sin sostener también que existe una interacción humano-computadora que da animación a cómo funciona ese sistema y qué hace. Entonces, lo que está escrito en el código (en cierto modo he tomado la posición) es algo irrelevante. Lo que hace y lo que termina haciendo en el mundo, sin usar demasiada jerga académica aquí, pero fenomenológicamente, es lo que realmente importa y lo que nos dice acerca de lo que realmente es el sistema.

Entonces, al descentrarnos de la noción de que la eliminación de sesgos es una virtud cuando se trata de tecnologías de IA, y al descentrarnos de la idea de que existe una solución técnica para el sistema y, en cambio, sostener que, en realidad, todos estos sistemas deben ser probados y comprendidos. de los posibles impactos que podrían tener en la sociedad en general y en los derechos humanos de las personas, incluso antes de que se considere su implementación, eso podría llevarnos a la aplicación y el despliegue de "mejores tecnologías". En cuanto a cómo podemos usar las tecnologías para identificar ciertas tecnologías dañinas: un ejemplo que mencioné antes fue cómo usábamos herramientas de mapeo de calles para tener una idea de dónde estaban las cámaras. Para que quede claro, no utilizamos un algoritmo de reconocimiento de imágenes allí. Era todo gente.

Esto nos permitió ampliar nuestros esfuerzos de voluntariado a unas 7500 personas en todo el mundo que nos ayudaron a etiquetar con cámaras cada intersección de la ciudad de Nueva York. Creo que es un modelo bastante convincente de cómo se puede escalar el activismo y el trabajo que está moviendo la palanca hacia lo que podría parecer alguna forma de justicia y equidad cuando se trata de tecnología, y ciertamente qué intervención que podría promover un mayor respeto por cómo podría verse el derecho a protestar.

Shervin Khodabandeh: Esto es, creo... Mi punto era sobre la tecnología. No era decir: "Dejemos que la tecnología solucione el problema que ha creado", porque el problema se crea con su uso, como usted dijo. Y, por supuesto, cuando se habla de una tecnología poderosa utilizada por instituciones que tienen poder para formular políticas, poder para elaborar leyes, poder para realizar arrestos o hacer la guerra... por supuesto, el actor y la motivación del actor y el su uso tiene mucha más prioridad [que] una solución tecnológica. Pero también tengo que creer que la IA no irá a ninguna parte y que la tecnología sólo mejorará.

Entonces me pregunto... todas las deficiencias que sus equipos están encontrando, en términos de... Quiero decir, en su ejemplo, no se basó en el reconocimiento de imágenes para identificar las cámaras, porque pensó que los humanos serían más precisos. Bueno, eso es retroalimentación a los algoritmos y a la instrumentación que realiza el reconocimiento de imágenes. Y en el ejemplo, Damini, del que hablaste con la vivienda, me pregunto si podría haber salvaguardias o indicaciones adicionales o fuentes de datos adicionales que en realidad harían casi imposible que esa tecnología que estaba tomando la decisión sobre qué hacer por un ser humano confiar en la elección tecnológica. Así que debo creer que, como usuarios y como agencias que monitorean el uso, hay alguna retroalimentación para la comunidad de desarrolladores que está creando estas herramientas. No quiero decir que el sesgo sea el problema central, pero... quiero decir, usted ha resaltado tantas áreas diferentes donde los artefactos tecnológicos podrían ayudar a promover la causa de la que está hablando.

Damini Satija: Sí. Quiero decir, en términos de salvaguardias, hay muchas que podríamos abordar en términos de lo que exigimos como comunidad de derechos humanos en la regulación. Creo que Matt ya ha aludido a la salvaguardia número uno, que es claramente cuestionar desde el principio en la conceptualización misma de estas tecnologías si son necesarias y si la automatización es realmente necesaria en un contexto determinado, y al hacerlo, interrogar y escudriñando cuál podría ser el impacto violatorio o desproporcionado de derechos de esta tecnología. Y creo que al hacer eso, lo que nos surge una y otra vez en nuestro trabajo es: ¿qué voces se escuchan? ¿De quién son las articulaciones de los problemas que deben resolverse utilizando la tecnología que se escuchan en esa fase de conceptualización?

Y a lo que nos enfrentamos a menudo en nuestro trabajo es a que hay ciertos conjuntos de voces bastante poderosas, que usted también acaba de mencionar. Ya sabes, los responsables políticos, las grandes empresas de tecnología, los que tienen financiación para desarrollar nueva tecnología, los que financian nueva tecnología. Aquellos que realmente tienen el poder de dictar la trayectoria de la IA son aquellos cuyas voces también se escuchan en lo que la IA se está desarrollando y luego implementando, mientras que aquellos que luego se ven afectados por el uso de estos sistemas, y especialmente las comunidades a las que miramos. en, a menudo dicen... Hemos mencionado los impactos racializados. A menudo, las comunidades negras y marrones se ven realmente afectadas y perjudicadas por estos sistemas. Esas no son las voces que luego alimentan los problemas que deben resolverse a través de esta tecnología que, como usted dice, está aquí y el desarrollo de la IA está ocurriendo muy rápidamente. Pero es ese desequilibrio de poder lo que realmente nos preocupa en términos de qué voz se escucha [y] qué se debe conceptualizar. Y esa es una salvaguardia intangible pero muy, muy importante para nosotros en nuestro trabajo.

Shervin Khodabandeh:Muy bien dicho.

Sam Ransbotham: Es interesante que hayas mencionado el ejemplo del trabajo social. Mi madre era trabajadora social y estaba en [el] [campo] de cuidados de crianza. Y ese es un mundo con escasez de personal y exceso de trabajo. Entonces, cuando diste ese ejemplo, debo decir que una parte de mí todavía encuentra atractivo que podamos ayudar a esas personas a mejorar. Puede que no sea perfectamente correcto, puede que no haga una predicción perfecta, pero teniendo en cuenta todo lo que sucede, puede ser una mejor solución. Entonces, ¿cómo podemos implementar una mejor solución sin abrir esta caja de Pandora de dificultades hasta el punto de que podamos mejorarla y adquirir experiencia con el tiempo? ¿Cómo sucede eso?

Matt Mahmoudi:Entonces, si pudiera intervenir aquí, Sam, creo que seguir con el ejemplo del trabajador social y seguir con un programa en particular que analiza Virginia Eubanks es interesante porque el estado termina gastando más dinero en tratar de retrasar un programa fallido. tecnología de la que se habría gastado simplemente en intentar dotar a los trabajadores sociales de más recursos, para poder contratar más trabajadores sociales para poder realizar su trabajo de forma más adecuada y en línea con la demanda.

Así que creo que, simplemente tomando de la página de una lectura que me gusta siempre asignar a una clase que doy sobre estudios de ciencia y tecnología, que es una especie de dibujo de “Notas hacia un manifiesto neoludita” de Chellis Glendinning. ”, Diré que no soy antitecnología, y los neoluditas tampoco lo son, y creo que ese es el punto crucial aquí: que, A, los neoluditas no son antitecnología; les preocupan las formas en que la tecnología crea números a partir de personas y conduce hacia una hiperracionalidad que elimina estas importantes cuestiones de daño.

Y luego, en segundo lugar (y esto es realmente importante), todas las tecnologías son políticas. Tenemos que entender cuáles son las formas de política y políticas que sustentan el despliegue particular de una tecnología en lugar de, digamos, invertir en los programas sociales particulares que se requieren. Entonces, el tipo de ejemplos que Damini ha estado mencionando todo el tiempo y que hemos estado analizando realmente muestran que hay una insistencia en invertir en la herramienta de la tecnología bajo los auspicios de que conducirá a algún ahorro de costos en el futuro. , cuando la realidad es que muchas veces los estados terminan teniendo que gastar mucho más dinero, ya sea tratando de hacer que las empresas rindan cuentas sobre lo que prometieron pero no pudieron cumplir o enfrentando demandas de individuos, ya sean demandas colectivas o lo que sea, dado los daños que habrían sufrido las personas que han estado sujetas a estas formas masivas de tecnologías idealizadas. Lo cual creo que va al grano: tratar de descubrir cuál es la política que subyace a esto y ver si hay una solución sociopolítica-económica que en realidad podría ser más sostenible que tratar de salirnos de nuestro camino y entrar en esta fantasía. La tierra de “la IA lo resolverá todo” (una especie de ideología tecnochauvinista de la que habla Meredith Broussard) y alejarnos un poco de eso y pensar en qué tipos de inversión necesita nuestra sociedad fuera de estas tecnologías.

Creo que, lo que es más importante, con herramientas como los modelos de chatbot basados ​​en GPT y demás, se trata de sistemas que parecen estar en versión beta perpetua, por lo que constantemente pueden afirmar que no están funcionando de la manera adecuada. deberían hacerlo [todavía] y pueden tener consecuencias no deseadas porque no han analizado suficientes datos o no han acertado con el modelo. Y puedes sentarte en esa narrativa durante muchísimo, mucho, mucho tiempo.

Pero la pregunta es: ¿cuándo nosotros, como sociedad civil, y cuándo nosotros, como personas que forman un grupo de legisladores que pueden hablar en nuestro nombre y regular en nuestro nombre, pisamos el freno y decimos: “No, estos son productos que están a la intemperie. Están teniendo un impacto y, por lo tanto, deberían estar sujetos a regulación”. No importa cuán grande sea el modelo de lenguaje. No importa cuánto más grande tenga que ser para alcanzar un punto de saturación en el que funcionará según alguna fantasía prescrita de eficiencia.

Tenemos que llegar a un punto -y ese punto, creo, fue ayer- en el que digamos: "Necesitamos regulación". Creo que la Ley de IA [de la Unión Europea], en la que Damini también está trabajando intensamente, es un primer intento realmente bueno para tratar de crear una legislación a nivel regional que comprenda los tipos de consecuencias a las que nos enfrentamos y las tipos de impactos que estas tecnologías pueden tener sobre nuestros derechos y nuestra capacidad para ejercer los tipos de libertades que tenemos hoy.

Shervin Khodabandeh:Damini, Matt, muchas gracias por una discusión tan esclarecedora.

Damini Satija:Gracias.

Shervin Khodabandeh: Gracias por su atención. Únase a nosotros la próxima vez, cuando traigamos a Matt y Damini de regreso para continuar la discusión sobre la regulación de la IA, incluido lo que otros pueden hacer para ayudar a limitar los daños derivados del uso de herramientas tecnológicas.

Allison Ryder: Gracias por escucharme a mí, a mí y a AI. Creemos, como usted, que la conversación sobre la implementación de la IA no comienza ni termina con este podcast. Por eso hemos creado un grupo en LinkedIn específicamente para oyentes como tú. Se llama AI for Leaders y, si se une a nosotros, podrá chatear con creadores y presentadores de programas, hacer sus propias preguntas, compartir sus ideas y obtener acceso a recursos valiosos sobre la implementación de AI de MIT SMR y BCG. Puede acceder a él visitando mitsmr.com/AIforLeaders. Pondremos ese enlace en las notas del programa y esperamos verlo allí.

Sam Ransbotham (@ransbotham) es profesor en el departamento de sistemas de información de la Carroll School of Management de Boston College, así como editor invitado de la iniciativa Grandes Ideas de Inteligencia Artificial y Estrategia Empresarial del MIT Sloan Management Review. Shervin Khodabandeh es socio senior y director general de BCG y colíder de BCG GAMMA (la práctica de IA de BCG) en Norteamérica. Puede contactarlo en [email protected].

Me, Myself, and AI es un podcast colaborativo de MIT Sloan Management Review y Boston Consulting Group y está presentado por Sam Ransbotham y Shervin Khodabandeh. Nuestro ingeniero es David Lishansky y los productores coordinadores son Allison Ryder y Sophie Rüdinger.

Debes iniciar sesión para publicar un comentario. ¿Primera vez aquí? Regístrese para obtener una cuenta gratuita: comente artículos y obtenga acceso a muchos más artículos.