Este blog cuenta con varias líneas que ofrece como servicio como categorías de estudio: Economía de la Salud. Healthcare 4.0. Inteligencia Artificial en Atención de la salud. Lean Healthcare. Habilidades blandas. Editoriales de política sanitaria. Seguridad de pacientes. Esto es para buscar dentro de las categorías todos los posteos ya publicados. El Blog tiene cinco años de acumular información y el número de posteos es de 1654 por lo tanto es interesante si quieren ampliar el conocimiento. Es bueno la participación de los lectores enviando comentarios que serán contestado personalmente.
This blog has several lines that it offers as a service as categories of study: Health Economics. Healthcare 4.0. Artificial Intelligence in Healthcare. Lean Healthcare. Soft skills. Health policy editorials. Patient safety. This is to search within the categories for all the posts already published. The Blog has been accumulating information for five years and the number of posts is 1654 so it is interesting if you want to expand your knowledge. It is good to have readers participate by sending comments that will be answered personally.
Introducción
Recientemente, investigadores, medios de comunicación y profesionales han mostrado un gran interés en los avances en inteligencia artificial (IA). De hecho, desde el lanzamiento de ChatGPT y GPT-4 por OpenAI a finales de 2022, ciudadanos y profesionales de todos los sectores, incluido el sanitario, han debatido las contribuciones, los impactos y los riesgos de estas tecnologías. Este documento describe las principales consideraciones éticas y legales asociadas al desarrollo y la implementación de la IA en los sistemas sanitarios.
Los médicos han utilizado tecnologías avanzadas durante muchos años. Entonces, ¿por qué es diferente la IA? Primero , es mucho más disruptiva. Al permitir el aprendizaje autónomo y opaco, y a veces incluso la toma de decisiones, en un entorno dinámico [ 1 ], la IA conduce a algunas consecuencias técnicas, éticas y legales únicas. Por primera vez desde el nacimiento de la medicina, la tecnología no se limita a asistir los gestos, la organización, la visión, la audición o la memoria humanos. La IA promete mejorar todas las áreas, desde la investigación biomédica, la capacitación y la medicina de precisión hasta la salud pública [ 2 , 3 ], lo que permite una mejor atención, tratamientos más adaptados y una mayor eficiencia dentro de las organizaciones [ 4 ]. Las técnicas de IA que incluyen redes neuronales artificiales, aprendizaje profundo y procesamiento automático del lenguaje ahora pueden, por ejemplo, analizar una imagen radiológica con mayor rapidez y precisión que un humano [ 5 ], diagnosticar una patología [ 6 , 7 ], predecir la aparición de una crisis de hiperglucemia e inyectar una dosis adecuada de insulina [ 8 ], y analizar señales musculares para operar una prótesis inteligente [ 9 ]. Sin embargo, estas mejoras deben equilibrarse con la brecha que ahora existe entre el desarrollo (y comercialización) de muchos sistemas de IA y su implementación concreta en la vida real por parte de proveedores de servicios médicos y de atención médica, como hospitales y médicos. Este «abismo de IA» [ 10 ] se explica notablemente por la desconexión que a veces existe entre el lado de la tecnología de la información (TI) del desarrollo del sistema y su adaptación a las necesidades y realidades específicas de las instituciones de atención médica y los pacientes, así como por los problemas éticos y legales analizados en este documento [ 10 , 11 ]. La inversión en la infraestructura que conduce a soluciones de IA capaces de «ser implementadas en el sistema donde se desplegarán (factibilidad), [y de] mostrar el valor agregado en comparación con las intervenciones o programas convencionales (viabilidad)» también debe ser el objetivo [ 12 ].
En segundo lugar , los profesionales de la salud generalmente parecen tener un conocimiento bastante pobre de qué es la IA y qué permite [ 13 ]. Si bien no existe una definición unánime de IA, la propuesta por la Organización para la Cooperación y el Desarrollo Económicos (OCDE) [ 14 , 15 ] ha ganado fuerza internacional y a menudo se hace referencia a ella en varias iniciativas políticas. Con base en dicha definición, este documento incluye todo tipo de sistemas computacionales que procesan datos de entrada para generar resultados como predicciones, contenido, recomendaciones o decisiones que pueden influir en su entorno de implementación en el cuidado de la salud [ 16 ]. En el cuidado de la salud, la IA tiene un gran potencial y se puede integrar a objetos conectados (por ejemplo, monitor de presión arterial inteligente [ 17 ]), sistemas robóticos (por ejemplo, robot quirúrgico [ 18 ]), asistentes virtuales (por ejemplo, sistemas de gestión de pacientes o programación de citasNota1 ), chatbots (por ejemplo, servicio al cliente), seguimiento de contactos durante episodios epidémicos [ 19 ] o apoyo a la toma de decisiones médicas (por ejemplo, reconocimiento de imágenes por radio para diagnóstico).Nota2. Elección de opciones de tratamiento óptimasNota3 ). La práctica de la medicina se basa en el conocimiento y la experiencia de los médicos, y las vertiginosas capacidades de cálculo de la IA significan que puede desarrollar asociaciones clínicas y perspectivas [ 20 ] en datos derivados de este conocimiento (es decir, evidencia de libros de texto) y experiencia (es decir, resultados de laboratorio de pacientes) [ 21 ]. Por lo tanto, en la medida en que se pueda reducir el «abismo de la IA», los profesionales de la salud verán cada vez más herramientas o máquinas inteligentes integradas en su práctica diaria [ 22 ]. Esto naturalmente provoca preocupaciones como el miedo a ser reemplazado y la falta de confianza en la máquina. Además, los profesionales de la salud están mal informados sobre los problemas éticos y legales que plantea el uso de la IA [ 23 , 24 ].
Las preocupaciones sobre los puntos ciegos, la implementación compleja, los impactos y los riesgos de la IA han generado muchos debates políticos, académicos y públicos [ 15 , 25 ]. Algunos han pedido nuevos marcos éticos para guiar el desarrollo y la implementación responsables de la IA, lo que ha dado lugar a numerosas declaraciones, cartas éticas y códigos de ética, propuestos por organizaciones de todo tipo [ 26 ], incluidas organizaciones internacionales [ 27 ], instituciones públicas y académicas [ 28 ], grupos híbridos [ 28 ] y empresas privadas como Google [ 29 ], IBM [ 30 ], Microsoft [ 31 ] y Telia [ 32 ]. También se ha solicitado una legislación sobre la IA.
Todas estas producciones son fuentes de normatividad [ 33 ]. En otras palabras, guían el comportamiento humano, proporcionando parámetros sobre lo que «debería» y «no debería» hacerse. Sin embargo, las disciplinas de la ética y el derecho tienen lógicas, marcos conceptuales y objetivos distintos y responden a diferentes procedimientos de creación e implementación [ 34 ], lo que hace que la ética y el derecho sean dos fuentes separadas de normatividad. Primero, el derecho se compone de reglas generales, impersonales, externas y vinculantes, acompañadas de posibles sanciones formales (por parte de los tribunales o la policía, por ejemplo), mientras que las normas éticas no existen en un conjunto coherente y organizado de normas, como en el caso dentro de un orden legal, y mientras que la adhesión a los principios éticos es voluntaria [ 35 ]. Segundo, las reglas legales derivan de la estructura del estado, en vigor en un momento dado, en un espacio legal dado. El campo de la ética, por su parte, se deriva de la filosofía, y más recientemente de las ciencias sociales, y se relaciona con un proceso reflexivo [ 36 ] que no congela los principios éticos en el tiempo y el espacio, sino que busca definirlos de una manera más dinámica. En tercer lugar, las normas jurídicas buscan proporcionar un marco para la coexistencia de las personas en sociedad, proteger a sus miembros y garantizar los intereses políticos, económicos y sociales al mismo tiempo, mientras que las normas y discusiones éticas se basan más en valores morales [ 35 ]. En resumen, las normas jurídicas podrían definirse como el deber mínimo que toda persona debe respetar (si uno puede hacer algo), mientras que la ética fomenta la reflexión sobre elecciones y comportamientos (si uno debe hacer algo). En el cuidado de la salud, la ética primero trató la manipulación de organismos vivos a través de la «bioética» antes de considerar las relaciones con los pacientes a través de la «ética clínica» y la administración y gobernanza a través de la «ética organizacional» [ 37 ]. Los últimos dos aspectos aún son difíciles de comprender hoy en día, porque exigen una comprensión global de las organizaciones que abarque los problemas de los empleados más allá de la relación de cuidado.
Curiosamente, a pesar de la riqueza de la literatura sobre IA, hay poco que muestre a los profesionales de la salud los principales problemas con la vista puesta en las diferencias conceptuales entre ética y derecho. Es importante aclarar esta confusión, considerando el diferente nivel de oportunidades y limitaciones que presentan en la práctica médica. Por lo tanto, en este documento, destacamos cómo la ética y el derecho abordan los problemas de la IA en la salud desde diferentes perspectivas. Si bien el derecho es principalmente un asunto local, nuestra reflexión no se dirige a ninguna jurisdicción nacional. Sin embargo, los ejemplos que utilizamos para ilustrar mejor nuestro análisis se centran en los países y regiones occidentales más activos en el campo de la IA (en los aspectos de gobernanza y técnicos) [ 38 ], es decir, Estados Unidos, Canadá, Australia, la Unión Europea y el Reino Unido. En asuntos éticos, la discusión abarca una variedad de trabajos éticos sobre IA [ 39 ], pero debe subrayarse la monopolización del debate ético por parte de unos pocos países del Norte Global [ 38 ].
Este documento presenta una visión general de los principales problemas relacionados con el desarrollo e implementación de IA en la atención médica, con un enfoque en las dimensiones éticas y legales de estas cuestiones. Para resumir esto, analizamos la literatura que discute específicamente las dimensiones éticas y legales relacionadas con el desarrollo e implementación de IA en la atención médica, así como los documentos normativos relevantes que pertenecen a cuestiones éticas y legales (es decir, guías o cartas éticas de IA desarrolladas por gobiernos, organizaciones internacionales e industrias, así como instrumentos legales). Después de dicho análisis, creamos categorías que reagrupan las cuestiones éticas y legales más citadas y discutidas. Luego propusimos un desglose dentro de dichas categorías que enfatiza las diferentes, aunque a menudo interconectadas, formas en que la ética y el derecho se abordan para cada categoría de cuestiones. Finalmente, identificamos varias ideas clave para que los profesionales y las organizaciones de la salud integren mejor la ética y el derecho en sus prácticas.
El artículo se divide en seis secciones, que corresponden a los problemas más importantes asociados con la IA en la atención médica: (1) Privacidad; (2) Autonomía individual; (3) Sesgo; (4) Responsabilidad; (5) Evaluación y supervisión; y (6) Trabajo, profesiones y mercado laboral. En conclusión, presentamos algunas propuestas para resolver algunos de los problemas destacados para los profesionales de la salud.
Privacidad
En los modelos de aprendizaje automático o aprendizaje profundo, el algoritmo computacional resuelve problemas buscando conexiones, correlaciones o patrones dentro de los datos con los que se “entrena” [ 40 ]. Dado que la efectividad de estos modelos depende en gran medida de la calidad y cantidad de los datos de entrenamiento.Nota4 , una de las técnicas más comunes en el desarrollo de tecnología de IA es recopilar, estructurar y usar tantos datos variados como sea posible [ 41 ]. En el ámbito de la atención médica, estos datos pueden tomar muchas formas, como mediciones de los parámetros vitales clínicos de un paciente, resultados de análisis biológicos o características genéticas [ 42 ] -, y se crean y recopilan de una amplia variedad de fuentes, desde las actividades del sistema de atención médica tradicional hasta el autoseguimiento de los consumidores mediante tecnologías digitales («yo cuantificado») [ 43 , 44 ]. Por lo tanto, este tipo de datos está vinculado a un individuo o un grupo que es directa o indirectamente identificable o objetivo. Sin embargo, los datos de salud son mucho más amplios de lo que la mayoría de las personas cree y también pueden cubrir la dieta, el ejercicio y el sueño, todos recopilados por empresas privadas fuera del sistema de salud a través de dispositivos conectados como teléfonos inteligentes y relojes inteligentes. Considerando la intimidad y la sensibilidad de los datos de salud y los muchos actores potencialmente involucrados, la IA resalta la cuestión de la privacidad individual.
La ética de la privacidad
Desde un punto de vista ético, las cuestiones de privacidad tienen su raíz en valores o deberes morales contrapuestos. El concepto mismo de privacidad se ha definido de muchas maneras en la literatura ética, con su origen entrelazado con su protección legal [ 45 ], por lo que difícilmente puede resumirse en una sola definición. En el campo de la salud, la búsqueda de lo correcto o incorrecto, apropiado o inapropiado, loable o condenable [ 46 , 47 , 48 ] es una reflexión antigua que constituye precisamente el fundamento de la ética biomédica, clínica y de investigación [ 37 , 46 ]. En un contexto donde las personas revelan detalles de la enfermedad, el dolor, la vida y la muerte [ 46 ], el respeto a su privacidad como confidencialidad de su información y la protección de sus espacios de atención, tanto físicos como virtuales.Nota5. La protección contra interferencias o intrusiones (p. ej., restricciones, coerción y observación no solicitada) es crucial. Sin esta garantía de confidencialidad, los pacientes estarían menos dispuestos a compartir información íntima con su médico, lo que afectaría su atención o la utilidad de la investigación [ 50 , 51 ]. Salvaguardar la confidencialidad de la información sanitaria, así como las decisiones personales en materia de salud, también es crucial para prevenir la discriminación, la privación de seguro o empleo [ 52 ], el estrés emocional, las consecuencias psicológicas de revelar información íntima y la erosión de la confianza, entre otras [ 53 ]. Por lo tanto, prevenir el daño causado por la violación de la privacidad es un imperativo moral fundamental en la ética médica.Nota6 .
Sin embargo, este principio de privacidad se enfrenta al deber de revelar información, ya sea para el beneficio directo del paciente (por ejemplo, compartir información para una mejor atención, su reembolso, su propia protección física), para el beneficio de otros o de la sociedad en su conjunto (por ejemplo, la divulgación de una enfermedad transmisible [ 55 ], la protección de otras víctimas [ 56 ], la investigación médica [ 57 ], etc.), o para las ganancias comerciales de empresas especializadas en IA [ 58 ] que pueden reivindicar un valioso interés moral.
Esta tensión entre la privacidad individual y la divulgación para posibles usos útiles se ve exacerbada por la innovación digital, el análisis de datos y la IA por varias razones. En primer lugar, el desarrollo fiable de la IA depende del acceso a los datos de salud, pero este se ve limitado por los imperativos de confidencialidad. En segundo lugar, la creación y el uso de algoritmos de IA implican la búsqueda de correlaciones entre conjuntos de datos que permitan la reidentificación de individuos [ 2 , 59 ], incluso si los datos fueron anonimizados inicialmente [ 59 ].Nota7 , lo que podría causar violaciones de la confidencialidad. En tercer lugar, cuanto más anonimizados estén los datos, mayor será el riesgo de que se reduzca su utilidad. Además, la portabilidad y la diversidad de los sistemas de recopilación de información (p. ej., aplicaciones de salud, deporte o bienestar; dispositivos conectados; datos compartidos en redes sociales) dificultan considerablemente la garantía de la protección, seguridad y confidencialidad de los datos personales [ 61 ] en comparación con los datos recopilados a través del sistema de salud tradicional (p. ej., hospitales, clínicas).Nota8. Por ejemplo, los datos que inicialmente podrían estar vagamente relacionados con la salud de una persona (p. ej., la ingesta calórica diaria) pueden volverse más sensibles al correlacionarse con otras variables (p. ej., el peso de una persona), lo cual es casi inevitable en la construcción de un modelo de IA.Nota9. Sin embargo, tener en cuenta este tipo de datos puede ayudar a revelar más factores de una enfermedad y permite una medicina más predictiva y personalizada.Nota10. Todos estos argumentos constituyen desafíos al principio de privacidad.
Otros adoptan una perspectiva muy diferente, alejándose de los principios de la bioética y la protección de la privacidad. Por ejemplo, los ingenieros podrían argumentar que los asombrosos avances recientes en la potencia informática, la recopilación de datos y la velocidad y facilidad de su intercambio son realidades que hacen de la privacidad un concepto obsoleto e inadecuado para nuestra época.Nota11 . En ese sentido, los ingenieros pueden ver la privacidad como un obstáculo para la rentabilidad de los modelos de negocio y la innovación [ 53 ], limitando así los beneficios para la salud.
La privacidad y la ley
Desde una perspectiva legal, la privacidad se refiere a los principios, normas y obligaciones consagrados en la ley que protegen la privacidad de la información y la información personal. Estas normas también se ven cuestionadas por las características de las técnicas de IA en el ámbito sanitario. En concreto, se dificulta el respeto de los principios y derechos ya consagrados en la ley, y la aplicación de ciertas normas se vuelve más arriesgada, ya sea porque impide la creación o el uso de un sistema o porque no permite la protección de la privacidad. Si bien el siguiente análisis no es exhaustivo, representa la mayor parte de los debates jurídicos sobre la privacidad de la información.
En primer lugar, el ámbito de aplicación de una ley tiene un impacto importante en la protección que otorga. Si bien el significado común de «datos personales» puede ser claro…Nota12 , su definición legal puede variar entre países (e incluso dentro de ellos). Por ejemplo, puede referirse estrictamente a los datos gestionados y almacenados en un archivo específico o por una entidad específica (p. ej., la Regla de Privacidad HIPAA de EE. UU., que cubre ciertas entidades dentro del sistema de salud tradicional [ 64 ], o la Ley de Privacidad de Australia, que se aplica solo a los proveedores de servicios de salud [ 65 ]). También puede extender su protección a la información que permite la identificación directa e indirecta (p. ej., nombre y apellidos, número de la seguridad social, dirección, número de teléfono, raza, clave de identificación, según los países) y capacidades de reidentificación (p. ej., superponer dos conjuntos de datos para crear una base de datos de aprendizaje profundo para el sistema de IA). Un ejemplo es la nueva Ley de Privacidad del Consumidor de California, que incluye posibilidades «razonables» de reidentificación.Nota13 . Las leyes pueden definir los datos personales de salud como datos que son médicos por naturaleza (por ejemplo, el resultado de una prueba médica), por propósito (por ejemplo, utilizados médicamente) o por referencia cruzada (por ejemplo, cruzados con otros datos, como en el análisis de IA, para proporcionar información de salud en combinación), como parece ser el caso de la Autoridad de Protección de Datos Francesa [ 66 ] con base en la definición del Reglamento General de Protección de Datos (GDPR) europeo [ 67 ].
En segundo lugar, la IA también cuestiona las normas relativas a la recopilación, el uso y la divulgación de datos personales. Por ejemplo, el requisito de determinar con antelación los fines para los que se utilizarán los datos es un principio fundamental de muchas leyes de privacidad.Nota14. De igual manera, la obligación legal de proporcionalidad, minimización o necesidad exige que los datos se procesen solo en la medida necesaria para el fin en cuestión. Sin embargo, muchos modelos de aprendizaje profundo requieren grandes cantidades de datos sin conocer de antemano su propósito o incluso su necesidad [ 68 ]. Estos principios probablemente deban revisarse o flexibilizarse si los legisladores desean permitir el despliegue generalizado de la IA.
En tercer lugar, cumplir las condiciones de acceso a datos sanitarios cualitativos y exhaustivos que poseen y producen los sistemas de salud suele ser un camino largo, arduo y desalentador para los investigadores.Nota15. La puesta en común y la gestión de estos datos para ofrecer un acceso fácil pero controlado requieren imperativos jurídicos adicionales en materia de seguridad técnica, en particular contra los ciberataques.
En cuarto lugar, las leyes de salud y protección de datos ya consideran la IA a través de la forma en que se utilizan los datos y las consecuencias para el individuo.Nota16. Por ejemplo, los sistemas de toma de decisiones y elaboración de perfiles totalmente automatizados están cada vez más sujetos a normas especiales mediante modificaciones legislativas en situaciones específicas. Por ejemplo, puede existir un derecho específico a ser informado sobre el uso de técnicas de elaboración de perfiles (como en la nueva Ley de Quebec que moderniza las disposiciones relativas a la protección de la información personal [ 70 , 71 , 72 ] o la nueva Ley de Derechos de Privacidad de California).Nota17 ); las decisiones totalmente automatizadas están prohibidas cuando causan daño al individuo (como en el RGPD); y el derecho a que la decisión sea revisada por un humano puede ser problemático, ya que el razonamiento detrás de la decisión no siempre es completamente comprensible.
Autonomía individual
La segunda cuestión está estrechamente relacionada con algunas de las consideraciones señaladas anteriormente. La autonomía es uno de los cuatro principios clave identificados por la ética médica. Los términos griegos autos y nomos significan «uno mismo» y «ley, regla», por lo que «autonomía» se refiere a que una persona crea su propia regla de conducta y tiene la capacidad de actuar sin restricciones y tomar sus propias decisiones [ 73 ]. Muchas jurisdicciones occidentales incorporan el principio de que se debe obtener el consentimiento libre e informado para cualquier examen, tratamiento o intervención médica, basándose tanto en el principio ético de autonomía como en el fundamento jurídico de la inviolabilidad e integridad de la persona [ 74 ]. Este principio de autonomía, así como el valor moral que encarna y la regulación que lo enmarca, se enfrentan a varias características específicas de la IA.
La ética de la autonomía
En primer lugar, el fenómeno de la “caja negra” puede perjudicar la autonomía de la persona cuyos datos se procesan para fines de IA. De hecho, algunos algoritmos de aprendizaje automático (p. ej., el algoritmo de clasificación de “bosque aleatorio”) y, entre ellos, los algoritmos de aprendizaje profundo (p. ej., las redes neuronales) tienen una alta variabilidad de entradas y una operación compleja basada en datos (sistema no lineal, donde las interacciones no siguen una relación aditiva o proporcional simple), lo que dificulta que los expertos, y mucho menos la población general, comprendan cómo y por qué un algoritmo llegó a un resultado (al que nos referimos como “inteligibilidad”) [ 75 ]. Ya sea que se trate del proceso de generación del modelo o del resultado obtenido, el desafío es proporcionar una explicación satisfactoria adaptada al usuario o la persona afectada por el resultado, aumentando así la “interpretabilidad” del sistema de IA [ 75 ].
En el contexto médico, se da cada vez más importancia a la coparticipación de los pacientes en su atención [ 54 ] y a su capacidad de rechazar la atención o solicitar consejo médico adicional. En algunas circunstancias, el uso de IA puede erosionar la autonomía del paciente (aunque la democratización de la IA también puede mejorar la autonomía de las personas de otras maneras, incluso aumentando el acceso a la información médica y su interpretación). Puede ser difícil, si no imposible, que un paciente impugne una decisión si el profesional de la salud no puede explicar claramente cómo o por qué propuso un determinado tratamiento o procedimiento. Por lo tanto, el uso de sistemas de IA opacos e ininteligibles podría resucitar cierto paternalismo médico, acentuando esta pérdida de autonomía [ 76 ]. Rechazar el uso del sistema de IA también puede ser éticamente cuestionable debido a las características del consentimiento informado. «Un consentimiento informado válido requiere un reconocimiento claro y preciso de la situación, ausencia de coerción (física o psicológica) y competencia para tomar decisiones (o representación, en el caso de menores y adultos incompetentes)» [ 47 ].
Cada uno de estos tres elementos, sin embargo, difiere dependiendo del nivel de alfabetización en IA del individuo y otras características subjetivas (es decir, psicológicas, cognitivas o contextuales), la interpretabilidad del algoritmo usado, y la cantidad y precisión de la información dada al paciente. Currie y Hawks consideran que “el público y los pacientes no siempre están suficientemente informados para tomar decisiones autónomas” [ 54 ]. Usando la medicina nuclear y la imagen molecular como ejemplos, argumentan que las personas están probablemente desinformadas y poco calificadas para determinar qué quieren de la IA, qué pueden esperar de ella, y por lo tanto si permitirán que la IA decida en su nombre [ 54 ]. Además, la libertad de consentimiento se pone en duda cuando el acceso a un servicio de salud o el uso de una herramienta conectada está condicionado a compartir datos personales [ 77 , 78 ]. Sin embargo, mantener la confianza en el uso de la IA en la atención médica puede impulsar a revelar el uso de la IA para fines distintos al tratamiento. En este sentido, Amann et al. Consideramos que “es importante contar con estándares éticos y de explicabilidad apropiados para salvaguardar la función de preservación de la autonomía del consentimiento informado” [ 60 ].
En segundo lugar, algunas prácticas comerciales controvertidas reducen la agencia moral de las personas, es decir, su capacidad de tomar decisiones morales, ejercer una forma de control evaluativo sobre ellas y rendir cuentas por estas decisiones [ 79 ], lo que afecta la autonomía de las personas. Las herramientas que aparentemente se venden para el cuidado de la salud o el acondicionamiento físico (por ejemplo, los relojes inteligentes) se convierten en herramientas de monitoreo y recopilación de información para las empresas que recopilan estos datos [ 80 ]. Estas tecnologías de personalización permiten una «mejor comprensión del comportamiento del consumidor al vincularlo de manera muy precisa a un segmento dado en función de características observadas e inferidas» (nuestra traducción) [ 81 ].
Por ejemplo, las prácticas de «patrón oscuro» activan el sistema cerebral que corresponde a la elección rápida, emocional, instintiva e impulsada por la rutina, produciendo un estímulo emocional que inclina al consumidor hacia una compra [ 81 ]. Por lo tanto, las manipulaciones personalizadas se unen a los precios personalizados en la caja de herramientas del vendedor [ 81 ]. Por un lado, el abanico de opciones del usuario se reduce en función de su consumo previo o del segmento de clientes al que el algoritmo lo asigna (p. ej., filtros burbuja, desinformación [ 77 , 81 ]). Por otro lado, la entidad comercial manipula el comportamiento del consumidor para crear un incentivo para comprar o consumir un producto en particular (p. ej., empujoncitos oscuros, propuestas emocionales o «lodo oscuro»).Nota18 ) [ 81 ]. La probabilidad de que un consumidor sea manipulado depende de su conocimiento tecnológico y de su capacidad para detectar la manipulación. Estos impedimentos a la autonomía se refieren a las decisiones morales y éticas primordiales de lo que constituye una vida humana digna, libre y satisfactoria, y varios autores nos han exhortado a reflexionar profundamente sobre ellas [ 83 ].
En tercer lugar, la autonomía de los profesionales sanitarios también puede verse afectada, ya sea porque utilizan, reciben asistencia o podrían ser reemplazados por sistemas de IA, lo que puede repercutir en la prestación de la atención. Los actores clave involucrados en la relación asistencial deben mantener la autonomía sobre sus acciones, y la dilución de la responsabilidad merece ser analizada detenidamente [ 80 ]. Por el contrario, «imponer la IA a una comunidad por parte de una profesión o de una parte de ella quizás no sea ideal en términos de estándares sociales o éticos» [ 54 ].
La autonomía y la ley
En el ámbito jurídico, la obtención del consentimiento específico, libre e informado de las personas se considera una de las máximas expresiones de la autonomía [ 84 ]. El consentimiento informado suele exigirse antes de obtener o utilizar información personal, ya sea como principio previo a cualquier intercambio de información —como en Quebec (Canadá), por ejemplo [ 71 , 72 ]— o como base jurídica, como en la Unión Europea.Nota19 o Estados UnidosNota20. Esto se relaciona tanto con la creación de un modelo de IA como con el contexto de su uso en actividades de atención médica. Entre las cuestiones emergentes se encuentra si el consentimiento informado para la atención incluye el consentimiento para el uso de sistemas, máquinas o técnicas de IA en dicha atención [ 85 ]. Cada jurisdicción tiene una decisión diferente, y cada una es cuestionable. En Quebec, por ejemplo, el derecho a la información debe especificar el profesional que realiza la intervención terapéutica [ 86 ], pero no necesariamente si utilizó IA para realizar el diagnóstico.
Inspirada por la reflexión ética que define los límites del consentimiento válido, la ley suele exigir que quien otorga el consentimiento esté suficientemente informado para decidir de forma objetiva, precisa y comprensible. En el ámbito sanitario, suele abarcar información sobre el diagnóstico, la naturaleza y la finalidad del procedimiento o tratamiento, los riesgos que conlleva y las posibles opciones terapéuticas [ 86 ]. Además, cuando se utiliza información personal para tomar una decisión basada exclusivamente en el tratamiento automatizado, ahora se tiende a exigir que se informe a los interesados sobre los motivos, los principales factores y los parámetros que llevaron a la decisión.Nota21. Estos requisitos plantean interrogantes al utilizar algoritmos complejos de aprendizaje automático: los principales factores y parámetros pueden ser difíciles de informar de forma comprensible y plantean dudas sobre el cumplimiento legal [ 60 , 87 ]. Por lo tanto, el consentimiento informado puede verse afectado, poniendo en duda el cumplimiento de esta obligación.
En segundo lugar, el consentimiento válido suele implicar que el consentimiento se obtiene sin presión, amenaza, coerción ni promesa. Sin embargo, los pacientes rara vez leen o revisan los requisitos para obtener el consentimiento electrónico, especialmente cuando se trata de información personal [ 88 , 89 ]. El debate legal, en última instancia, se centra en la posibilidad de respetar estos requisitos, así como otras posibles bases legales (p. ej., otro modo de consentimiento), quizás basándose en la noción de que la autonomía del sujeto reside más en la confianza general y la transparencia en torno al uso de la IA que en un botón que presionan inconscientemente unas 20 veces al día [ 90 ]. En estos casos cuestionables, una reflexión ética subyacente respalda la investigación sobre estrategias de solución y la implementación práctica de nuevos requisitos legales.
Finalmente, el respeto a la autonomía también reside en la capacidad de ejercer los derechos que en principio se otorgan a las personas [ 77 ]. Esta pregunta merece ser planteada, dadas las características de los intercambios de datos y el acceso informático que condicionan la construcción de un sistema de IA. El funcionamiento de ciertos sistemas de IA puede impedir que las personas ejerzan su derecho al olvido, su derecho a saber qué datos se utilizan y para qué, su derecho a limitar el uso de sus datos, el derecho a la exclusión voluntaria o el derecho a la revisión humana.Nota22 —al menos en ciertas jurisdicciones legales. ¿Cómo se puede garantizar la eliminación de un dato cuyo uso se haya dado inicialmente, si se desconoce si dicho dato ha influido en una decisión del sistema, y en qué medida? ¿Cómo se puede garantizar el derecho a la revisión humana de una decisión automatizada cuando el razonamiento subyacente es ininteligible? ¿Cuál es el alcance del derecho a la desreferenciación o la eliminación si la IA puede agregar información de los resultados de múltiples motores de búsqueda?
Inclinación
El razonamiento de los algoritmos se induce y se rige con precisión por los datos con los que se entrenan. Por lo tanto, puede reflejar sesgos presentes en dichos datos, lo que a su vez afectará los resultados de los algoritmos y podría exacerbar las desigualdades y la discriminación contra comunidades marginadas y grupos subrepresentados.
La visión ética del sesgo
Algunos autores han categorizado los principales tipos de sesgo inducidos por IA [ 92 ]. El primero es replicar o exacerbar sesgos sociales e históricos ya presentes en los datos de aprendizaje (desigualdad demográfica), lo que puede llevar a predicciones autocumplidas [ 93 ] y afectar desproporcionadamente a grupos particulares [ 94 ]. Un estudio informa, por ejemplo, que «el uso del costo médico como un proxy para las necesidades generales de salud de los pacientes llevó a un sesgo racial inapropiado en la asignación de recursos de atención médica, ya que los pacientes negros fueron considerados erróneamente como de menor riesgo que los pacientes blancos porque sus costos incurridos fueron menores para un estado de riesgo de salud determinado» [ 95 ]. Sin embargo, estos costos más bajos también ilustran las desigualdades en el acceso a los servicios médicos para las poblaciones negras. Como la prestación de atención médica varía según la etnia, el género, el estado de la vivienda y la estabilidad alimentaria [ 96 , 97 , 98 ], entre otras cosas, alimentar un algoritmo con dichos datos puede hacer que uno de estos determinantes sociales de la salud sea un factor destacado en el resultado [ 68 ]. “Crear una herramienta a partir de datos que carecen fundamentalmente de diversidad podría, en última instancia, resultar en una solución de IA que profundice las desigualdades en la atención médica en la práctica clínica” [ 54 ].
El segundo tipo de sesgo se relaciona con datos incompletos o no representativos [ 95 , 99 ], especialmente aquellos que sobrerrepresentan o subrepresentan a un subgrupo como una minoría, un grupo vulnerable, un subtipo de enfermedad, etc. [ 54 ]. Cuando la población de referencia teórica no es representativa de la población objetivo para la cual el modelo proporciona un resultado, existe un riesgo de sesgo, error y sobreajuste, lo que puede exacerbar las desigualdades en salud. Por ejemplo, “un algoritmo diseñado para predecir resultados a partir de hallazgos genéticos puede estar sesgado si no hay estudios genéticos en ciertas poblaciones” [ 68 ]. Los riesgos de desarrollar ciertas enfermedades a menudo dependen de otros factores como el sexo o la edad, y el hecho de no tener en cuenta estas características en los datos de entrenamiento de referencia sesga la predicción de riesgos de enfermedad en otros tipos de poblaciones.
El tercer tipo de sesgo puede ser inducido por los propios diseñadores del sistema a través de las decisiones que toman al establecer ciertas variables, los datos a utilizar o el objetivo del algoritmo [ 92 ]. Las cuestiones éticas que surgen se refieren, por ejemplo, a la posibilidad de predecir y posiblemente añadir parámetros que no estaban presentes inicialmente en los datos para que sean lo más precisos posible y eliminar el sesgo. Por ejemplo, ¿debería añadirse a los datos de entrenamiento el estado serológico respecto al VIH [ 93 ] de un paciente que se ha negado a proporcionar esta información? Y antes incluso de llegar a la etapa de corrección del sesgo, es crucial preguntarse si debería introducirse un sistema potencialmente sesgado cuando ya se sabe que puede reproducir sesgos sociales. Además, el mundo tecnológico parece centrarse en eliminar el sesgo humano a nivel individual y en formar a los desarrolladores.Nota23 . Como sostienen Joyce et al., “la investigación sociológica demuestra, sin embargo, que el sesgo no flota libremente en los individuos sino que está arraigado en instituciones sociales rígidas”, de modo que “existen graves limitaciones a un enfoque que localiza principalmente el problema dentro de los individuos” [ 96 ].
El sesgo y la ley
Al considerar la cuestión del sesgo desde una perspectiva legal, las principales áreas afectadas son el derecho a la igualdad y la protección contra la discriminación. Los sesgos pueden afectar las decisiones que se toman con respecto a las personas, que pueden ser discriminadas debido a datos no representativos o porque algunas de sus características se ven acentuadas por el funcionamiento de un modelo de IA.
La legislación sobre igualdad de derechos se basa en la idea de que los individuos no pueden ser tratados de forma diferente debido a cualquier rasgo o característica personal como raza u origen étnico, estado civil (por ejemplo, estado civil, expresión de género, edad), orientación sexual, condición de salud o social, creencias religiosas y políticas, etc.Nota24 Generalmente prohíbe el trato diferencial en situaciones similares, como el acceso a servicios, el empleo o la vivienda, a menos que esté justificado por circunstancias particulares o deberes legales [ 100 ]. La ley a menudo se centra en los efectos sobre la víctima [ 100 ] en lugar de la culpa o la mala intención del perpetrador.
Aunque las definiciones varían según la jurisdicción, un sistema de IA utilizado para determinar el derecho de las personas a un reembolso en función de su mayor riesgo en términos de costos de salud (por ejemplo, que se indexaría a la edad, la raza, la orientación sexual, etc.) podría constituir discriminación en la mayoría de los sistemas legales en los que se protege la igualdad [ 101 ]. Sin embargo, el contexto y la naturaleza del sistema de IA podrían dificultar enormemente la prueba de discriminación: determinar los criterios detrás de las decisiones es lo suficientemente difícil para los diseñadores de algunos sistemas complejos de aprendizaje automático, especialmente si son autónomos y evolucionan con el tiempo. Uno puede imaginar cuánto más difícil sería para la víctima individual de discriminación, que debe obtener acceso a la información utilizada y a los parámetros del modelo, que en la actualidad con frecuencia siguen siendo opacos.
Responsabilidad y obligación
Los algoritmos de IA a veces pueden cometer errores en sus predicciones, pronósticos o decisiones. De hecho, el principio mismo de la construcción y operación de tales modelos es falible debido a la teoría de la complejidad [ 102 ]. El programa informático que subyace a un modelo de IA comprende un cierto número de operaciones que le permiten resolver un problema dado. La complejidad del problema se puede evaluar según el número de operaciones necesarias para llegar a una respuesta exacta [ 103 ]. Para problemas altamente complejos, ninguna máquina del siglo XXI puede superar el umbral del número de operaciones requeridas. El objetivo de los programas de IA que abordan tales problemas es, por lo tanto, «calcular una solución razonablemente correcta al problema, en un tiempo de cálculo que siga siendo aceptable» [ 103 ]. Los investigadores de IA llaman a este tipo de cálculo una «heurística». El sistema no puede garantizar una certeza absoluta en sus resultados, pero puede (o al menos esperar) proponer mejores predicciones que un humano en la misma situación, especialmente los médicos menos experimentados [ 104 ] y, por lo tanto, es de gran interés. Además de esta complejidad intrínseca, muchos tipos diferentes de errores impactan en la responsabilidad de los actores involucrados a lo largo del ciclo de vida de un sistema de IA.
La ética de la responsabilidad
Un primer tipo de error surge de errores iniciales de codificación cometidos por el programador del modelo. Un error humano inevitable implica que existe la posibilidad de que el modelo proporcione respuestas incorrectas durante su uso. Entonces, ¿qué probabilidad de error se puede aceptar en estos sistemas y proceder a implementarlos en nuestra sociedad?
La necesidad de mantener la calidad de los datos de entrenamiento durante todo el ciclo de vida del modelo también puede generar otros tipos de errores relacionados con la responsabilidad. Por ejemplo, el reconocimiento de imágenes basado en redes neuronales artificiales es uno de los campos más avanzados en IA [ 104 ]. Modificar las entradas, «en forma de pequeños cambios que suelen ser imperceptibles para los humanos, puede perturbar las mejores redes neuronales» [ 105 ]. Finlayson y coautores explican que se pueden añadir píxeles de forma maliciosa a los escáneres médicos para engañar a una DNN (red neuronal profunda) para que detecte erróneamente el cáncer [ 106 ]. La calidad y representatividad de los datos (véase la sección sobre Sesgo) y la opacidad del sistema (véase la sección sobre Autonomía) también pueden dar lugar a errores con consecuencias perjudiciales.
El mal uso de un sistema también es problemático. El nivel de conocimiento de los usuarios sobre IA puede variar enormemente, ya sea un profesional de la salud que ayuda a clasificar a los pacientes en el departamento de emergencias, un médico que maneja un robot quirúrgico impulsado por IA o un paciente que configura un dispositivo conectado para medir sus constantes vitales fisiológicas en casa. Además, los usuarios pueden decidir ignorar el resultado que proporciona el sistema, ya sea porque lo malinterpretan o porque lo consideran demasiado alejado de sus propias afirmaciones. Dejando de lado la malicia intencional, ¿cómo deben considerarse las responsabilidades de los actores involucrados? A corto plazo, se recomiendan enfoques de «humano en el circuito» para que los médicos asuman la responsabilidad de sus decisiones al usar sistemas de IA, incluida la forma en que se usa y pondera la información [ 54 ]. Pero ¿hasta qué punto deben los médicos ser responsables si desconocen un error inicial en los datos de entrada, si desconocen el proceso computacional que conduce al resultado o si está más allá de su poder modificarlo? ¿Deberían los médicos ser responsables del daño incluso si el modelo en sí mismo contiene un riesgo de error debido a la gran complejidad del problema? ¿Deberían las decisiones finales en materia médica depender sistemáticamente solo del criterio humano? Sigue siendo difícil argumentar que los sistemas que brindan asesoramiento sanitario personalizado, diagnóstico o apoyo a la toma de decisiones clínicas se basen únicamente en la interpretación humana [ 68 ]. Sin embargo, ¿deberían las víctimas de los diversos prejuicios que pueden causar los sistemas de IA (rechazo de atención por parte de los pacientes, acceso injusto a la IA, discriminación, prejuicios relacionados con la privacidad o daños físicos, etc.) poder reclamar una indemnización? De hecho, algunos consideran inapropiado que los profesionales clínicos que utilizan una IA autónoma para realizar un diagnóstico que no se sienten cómodos realizando ellos mismos acepten la plena responsabilidad médica por los daños causados por dicha IA [ 95 ].
Para sistemas complejos, algunos de los cuales funcionan con aprendizaje de refuerzo, aún es difícil predecir qué experiencias encontrará el sistema o cómo se desarrollará. Al igual que Pesapane y coautores, uno puede cuestionar si es el dispositivo o su diseñador quien debe ser considerado culpable [ 68 ]. ¿Debería el diseñador ser considerado negligente «por no haber previsto lo que hemos llamado impredecible? ¿O por permitir la posibilidad de desarrollo del dispositivo de IA que lo llevaría a esta decisión?» [ 68 ] Algunos creen que si se utiliza una IA autónoma según las instrucciones, los principios éticos requieren que sus creadores asuman la responsabilidad del daño causado [ 95 ]. Sin embargo, similar a lo que mencionamos con respecto al riesgo de perder cierto grado de agencia humana en algunas circunstancias (ver sección sobre Autonomía), el sesgo de automatización , que se refiere a la tendencia de los médicos (y las personas en general) a confiar demasiado en tecnologías de asistencia como la IANota25 , pone en cuestión hasta qué punto debe considerarse la responsabilidad humana.
Responsabilidad y la ley
Desde una perspectiva legal, los errores de IA generalmente se vinculan al daño sufrido por la víctima y su reparación. Sin embargo, en materia penal, la perspectiva legal también abarca la actitud que se desea castigar o la protección de la sociedad y de otras personas ante una posible reincidencia.
Con respecto al rol de los profesionales de la salud, podemos observar los regímenes actuales de responsabilidad médica para considerar cómo los mecanismos de responsabilidad civil y compensación por daños pueden aplicarse al uso de sistemas de IA en salud, y si consideran las particularidades de la operación y el contexto. Por ejemplo, en muchos regímenes de responsabilidad basados en la culpa, la víctima debe probar que (1) el profesional tuvo la culpa, (2) hubo un perjuicio (es decir, daño o infracción de los derechos o intereses de una persona), y (3) hubo un vínculo causal directo e inmediato entre la culpa y el perjuicio [ 107 ]. Los médicos generalmente tienen una obligación de medios (por ejemplo, productos y equipos utilizados) y mucho más raramente una obligación de resultados. Entonces, para determinar la culpa, el juez pregunta si un médico “razonablemente diligente” [ 86 ] que se ajustara a los datos adquiridos de la ciencia y se colocara en las mismas circunstancias habría actuado de la misma manera.
Sin embargo, dado que el uso de la IA en medicina es tan novedoso, podría ser necesario determinar un entendimiento común de cómo sería una práctica «razonablemente diligente». ¿Hasta qué punto se consideraría el nivel de alfabetización del médico en relación con el sistema de apoyo a la toma de decisiones basado en IA? Un robot quirúrgico que realiza suturas rutinarias bajo el control de un sistema de IA permanece bajo la supervisión de un médico: ¿hasta qué punto la obligación de seguridad implica responsabilidad por daños ocurridos durante la operación, que el médico podría haber evitado con un mejor conocimiento del sistema? Argumentamos que los jueces requerirán como mínimo una comprensión suficiente de las herramientas de IA que utilizan los médicos y otros profesionales de la salud, basándose en las explicaciones proporcionadas por el proveedor del sistema. Sin embargo, en la actualidad, esta interpretación queda mayormente a discreción de los jueces y, hasta donde sabemos, no hay decisiones jurisprudenciales importantes que puedan guiarnos.
Además, la opacidad de los sistemas de IA y la gran cantidad de actores involucrados en su desarrollo e implementación dificultan considerablemente la demostración de una relación causal entre la falla y el daño, y la carga de la prueba recae invariablemente sobre la víctima. El paciente debe saber que se utilizó dicho sistema, así como todos los pasos del proceso de toma de decisiones, para poder demostrar que el médico debería, por ejemplo, haber ignorado la recomendación, detectado un sesgo inicial, verificado las entradas, etc. [ 110 ].
Evaluación y supervisión
Para minimizar los riesgos del uso de IA en la atención médica, necesitamos evaluar los sistemas de IA antes de que se comercialicen, implementen y utilicen, y monitorearlos mediante una supervisión continua, especialmente aquellos sistemas que representan un mayor riesgo para los pacientes.
La ética de la evaluación y la supervisión
Más allá del principio ético médico de no maleficencia, la protección y promoción del bienestar humano [ 111 ], la seguridad y el interés público implica que “las tecnologías de IA no deben dañar a las personas” [ 27 ]. Esta idea, presentada como el segundo de los seis principios establecidos por el grupo de expertos designado por la Organización Mundial de la Salud (OMS), implica que el control, la medición y el monitoreo del rendimiento y la calidad de los sistemas y su mejora continua deben ser primordiales en el despliegue de la tecnología de IA [ 112 ]. Todos los actores involucrados probablemente deberían ser responsables de estos aspectos. Sobre este tema, hay varios elementos que merecen consideración.
En primer lugar, la evaluación previa al despliegue de los sistemas de IA implica determinar los criterios para su evaluación. Hoy en día, la mayoría de los sistemas se evalúan en el marco de las autorizaciones, certificaciones o licencias existentes, como las emitidas por las autoridades sanitarias nacionales para los dispositivos médicos. Estas autoridades examinan el producto o la tecnología según criterios que se relacionan principalmente con la eficacia, la calidad y la seguridad. La validez científica es primordial, pero ¿debería ser el único criterio para el uso y el despliegue de los sistemas de IA? En particular, se debe evaluar la probabilidad y la magnitud de los efectos adversos. Además, debe haber una evaluación ética que considere los beneficios y riesgos individuales y colectivos de la tecnología, así como su cumplimiento con ciertos principios éticos previamente validados. Por ejemplo, la Agencia Reguladora de Medicamentos y Productos Sanitarios (MHRA) del Reino Unido, la Administración de Alimentos y Medicamentos (FDA) y Health Canada han desarrollado buenas prácticas que tienen como objetivo promover dispositivos médicos seguros, eficaces y de alta calidad mediante inteligencia artificial y aprendizaje automático. Este documento actualmente parece incorporarNota26 una consideración más global al integrar también las preocupaciones éticas sobre el despliegue de sistemas de IA [ 113 ].
En segundo lugar, las tecnologías de IA deben ser monitoreadas y evaluadas a lo largo de su uso, especialmente los modelos de aprendizaje de “refuerzo” que aprovechan los datos que se generan y proporcionan continuamente para continuar la capacitación y el aprendizaje [ 114 ]. Esto es precisamente lo que defiende la OMS, en nombre de un principio ético final que su comité de expertos ha denominado “capacidad de respuesta”. Los diseñadores, usuarios y desarrolladores deben poder “evaluar de manera continua, sistemática y transparente” cada tecnología de IA para determinar “si responde de manera adecuada, apropiada y de acuerdo con las expectativas y los requisitos legítimos comunicados” [ 27 ] en el contexto en el que se utiliza la IA. Es necesario considerar cómo se pueden garantizar estos estándares, teniendo en cuenta los procedimientos y las técnicas disponibles para hacerlo [ 68 ].
El enfoque de «participación humana» se considera a menudo parte del desarrollo responsable de las tecnologías de IA. Aplicado a la evaluación de sistemas, podría consistir en establecer varios puntos de supervisión humana antes y después del diseño y la utilización del algoritmo [ 115 ]. Establecer dicha garantía, que también puede describirse como «garantía humana» [ 27 ] o «control humano» [ 116 ], permitiría asegurar que solo se implementaran algoritmos de aprendizaje automático éticamente responsables y médicamente eficaces [ 27 ].
Sin embargo, la pregunta sigue abierta en cuanto a cómo se puede aplicar este enfoque a tecnologías que no requieren aprobación previa ni proceso de autorización regulatoria, en particular porque no califican como «dispositivos» o «instrumentos» médicos. Dichas tecnologías, que a menudo monitorean la condición física, los ciclos hormonales femeninos, el sueño o el bienestar general, aún pueden tener consecuencias perjudiciales. Las empresas que desarrollan y venden dichos productos a menudo hacen compromisos públicos a través de las llamadas declaraciones y cartas éticas o etiquetas de calidad ética desarrolladas por ellas mismas. Los usuarios finales, que rara vez están calificados para evaluar si las acciones de los desarrolladores están en línea con estas declaraciones, corren el riesgo de ser víctimas del fenómeno del «lavado ético» [ 117 ] denunciado por investigadores de IA [ 118 ], especialistas en ética y filósofos.Nota27 . La reorientación del debate ético para ponerlo al servicio de las estrategias de inversión a gran escala merece una intensa reflexión seguida de acciones por parte de las autoridades públicas.
La visión jurídica de la evaluación y la supervisión
Desde un punto de vista legal, las cuestiones también afectan a la regulación de la comercialización. En primer lugar, como se subrayó anteriormente, la definición de IA no es unánime ni estable, y esto complica la calificación legal de las herramientas de IA [ 68 ]. De hecho, las herramientas calificadas como dispositivos médicos suelen estar sujetas a normas estrictas relativas a su proceso de fabricación, seguridad, eficacia y controles de calidad, evaluaciones, etc. En principio, tienen un objetivo médico y, por lo tanto, estas restricciones están vinculadas a los riesgos que plantean a la salud y seguridad de los usuarios. Sin embargo, hasta ahora, la definición legal de dispositivos médicos rara vez incluye expresamente todos los tipos de sistemas de IA, aunque algunos puedan compartir muchas características de ciertos dispositivos calificados o incurrir en riesgos comparables. Por ejemplo, en Estados Unidos, algunos tipos de software médico o sistemas de apoyo a la toma de decisiones clínicas se consideran y regulan como dispositivos médicos [ 119 ], pero el paradigma tradicional de regulación de dispositivos médicos de la FDA no fue diseñado para la IA adaptativa y las tecnologías de aprendizaje automático [ 120 ]. La insuficiencia de esta visión tradicional y la falta de claridad en la vía regulatoria pueden tener consecuencias importantes para el paciente [ 93 ]. Por este motivo, la FDA se ha estado adaptando en los últimos años revisando y autorizando específicamente muchos dispositivos de IA y aprendizaje automático [ 120 , 121 ] y planea actualizar su marco regulatorio propuesto presentado en el documento de discusión SaMD basado en IA/ML [ 122 ], que está respaldado por el compromiso de los centros de productos médicos de la FDA y sus esfuerzos de colaboración [ 123 ].
En segundo lugar, el control de calidad y la evaluación de los dispositivos médicos no están totalmente adaptados a la naturaleza creciente y en constante evolución de los sistemas de IA, cuya seguridad y eficacia pueden tener que controlarse con el tiempo. Los regímenes legales clásicos parecen no incorporar todas las realidades de los sistemas de IA y necesitan una revisión [ 124 ]; “la ley y su interpretación e implementación tienen que adaptarse constantemente al estado del arte en evolución de la tecnología” [ 124 , 125 ]. Si bien algunos autores aún cuestionan los posibles enfoques para la regulación de la innovación, algunos países ya han tomado su decisión. Por un lado, la sobrerregulación [ 68 ] podría sofocar la innovación y perjudicar los beneficios que aportaría la IA [ 126 ]. Por el contrario, la “sobreautorregulación”, o dejar que el mercado se regule a sí mismo, conduciría en la dirección opuesta, con las empresas decidiendo por sí mismas qué normas desarrollar y seguir, resolviendo los problemas a medida que surgen. Varios países han optado por confiar en enfoques basados en el riesgo para que los esquemas de dispositivos regulatorios específicos abarquen estos desafíos. Por ejemplo, el Parlamento Europeo votó recientemente a favor de su nuevo Reglamento sobre Inteligencia Artificial (más conocido como la «Ley de IA»), que define cuatro niveles de riesgo: el mínimo requiere una simple declaración de cumplimiento y el máximo conlleva la prohibición de uso. La propuesta de la Ley Canadiense de Inteligencia Artificial y Datos (AIDA) también prevé, de aprobarse, regular los sistemas de IA en función de la intensidad de su impacto [ 127 ].
Trabajo, profesiones y mercado laboral
En el sector de la salud, los impactos de la IA en los empleos y el trabajo afectan a la práctica médica, la prestación de atención y las funciones supervisadas por personal no médico.
La ética de la transformación del trabajo
Los sistemas de IA están destinados a integrarse en la práctica médica y la atención médica, si aún no lo han hecho. Por ejemplo, un sistema de IA que moviliza el reconocimiento de imágenes puede detectar un tumor en una mamografía [ 128 ]. En cirugía ortopédica, los robots con IA integrada pueden asistir y asegurar el gesto quirúrgico, garantizando mejores resultados posoperatorios al integrar la anatomía específica de cada paciente [ 129 ]. Sin embargo, si este tipo de tareas se generaliza, ¿podría la IA poner en peligro empleos o incluso reemplazar a los profesionales de la salud, como suele temerse en las transiciones tecnológicas [ 130 ]?
Los sistemas de salud, los profesionales y los administradores se verán afectados por la implantación de sistemas de IA. El primer impacto consiste en la transformación de tareas. La integración de IA está transformando las tareas profesionales, creando nuevas formas de trabajo [ 131 ] y forzando un reajuste de los trabajos (por ejemplo, cambiando roles y tareas, modificando identidades profesionales, evolucionando la responsabilidad profesional). Para la OMS, el reajuste a la disrupción en el lugar de trabajo parece ser una consecuencia necesaria del principio ético de «sostenibilidad» identificado por el comité de expertos en el despliegue de IA. En particular, los gobiernos y las empresas deberían considerar «las posibles pérdidas de empleos debido al uso de sistemas automatizados para funciones rutinarias de atención médica y tareas administrativas» [ 27 ]. El reconocimiento de imágenes, por ejemplo, convierte a la radiología en una de las especialidades más avanzadas en la integración de sistemas de IA [ 132 ]. La IA ahora puede «automatizar parte de la radiología convencional» [ 133 ], reduciendo las tareas de diagnóstico generalmente asignadas al radiólogo. Los autores del informe de estrategia francés creen que esta profesión podría entonces “evolucionar hacia una mayor especialización en radiología intervencionista con fines diagnósticos (punciones, biopsias, etc.) para casos complejos o fines terapéuticos guiados por imágenes médicas” [ 133 ]. La práctica de los electrocardiogramas en cardiología [ 133 ] o la de los dentistas en sus tareas rutinarias y laboriosas [ 134 ] ya está experimentando una conmoción. El campo de la medicina general también se está viendo afectado por aplicaciones disponibles para el público, como los chatbots de “asistente médico” que pueden analizar los síntomas de los usuarios y dirigirlos a un especialista o farmacéutico. En el caso de dolencias menores, estas tecnologías disminuyen de facto el papel del médico general.
Sin embargo, si la profesión de médico está a salvo por ahora, el papel de un enfoque ético es precisamente fijar directrices, que podrían corresponder al nivel de aceptabilidad social entre la población y el deseo de los profesionales de aferrarse a ciertos roles o tareas. Por ejemplo, el enfoque de “humano en el circuito”, así como los principios de no maleficencia y beneficencia, implican pensar en cuándo debe intervenir el médico y cuánta latitud tiene frente a la automatización [ 14 ]. El carácter profundamente humano de la atención es un elemento importante en el debate sobre la reestructuración de las misiones y las trayectorias profesionales [ 131 ]. La oportunidad de “rehumanizar” la atención sanitaria se abre al entregar ciertas tareas a los sistemas de IA y debe aprovecharse. Por ejemplo, el robot terapéutico Paro, que responde al sonido de su nombre, a los elogios hablados y al tacto, se utiliza en servicios geriátricos de Japón y Europa y ha recibido críticas positivas de los pacientes [ 135 ]. Para enfermeras y auxiliares de enfermería, la integración de estos robots aliviaría parte de la tensión física y psicológica de su actividad. Sin embargo, si bien la implementación de esta herramienta podría ayudar a abordar la escasez de recursos humanos, podría ser deseable solo para ciertas poblaciones y contextos. Además, se enfrentará, por supuesto, a otros problemas existenciales, sociales y culturales, como la evolución de los vínculos sociales y la aceptación de este tipo de tecnología en diferentes culturas.
La transformación de las habilidades es otra consecuencia de la introducción de las tecnologías de IA en la práctica médica. Al igual que con la llegada de las computadoras al entorno laboral en la década de 1990-2000, los profesionales de la salud deben aprender a trabajar con, o junto con, los sistemas de IA [ 27 ]. Además de saber cómo usar las tecnologías, los profesionales de la salud deben ser conscientes de las repercusiones y los problemas “técnicos, legales, económicos o éticos que plantea el uso de herramientas basadas en inteligencia artificial” [ 131 ]. Aquí surge un riesgo similar a los relacionados con la informatización y digitalización de los historiales médicos: el tiempo dedicado a la capacitación y al uso correcto no debe ir en detrimento del tiempo clínico, que se considera, con razón, primordial.
Sin embargo, mientras que las revoluciones tecnológicas anteriores concernían a los trabajadores menos calificados, la IA puede anunciar lo opuesto [ 136 ]. La IA puede representar el riesgo de una futura descualificación entre los profesionales de la salud, especialmente al inducir dependencia [ 137 ] o complacencia cognitiva [ 138 ]. Las capacidades que ofrece la automatización del trabajo cognitivo que anteriormente requería trabajadores altamente calificados pueden tener consecuencias como alterar los procesos de razonamiento clínico (p. ej., reducir la precisión diagnóstica de un médico). Sin embargo, el uso y la aplicación de la IA en sí requieren refinamientos periódicos por parte de los expertos, incluidos los médicos [ 137 ]. Las redes profesionales de radiólogos disiparon este temor al reducir el alcance en el que la IA podría ingresar, al tiempo que reconocían los beneficios potenciales de automatizar tareas más rutinarias y mejorar las habilidades de sus roles en general [ 139 ]. En situaciones donde se prefiere el uso de la IA, hay varias formas de mitigar los riesgos de descualificación. Por ejemplo, Jarrahi y coautores sugieren que algunas “capacidades informativas” de los sistemas de IA (es decir, capacidades más allá de la automatización “que pueden usarse para generar una perspectiva más integral sobre la realidad organizacional” [ 138 ]) podrían usarse para generar “una perspectiva más integral sobre la organización y equipar a los trabajadores con nuevos conjuntos de habilidades intelectuales” [ 138 ].
El impacto de la IA también debería considerarse en el nivel más global de gestión de organizaciones y personal no médico. Las áreas afectadas incluyen el triaje de pacientes en la sala de emergencias y la gestión y distribución de recursos humanos entre diferentes servicios. Aquí es donde entra la ética organizacional, con la gestión de recursos humanos y el diálogo social como preocupaciones principales. De hecho, en el sector de la salud, las capas del tejido social son particularmente gruesas, diversas e interrelacionadas: los cambios en una institución de atención médica afectan a muchos, si no a todos, sus trabajadores, con importantes repercusiones también en las vidas de los usuarios y los pacientes. La atención de las personas que interactúan con asistentes médicos o aplicaciones de diagnóstico también está cambiando. Por lo tanto, tales «evoluciones, introducidas de una manera demasiado radical y drástica, dañan el tejido social de una sociedad» [ 120 ]. Además, estas transformaciones también desdibujan el límite entre el trabajo y la vida privada y alteran el vínculo entre la empresa y sus empleados, tanto antiguos como nuevos [ 140 ].
En este sentido, el despliegue de tecnologías de IA implica sin duda el surgimiento de nuevas profesiones, que deben comprenderse adecuadamente. Por ejemplo, cabe imaginar nuevas profesiones técnicas como analistas de datos de salud, expertos en traducción de conocimiento, ingenieros de calidad en salud digital y coordinadores de telemedicina, así como profesionales de las ciencias sociales y humanas, como especialistas en ética de algoritmos y robots [ 141 , 142 ]. La construcción de la cultura ética de la organización dependerá, en particular, de su capacidad para identificar áreas de riesgo ético, implementar sus valores éticos e involucrar a todos sus miembros en su misión [ 143 ].
Transformación del trabajo y del derecho
La transformación de las cualificaciones cuestiona la relación entre las profesiones médicas y la tecnología, así como las obligaciones legislativas y reglamentarias para la formación. Exigir que el médico sea capaz de explicar o interpretar los resultados de un modelo de IA sigue siendo un problema legal, así como un desafío significativo. Los trastornos dentro de ciertas profesiones pueden significar que su regulación debe adaptarse, ya que el marco regulatorio para los radiólogos en Francia ya se ha modificado, redefiniendo los actos y actividades que pueden realizar los manipuladores de electrorradiología médica [ 144 ]. Según la Federación Nacional de Radiólogos, el movimiento hacia la radiología intervencionista diagnóstica mencionado anteriormente ya ha sido integrado por la profesión [ 133 ]. El Consejo Superior para el Futuro del Seguro de Salud habla de la importante tarea de «concentrar y desarrollar el papel de los médicos en las actividades de experiencia y síntesis», lo que ciertamente requerirá un cambio regulatorio.
Desde un punto de vista legal, esta cuestión también podría poner en tela de juicio el derecho a ser tratado o cuidado por IA en lugar de un profesional sanitario. La tendencia hacia la autoanálisis cuantificada o analítica personal, donde las herramientas de análisis y medición de datos se vuelven más potentes cada año, ha proporcionado a las personas un mayor conocimiento sobre la gestión de su salud y, a veces, implica una comprensión diferente de sí mismos como pacientes dentro de las estructuras sanitarias. La concienciación y el uso de los servicios de IA por parte de las personas también está creciendo, a pesar de los temores. Considerando esto, algunas demandas de cirugía podrían satisfacerse mejor mediante IA, especialmente si es más segura, rápida, más eficiente y tiene más probabilidades de éxito. Y si las diferencias culturales o la aceptabilidad social van a la zaga de dichas demandas [ 145 ], cabría preguntarse justificadamente si deberían ponerse al día. ¿Podría ampliarse el derecho a elegir al propio médico para incluir el derecho a acceder a un «médico de IA»?
Discusión
Los problemas que plantea la IA en la atención sanitaria adquieren diferentes matices según se trate del cumplimiento legal, las decisiones éticas subyacentes a las prácticas y decisiones, o los procesos reflexivos integrados en las prácticas profesionales. Proponemos tres líneas de reflexión para abordar estas cuestiones.
Educación y formación
Muchas herramientas de IA están diseñadas para ser utilizadas por profesionales de la salud (p. ej., predicción de riesgos de deterioro futuro en pacientes [ 146 ], sistema de soporte de decisiones clínicas [ 147 ]; herramientas de asistencia al diagnóstico a partir de imágenes radiológicas [ 148 ]). Por lo tanto, estos profesionales deben conocer estas herramientas, cómo funcionan y sus implicaciones para garantizar la calidad, seguridad y eficacia de la IA. Para implementar la IA teniendo en cuenta toda esta información, es necesario aumentar la alfabetización técnica, legal y ética en IA de los profesionales de la salud [ 149 ]. Proponemos dos formas principales de lograr esto.
En primer lugar, la capacitación básica en IA debería integrarse en los programas académicos, donde los estudiantes son los futuros usuarios de la IA en el ámbito sanitario [ 150 ]. Un estudio en Canadá reveló que más de la mitad de los estudiantes de atención sanitaria [ 151 ] no saben qué es la IA o la consideran irrelevante para su campo. Además, pocas instituciones cubren los objetivos de la IA en sus programas educativos [ 152 , 153 ]. Esta es una oportunidad perdida para abordar conceptos erróneos y temores relacionados con la IA y para crear conciencia sobre los problemas éticos y legales asociados con estos sistemas. Como explican Wiens et al., una capacitación exitosa implica reunir a expertos y partes interesadas de diversas disciplinas, incluidos expertos en conocimiento, formuladores de políticas y usuarios [ 93 ].
En segundo lugar, la educación continua sobre IA para profesionales de la salud debería integrarse en las organizaciones e instituciones de salud [ 13 , 110 ]. Además de ilustrar el uso de herramientas y datos digitales y el funcionamiento interno de los sistemas, esta capacitación comprometería la responsabilidad moral de los profesionales de la salud. Enfrentados a una situación que involucra valores morales, principios éticos o la aplicación de normas legales, se cuestionarían antes de aplicar mecánicamente sus conocimientos técnicos. Luego podrían reflexionar sobre las consecuencias éticas de sus acciones, como el uso de una herramienta de IA en particular, dependiendo del contexto y el paciente involucrado. Dependiendo de la situación, los profesionales podrían referirse a los principios y estándares éticos definidos dentro de la organización, su código deontológico o el comité de ética dentro de su organización. Estos reflejos no son nuevos entre los profesionales médicos, ya que la ética médica se ha implementado ampliamente en procesos y prácticas. Además, la importante regulación del sector de la salud ya obliga a los profesionales a cuestionar la conformidad de sus prácticas con la ley o la ética. Sin embargo, estos mecanismos merecen ser adaptados al uso de IA.
Esta formación es ampliamente promovida por instituciones como la Asociación Médica Estadounidense [ 154 ], que apoya la investigación sobre cómo abordar la inteligencia aumentada en la formación médica, o el Real Colegio de Médicos y Cirujanos de Canadá [ 155 ], que recomienda incorporar esta formación en los planes de estudio de los residentes [ 112 ]. Creemos que la responsabilidad de integrar la formación recae en los organismos profesionales, las instituciones sanitarias y las instituciones académicas. De hecho, creemos que los problemas que describimos no pueden resolverse a menos que la responsabilidad se comparta de esta manera.
Apoyo y orientación
El segundo tema complementario se refiere al acompañamiento de los profesionales de la salud en estas nuevas prácticas. Este apoyo implicaría, en primer lugar, la creación de un comité interdisciplinario interno o externo para aprobar la implementación de nuevas tecnologías de IA: una autoridad especializada en IA a nivel organizacional o institucional. Dicho comité debería incluir especialistas en ética, ingenieros y desarrolladores de IA, profesionales de la salud, pacientes y administradores de organizaciones sanitarias. Esto permitiría evaluar si una tecnología determinada cumple con los criterios de evaluación predefinidos, basándose en los problemas éticos que plantea, antes de su uso. También debería incluir un abogado para resolver ciertas cuestiones legales y mantenerse al tanto de la evolución de la ley, que seguramente cambiará para integrar las particularidades de esta tecnología.
El comité también garantizaría que la tecnología se haya desarrollado teniendo en cuenta las habilidades, expectativas, interacciones o limitaciones técnicas u organizativas del usuario. Esto obligaría a los desarrolladores de IA a trabajar con posibles usuarios (incluidos tanto profesionales sanitarios como pacientes) desde la fase de diseño. Los criterios adoptados por el comité se integrarían en la creación de la tecnología, lo que le brindaría las mayores posibilidades de ser aprobada e implementada de la forma más segura, eficiente, colaborativa y, por lo tanto, de la mayor calidad posible. A diferencia de las instituciones que revisan sus sistemas para garantizar el cumplimiento normativo y legislativo y evolucionan en paralelo, este proceso de aprobación ética sería responsabilidad de los administradores de la institución, quienes también serían responsables de tender puentes entre desarrolladores y usuarios.
Adaptación de herramientas
Otra solución se refiere a la propia herramienta de IA, cuya interfaz debe estar diseñada para servir al usuario, teniendo en cuenta las cuestiones que se le plantean y permitiéndole desempeñar un papel activo en el sistema (por ejemplo, en términos de control, toma de decisiones, elección de acciones, etc.) [ 156 ]. Así, el puente entre diseñadores y usuarios permitiría crear una interfaz intuitiva, ergonómica, transparente, accesible y fácil de usar.
Como hemos visto, uno de los objetivos de la formación de profesionales sanitarios es fomentar el pensamiento reflexivo, que va más allá de la mera preocupación por la responsabilidad legal. Las funcionalidades que desencadenen el deseado «reflejo ético» deberían integrarse en la interfaz; por ejemplo, alertar al profesional sobre la diversidad o el origen de los datos que introduce, o incluso sobre el resultado que la máquina ha devuelto. Incluso se podría prever que estas alertas sean personalizadas: de hecho, algunos sistemas saben cómo personalizar las alertas en función de la información que tienen sobre la situación. En lugar de alertar a los usuarios sobre la contraindicación de una prescripción médica o cómo completar una exploración [ 157 ], la interfaz podría proporcionar alertas sobre ciertas consideraciones éticas. Por ejemplo, los médicos que introducen síntomas en un sistema de apoyo al diagnóstico podrían recibir alertas cuando datos específicos (como entrada) sean atípicos y puedan resultar especialmente sensibles al funcionamiento de este algoritmo. Manteniendo el enfoque centrado en la experiencia del usuario, estas funcionalidades deberían ser lo suficientemente sencillas como para preservar la interacción hombre-máquina y la ergonomía de la interfaz (es decir, que las tareas se puedan realizar en un tiempo razonable).
Finalmente, se deben establecer ciclos de retroalimentación, junto con la obligación del profesional de reportar cualquier problema que surja al usar la IA. Esta funcionalidad evitaría que el profesional confíe implícitamente en la herramienta y lo obligaría a mantenerse alerta y crítico respecto a sus recomendaciones, predicciones, previsiones u otros resultados.
Limitaciones
En este artículo, hemos intentado presentar una visión integral de las cuestiones éticas y legales que rodean el desarrollo y la implementación de la IA en la atención médica. Sin embargo, reconocemos que nuestra investigación tiene limitaciones. En primer lugar, las seis cuestiones presentadas no son exhaustivas, ya que incluyen las más citadas en la literatura específica. En segundo lugar, se presentan de una manera amplia y poco específica geográficamente para poder ofrecer una visión general en un solo artículo. En tercer lugar, nuestra presentación de estas cuestiones se basa en las diferencias básicas entre la ética y el derecho y no integra todas las intersecciones y relaciones entrelazadas entre las dos disciplinas, ya que pretende aclarar las distinciones. En cuarto lugar, hemos optado por no abordar las discusiones éticas a través de un único enfoque normativo, que daría importancia a una tradición clásica específica en ética (por ejemplo, la ética de la virtud de Aristóteles o la deontología kantiana) o a corrientes más contemporáneas como la ética del cuidado, sino para dar cuenta de cierta diversidad en la presentación de las cuestiones, que pueden presentarse de manera diferente según el ángulo elegido.
Conclusión
Los seis problemas que destacamos en este artículo ilustran la intensidad y el alcance con que los profesionales sanitarios ya se ven afectados por el desarrollo de la IA, y lo estarán aún más en el futuro. Para que la IA los beneficie, así como a los pacientes, las organizaciones sanitarias y la sociedad en su conjunto, primero debemos saber cómo identificar estos problemas en la práctica. Es fundamental que los profesionales sanitarios puedan identificar si surgen problemas éticos o legales al implementar y utilizar herramientas de IA, para que puedan reaccionar ante ellos de la manera más adecuada. Este conocimiento puede orientar su uso de la IA, permitiéndoles adaptarse mejor a esta nueva tecnología y mantener una perspectiva crítica útil, especialmente a través de una perspectiva beneficio/riesgo que ya es importante en el ámbito sanitario. Para lograrlo, sugerimos revisar la formación inicial y continua de los profesionales, apoyarlos en el uso de las herramientas de IA mediante una evaluación ética y regulatoria, y desarrollar nuevas capacidades para responder a un «riesgo potencial» en términos legales o éticos.
