Cuando un ChatGPT decidió sobre derechos en salud: La sentencia que lo cambia todo
“La IA no puede sustituir el criterio humano”. Esta contundente afirmación de la Corte Constitucional colombiana en la histórica Sentencia T-323-24 marca un antes y un después para toda entidad del sector salud que implementa o planea implementar soluciones de inteligencia artificial en sus procesos asistenciales o administrativos.
¿Qué ocurrió cuando un juez colombiano utilizó ChatGPT para resolver un caso sobre la cobertura de tratamientos y transporte para un niño con autismo? La respuesta de la Corte Constitucional, emitida el 2 de agosto de 2024, no solo validó los derechos del menor, sino que estableció el primer marco jurisprudencial sobre el uso de Inteligencia Artificial – IA, en decisiones críticas que afectan derechos fundamentales en Colombia. En un momento, en que modelos como Claude 3.7 Sonnet, GPT-4.1 y Gemini 2.5 Pro alcanzan capacidades de razonamiento cada vez más sofisticadas, y cuando el sector sanitario colombiano acelera su adopción de estas tecnologías, esta sentencia se convierte en la brújula que orientará toda implementación responsable de Inteligencia Artificial – IA en salud.
Los seis (06) principios irrenunciables que ahora rigen la IA en el sector sanitario
La Corte Constitucional estableció seis (06) principios fundamentales que todas las entidades del sector salud desde Instituciones Prestadores de Servicios de Salud – IPS y Entidades Promotoras de Salud – EPS, hasta laboratorios y consultorios deberán observar escrupulosamente si utilizan sistemas de Inteligencia Artificial – IA:
1. Primacía absoluta del criterio humano
“La función decisoria es personalísima e indelegable”, sentenció la Corte. Esto significa que ningún diagnóstico, autorización, negación o aprobación puede delegarse completamente a un algoritmo. El médico, administrador o funcionario debe mantener siempre la responsabilidad final de la decisión.
2. Transparencia total y explicabilidad
Si su institución utiliza Inteligencia Artificial – IA, debe informarlo explícitamente. La Corte valoró positivamente que el Juez revelara su uso de ChatGPT, estableciendo un estándar: los pacientes tienen derecho a saber cuándo la IA interviene en decisiones sobre su salud. Esta transparencia debe incluir explicaciones sobre el alcance, limitaciones y forma de uso del sistema.
3. Verificación rigurosa de la información generada por IA
La Corte advirtió sobre los peligros de las “alucinaciones” de los LLMs —generación de información falsa con apariencia de veracidad. Las instituciones de salud tienen la obligación de verificar rigurosamente toda información proporcionada por sistemas de IA, especialmente cuando afecta diagnósticos, tratamientos o derechos de acceso a servicios.
4. Responsabilidad humana indelegable
Un principio definido con claridad: “La responsabilidad por las decisiones tomadas con asistencia de IA recae íntegramente en el humano que las adopta”. No será eximente de responsabilidad médica o administrativa alegar que “el sistema recomendó” cierto curso de acción.
5. Control humano significativo
Las instituciones sanitarias deben garantizar que existe un “control humano significativo” sobre cualquier uso de IA. Esto significa que el profesional debe:
- Comprender las capacidades y limitaciones del sistema
- Mantener la autoridad para aceptar, rechazar o modificar las recomendaciones algorítmicas
- Ejercer un análisis crítico real, no meramente formal
6. Regulación ética proactiva
La Corte citó la Recomendación de la UNESCO sobre Ética de la Inteligencia Artificial – IA y ordenó al Consejo Superior de la Judicatura desarrollar lineamientos específicos. Para el sector salud, esto anticipa la inminente emisión de guías sectoriales por parte del Ministerio de Salud y el INVIMA, exigiendo a las instituciones desarrollar proactivamente protocolos éticos internos.
Cuatro escenarios críticos donde su institución está expuesta
La Sentencia T-323-24, si bien aborda directamente el uso de IA en decisiones judiciales, identifica implícitamente áreas de alto riesgo donde la aplicación de estos sistemas puede comprometer derechos fundamentales. En el sector sanitario, estas áreas requieren especial atención por parte de las instituciones, ya que representan zonas de vulnerabilidad crítica ante posibles reclamaciones o investigaciones. La implementación de estos principios tiene implicaciones inmediatas en al menos cuatro áreas críticas donde la mayoría de las instituciones sanitarias están incorporando IA:
1. Diagnóstico asistido por IA
Las herramientas de análisis de imágenes médicas, sugerencias diagnósticas e interpretación de resultados de laboratorio con IA son cada vez más comunes. Bajo el marco de la sentencia T-323-24:
- El diagnóstico final debe ser siempre responsabilidad del profesional sanitario
- Debe informarse al paciente sobre el uso de sistemas de IA en el proceso diagnóstico
- Las discrepancias entre la recomendación algorítmica y el criterio médico deben documentarse
- Los modelos multimodales como GPT-4o y Gemini 2.5 Pro, capaces de analizar imágenes médicas, exigen protocolos específicos de verificación
2. Autorización de servicios y medicamentos
Muchas Entidades Promotoras de Salud – EPS utilizan algoritmos para evaluar y aprobar o rechazar solicitudes de servicios y medicamentos. La sentencia establece que:
- Las decisiones sobre cobertura no pueden delegarse exclusivamente a algoritmos
- Debe existir revisión humana significativa de cada caso, no meramente formal
- Los pacientes tienen derecho a conocer el rol de la IA en decisiones administrativas
- Los rechazos algorítmicos deben ser revisados por personal calificado
En este ámbito, los sistemas RAG (Retrieval-Augmented Generation) como Cohere Command, que procesan normativa específica y generan respuestas basadas en ella, requieren supervisión humana especialmente rigurosa.
3. Sistemas de triage y priorización
Las herramientas de Inteligencia Artificial – IA para clasificar la urgencia de atención o gestionar listas de espera deben implementarse con extremo cuidado:
- Los criterios de priorización deben ser transparentes y verificables
- El personal sanitario debe mantener la capacidad de modificar la clasificación algorítmica
- Se requieren auditorías periódicas para detectar posibles sesgos discriminatorios
- Debe existir un proceso claro de apelación humana para reclasificaciones
4. Consentimiento informado en la era digital
La sentencia tiene implicaciones directas para el consentimiento informado cuando interviene la Inteligencia Artificial – IA:
- Los pacientes deben ser informados específicamente sobre el uso de IA en su atención
- El consentimiento debe explicar el rol auxiliar de la tecnología y las salvaguardas implementadas
- Debe explicarse cómo se mantiene el control humano significativo en el proceso
- Las instituciones deben actualizar urgentemente sus formatos de consentimiento informado
Cinco acciones inmediatas para blindar jurídicamente su institución
La Sentencia T-323-24 no solo establece principios generales, sino que implica obligaciones concretas para las instituciones del sector salud que utilizan o planean implementar sistemas de IA. De acuerdo con lo planteado por la Corte Constitucional y siguiendo la lógica jurídica de sus fundamentos, es imprescindible que las organizaciones tomen medidas preventivas inmediatas para asegurar el cumplimiento de los estándares exigidos y mitigar posibles riesgos legales. A la luz de la sentencia T-323-24, recomendamos implementar al menos estas cinco acciones inmediatas:
1. Auditoría integral de sistemas de Inteligencia Artificial – IA
Realice un inventario completo de todos los sistemas de IA utilizados en su institución, evaluando:
- Qué decisiones clínicas o administrativas asisten
- Qué nivel de supervisión humana existe actualmente
- Qué documentación y trazabilidad se mantiene sobre su uso
- Qué información se brinda a pacientes y usuarios
2. Protocolos de verificación específicos por área
Desarrolle e implemente protocolos que definan:
- Los procesos precisos de verificación humana para cada tipo de recomendación algorítmica
- Los niveles de autoridad requeridos para aceptar o rechazar sugerencias de IA
- La documentación obligatoria sobre el razonamiento humano detrás de cada decisión final
- Las alertas automáticas para casos donde la discrepancia entre la recomendación algorítmica y la decisión humana sea significativa
3. Programa de capacitación sobre limitaciones de la IA
Implemente capacitación urgente para todo el personal que utiliza sistemas de IA, enfocada en:
- Reconocer posibles “alucinaciones” o errores algorítmicos según el tipo de modelo utilizado
- Comprender las diferencias entre sistemas basados en reglas y modelos probabilísticos
- Desarrollar pensamiento crítico frente a recomendaciones automatizadas
- Documentar apropiadamente la supervisión humana realizada
Para este fin, es crucial distinguir entre las capacidades y limitaciones específicas de distintos modelos. Por ejemplo, Claude 3.7 Sonnet con Extended Thinking proporciona explicaciones de su razonamiento que facilitan la verificación, mientras GPT-4.1 destaca en análisis de documentación extensa gracias a su ventana de contexto de 1 millón de tokens.
4. Actualización de consentimientos informados
Revise y actualice todos sus formatos de consentimiento para:
- Informar específicamente sobre el uso de IA en procedimientos
- Explicar el rol auxiliar de la tecnología y las salvaguardas implementadas
- Documentar apropiadamente este proceso informativo
- Garantizar que el lenguaje sea comprensible para el paciente promedio
5. Comité interdisciplinario de ética y supervisión de IA
Constituya un comité permanente que:
- Evalúe cada sistema de IA antes de su implementación
- Monitoree periódicamente su desempeño y posibles sesgos
- Revise casos complejos donde la IA ofrezca recomendaciones controvertidas
- Actualice protocolos según la evolución tecnológica y jurisprudencial
Liderar con responsabilidad en la revolución de la IA sanitaria
La Sentencia T-323-24 no debe interpretarse como un freno a la innovación, sino como una hoja de ruta para la implementación responsable de IA en el sector sanitario colombiano. Las instituciones que adapten proactivamente sus procesos a este nuevo marco jurisprudencial no solo minimizarán riesgos legales, sino que estarán mejor posicionadas para aprovechar el potencial transformador de estas tecnologías.
Esta sentencia histórica representa un punto de inflexión en la regulación de la inteligencia artificial en Colombia, particularmente en sectores críticos como la salud donde las decisiones pueden afectar derechos fundamentales. Al establecer principios claros sobre transparencia, supervisión humana y responsabilidad, la Corte Constitucional ha sentado las bases de lo que probablemente será un desarrollo normativo más amplio en los próximos años.
Las entidades del sector sanitario que comprendan la profundidad de estos principios y los implementen como parte integral de su cultura organizacional, no solo estarán cumpliendo con el marco jurisprudencial actual, sino que se anticiparán a futuras regulaciones específicas. En un contexto donde la tecnología avanza a ritmo exponencial, este enfoque preventivo y basado en principios ofrece una estrategia sostenible para navegar la compleja intersección entre innovación tecnológica, ética y derecho en el ámbito de la salud.
La IA en salud ya no es el futuro, es el presente. Y ahora sabemos exactamente cómo implementarla legalmente.
Elaborado por:
ALEXANDER OVIEDO FADUL
Referencias
Corte Constitucional de Colombia. (2024, 2 de agosto). Sentencia T-323-24. Magistrado Ponente: Juan Carlos Cortés González. Recuperado de https://www.corteconstitucional.gov.co/relatoria/2024/T-323-24.htm
Ministerio de Tecnologías de la Información y las Comunicaciones & Presidencia de la República. (2021, mayo). Marco Ético para la Inteligencia Artificial en Colombia. Recuperado de https://minciencias.gov.co/sites/default/files/marco-etico-ia-colombia-2021.pdf
International Bar Association (IBA). (2025, 11 de febrero). AI in healthcare: legal and ethical considerations. Recuperado de https://www.ibanet.org/ai-healthcare-legal-ethical
UNESCO. (2024, septiembre). Inteligencia Artificial en la sala de audiencias: Fallo histórico de la Corte Constitucional de Colombia. Recuperado de https://www.unesco.org/es/articles/inteligencia-artificial-en-la-sala-de-audiencias-fallo-historico-de-la-corte-constitucional-de
OpenAI. (2025, enero). Reasoning models – OpenAI API. Recuperado de https://platform.openai.com/docs/guides/reasoning
Anthropic. (2025, febrero). Claude’s extended thinking – Anthropic. Recuperado de https://www.anthropic.com/news/visible-extended-thinking
