Análisis de estrategias para incorporar humanos al proceso de aprendizaje automático y su aplicación a la investigación del cáncer pancreático (HITL-ML)

Resumen

Hoy en día, los humanos son requeridos en varios puntos del proceso de aprendizaje automático (ML), seleccionando y etiquetando datos, eligiendo y adaptando el algoritmo de aprendizaje, interpretando los resultados, etc. La relación es monolítica en el sentido de que, una vez el algoritmo es construido y probado, se ofrece al público sin realizar más cambios. Se están definiendo nuevos tipos de interacción entre humanos y algoritmos de aprendizaje automático conocidos como Human-in-the-Loop Machine Learning (HITL-ML). La idea es involucrar más a los humanos para hacer que el aprendizaje sea más preciso o para obtener la precisión deseada más rápidamente, pero también para hacer que los humanos sean más precisos y más eficientes.
Esta interacción entre humanos y algoritmos ML puede ser a varios niveles:

  1. Los expertos pueden actuar como "maestros" de las máquinas dirigiendo de forma más precisa el proceso de aprendizaje.
  2. Los usuarios pueden también transferir sus conocimientos interactuando con productos que incluyen algoritmos ML. De esta manera se produce un aprendizaje interactivo en el que el sistema se va adaptando a los posibles cambios que puedan aparecer. Finalmente,
  3. Finalmente, los algoritmos de ML encuentran dificultades para explicar por qué llegan a una decisión específica. La Inteligencia Artificial Explicable (XAI) es un campo de investigación que tiene como objetivo hacer que los resultados de los sistemas de inteligencia artificial (IA) sean más comprensibles para los humanos. Actualmente, las técnicas XAI se centran en la transformación de modelos matemáticos, pero dejan de lado la dimensión humana del problema, que podría ayudar a hacer más comprensibles los mecanismos de explicación existentes.

Por lo expuesto anteriormente en este proyecto nos planteamos los siguientes objetivos:

  1. Análisis y desarrollo de técnicas para incluir humanos en el proceso de aprendizaje. La idea es establecer distintas estrategias para incorporar a los humanos a los procesos de aprendizaje y luego desarrollar técnicas y herramientas que permitan implementar dichas estrategias de forma eficiente. La efectividad de estos métodos se probará con problemas de ejemplo. Dentro de este objetivo incluimos técnicas de aprendizaje a través de expertos (Machine Teaching) o técnicas de aprendizaje a partir de usuarios (Interactive Machine Learning).
  2. Análisis y desarrollo de técnicas para incluir humanos en el proceso de explicación. La idea es analizar y desarrollar nuevas técnicas para el proceso de explicación de redes neuronales. Las técnicas actuales desarrolladas no tienen en cuenta el factor humano y los resultados que ofrecen no garantizan que sean usables en situaciones del mundo real. Por eso, en este objetivo, pretendemos incluir dicho factor humano en el proceso y analizar y desarrollar técnicas de explicación de los modelos de ML que sean comprensibles por los usuarios de dichos modelos.
  3. Usar las técnicas HITL-ML en problemas reales y complejos dentro del ámbito médico. Consiste en aplicar los desarrollos de los objetivos anteriores a problemas reales y concretos del dominio médico. En concreto, se plantea aplicarlos a la investigación del cáncer pancreático desarrollando diversas tareas, como pueden ser la caracterización genómica, la búsqueda de marcadores biológicos de pronóstico y/o la identificación de nuevos subtipos que nos lleven a un mejor tratamiento del paciente oncológico.

Publicaciones

Human-in-the-loop machine learning: a state of the art

Eduardo Mosqueira-Rey, Elena Hernández-Pereira, David Alonso-Ríos, José Bobes-Bascarán, Ángel Fernández-Leal,  Artificial Intelligence Review (2022), https://doi.org/10.1007/s10462-022-10246-w

 

Addressing the Data Bottleneck in Medical Deep Learning Models Using a Human-in-the-Loop Machine Learning Approach

Eduardo Mosqueira-Rey, Elena Hernández-Pereira, José Bobes-Bascarán, David Alonso-Ríos,  Alberto Pérez-Sánchez, Ángel Fernández-Leal, Vicente Moret-Bonillo, Yolanda Vidal-Ínsua, Francisca Vázquez-Rivera, Neural Computing and Applications (2023), https://doi.org/10.1007/s00521-023-09197-2

 

 

 

 

Integrating Iterative Machine Teaching and Active Learning into the Machine Learning Loop

Eduardo Mosqueira-Rey, David Alonso-Ríos, Andrés Baamonde-Lozano.

Knowledge-Based and Intelligent Information & Engineering Systems: Proceedings of the 25th International Conference KES2021, pages 553-562, 2021.

https://www.sciencedirect.com/science/article/pii/S1877050921015441

 

Improving Medical Data Annotation Including Humans in the Machine Learning Loop.

José Bobes-Bascarán, Eduardo Mosqueira-Rey and David Alonso-Ríos.

IV Congreso XoveTIC, Centro de Investigación en TIC da Universidade da Coruña (CITIC). 7-8 de Octubre, 2021.

 

 

A Classification and Review of Tools for Developing and Interacting with Machine Learning Systems.

Eduardo Mosqueira-Rey, Elena Hernández-Pereira, José Bobes-Bascarán and David Alonso-Ríos.

Proceedings of the 37th ACM/SIGAPP Symposium on Applied Computing (SAC'22), pages 1092-1101
 
Using Active Learning to Improve the Treatment Selection on Pancreatic Cancer Patients

José Bobes-Bascarán, Alberto Pérez-Sánchez, Eduardo Mosqueira-Rey, David Alonso-Ríos and Elena Hernández-Pereira.

V Congreso XoveTIC, Centro de Investigación en TIC da Universidade da Coruña (CITIC). 5-6 de Octubre, 2022.

 

Usability Heuristics and Guidelines for RESTful APIs and Application to a Case Study

Eduardo Mosqueira-Rey, David Alonso-Rios, Nerea Vazquez-Callejon.

Proceedings of the 38th ACM/SIGAPP Symposium on Applied Computing (SAC'23), pages 1809–1812, 2023.

https://doi.org/10.1145/3555776.3577798

 

Human-in-the-Loop Machine Learning for the Treatment of Pancreatic Cancer

Eduardo Mosqueira-Rey, Alberto Pérez-Sánchez, Elena Hernández-Pereira, David Alonso-Rios, José Bobes-Bascarán, Ángel Fernández-Leal, Vicente Moret-Bonillo, Yolanda Vidal-Insua, Francisca Vázquez-Ribera.

Proceedings of the International Joint Conference on Neural Networks, (IJCNN-2023), 2023.

 

Evaluating Curriculum Learning Strategies for Pancreatic Cancer Prediction

David Vázquez-Lema, Elena Hernandez-Pereira, Eduardo Mosqueira-Rey.

Proceedings of the European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning, (ESANN 2023), 2023.

 

 

Gamifying Machine Teaching: Human-in-the-Loop Approach for Diphthong and Hiatus Identification in Spanish Language

Eduardo Mosqueira-Rey, Sergio Fernández-Castaño, David Alonso-Ríos, Esteban Vázquez-Cano, Eloy López-Meneses.

Knowledge-Based and Intelligent Information \& Engineering Systems: Proceedings of the 27th International Conference KES2023.

 

Understanding Machine Learning Explainability Models in the context of Pancreatic Cancer Treatment

José Bobes-Bascarán, Ángel Fernández-Leal, Eduardo Mosqueira-Rey, David Alonso-Ríos Elena Hernández-Pereira and Vicente Moret-Bonillo.

VI Congreso XoveTIC, Centro de Investigación en TIC da Universidade da Coruña (CITIC). 5-6 de Octubre, 2023.

 

 
 

Hybrid Classic-Quantum Computing for Staging of Invasive Ductal Carcinoma of Breast

Vicente Moret-Bonillo, Eduardo Mosqueira-Rey, Samuel Magaz-Romero, Diego Alvarez-Estevez,  arXiv (2023), https://doi.org/10.48550/arXiv.2303.10142