Por qué importa
Estas funciones están preinstaladas en millones de Chromebooks y cuentas de Google Workspace for Education que utilizan escuelas en todo el mundo. Los padres y docentes tienen poco control sobre lo que la IA responde, y el reporte indica que los riesgos van más allá de la desinformación.
Lo que encontraron
Los investigadores analizaron más de 2.100 respuestas generadas por IA. Estos son los hallazgos principales:
- La IA completó el 100% de las tareas hipotéticas, en lugar de guiar al estudiante a resolverlas por sí mismo.
- Dio respuestas incorrectas o inconsistentes a preguntas históricas frecuentes.
- Ofreció instrucciones para fabricar deepfakes.
- Falló al manejar consultas sobre crisis de salud mental: sugirió una línea de ayuda desactualizada y no detectó señales de ideación suicida, psicosis o trastornos alimenticios.
La respuesta de Google
La empresa dijo que no pudo verificar ni reproducir muchos de los hallazgos del reporte, y calificó la investigación como "defectuosa". En un comunicado, afirmó que sus propias pruebas muestran respuestas de mayor calidad y que las funciones son "una forma increíblemente útil para que niños y adolescentes aprendan y exploren". Google también señaló que ya cuenta con salvaguardas y controles parentales.
Recomendaciones de Common Sense Media
El informe sugiere que escuelas y familias deberían poder desactivar AI Overview y AI Mode. También recomienda que los maestros de primaria dirijan a los estudiantes hacia bases de datos de bibliotecas u otros motores de búsqueda sin respuestas generadas por IA. Para casa, proponen usar buscadores alternativos que no incluyan estas funciones.