Confianza

Límites de la IA: qué no hace y en qué puede fallar

La IA puede equivocarse, aunque trabaje con tus datos bien preparados. Puede entender mal una pregunta, sacar una conclusión que los datos no sostienen o apoyarse en un dato incompleto. Por eso cada respuesta dice de dónde sale y de qué fecha son los datos, el sistema avisa cuando no hay información suficiente y, donde un error cuesta caro, una persona revisa antes de actuar.

¿Qué no hace la IA en tu instalación?

  • No escribe ni cambia nada en tus programas: solo redacta respuestas.
  • No decide quién ve qué. Eso lo decide el sistema con las reglas que acordamos contigo.
  • No toma decisiones por ti: no aprueba un pedido, no cambia una tarifa, no valora a un trabajador.
  • No sabe lo que no está en los datos: lo que se habló por teléfono, un acuerdo de palabra o un albarán que nadie registró.
  • No ve datos más recientes que la última actualización de la copia para consultar.

¿En qué puede fallar?

Los fallos más habituales son discretos, y por eso cuesta verlos. La IA puede entender «ventas» como pedidos cuando tú pensabas en facturas, mezclar dos periodos o sonar muy segura con una conclusión floja. Gran parte del trabajo de implantación consiste en reducir esas confusiones: acordar qué significa cada dato y cómo se tratan las anulaciones y los abonos.

Cuando los datos están incompletos

La IA trabaja con lo que hay. Si los partes de trabajo de una obra se rellenan en papel y se pasan al programa a final de mes, una pregunta a mitad de mes dará una foto parcial. Por eso cada respuesta muestra la fecha de los datos que ha usado, y en la implantación se señalan los programas con huecos o duplicados conocidos, para que nadie se lleve una sorpresa.

Preguntas que no tienen respuesta

Hay preguntas que tus datos no pueden contestar. «¿Por qué perdimos el concurso del ayuntamiento?» no está en ninguna factura. Lo correcto es que el sistema diga qué puede decir, por ejemplo las ofertas presentadas y sus importes, y qué no, en lugar de inventar un motivo que suene convincente. Antes de entregar la instalación probamos a propósito con preguntas así.

¿Por qué cada respuesta lleva sus fuentes?

Porque una respuesta que no se puede comprobar solo se puede creer o no creer. Cada respuesta indica de qué programa sale, qué periodo cubre y qué registros ha usado. Así puedes revisarla sin pedir ayuda a nadie, y si algo no cuadra, se ve dónde está el problema: en la pregunta, en los datos o en la redacción.

¿Dónde conviene que revise una persona?

En todo lo que tenga consecuencias si sale mal. Como orientación:

  • Decisiones sobre personas: contratar, evaluar, asignar turnos o incentivos.
  • Pagos, cobros y reclamaciones de cierto importe.
  • Datos que van a un cliente, a un banco o a la Administración.
  • Precios y condiciones de una oferta.

Cuando la IA interviene en decisiones sobre personas, además, el Reglamento de Inteligencia Artificial puede exigir más cosas. Conviene revisarlo para cada caso.

Cómo lo probamos antes de entregar

Preparamos contigo un juego de preguntas de respuesta conocida, otras sin respuesta y otras que deben quedar bloqueadas por permisos. Lo repetimos antes de entregar, tras cada actualización y si cambias de IA. No elimina el error, pero sí ayuda a saber dónde suele aparecer.

Preguntas frecuentes

Si cada respuesta lleva fuentes, ¿ya no se equivoca?

Puede equivocarse igual. Las fuentes no impiden el error: permiten verlo y comprobar la respuesta antes de usarla.

¿Puede la IA inventarse un dato?

Puede ocurrir. Lo reducimos enviándole solo datos concretos, pidiéndole que avise cuando falte información y probando con preguntas sin respuesta. Pero no se puede descartar del todo, y por eso se muestran las fuentes.

¿Qué hago si encuentro una respuesta equivocada?

Avísanos. Con el registro vemos qué datos se usaron y qué se envió a la IA, y corregimos lo que falle: una definición, un dato mal cargado o una regla.

¿Puedo usarla para decidir sobre trabajadores?

Puede ayudarte a reunir información, pero la decisión debe tomarla una persona. Ese uso conviene revisarlo antes con quien te asesore.

Ver el método de implantación Cómo controlamos la información Preguntas frecuentes