Cuando se pone en marcha un sistema de visión artificial, la pregunta que acaba llegando siempre es la misma: ¿funciona? Y la respuesta que suele darse —«acierta el 99 %»— no significa nada.
Un sistema de inspección no tiene un acierto, tiene dos errores distintos que se comportan de forma opuesta: rechazar piezas buenas y dejar pasar defectos. Bajar uno sube el otro, y cada uno cuesta dinero en un sitio diferente de la planta.
Este artículo explica cómo se miden esos dos errores, por qué el porcentaje de acierto engaña y qué criterios de aceptación conviene acordar antes de instalar nada.
Falso positivo y falso negativo: fijar la convención antes de discutir
Por convención, un «positivo» es que el sistema detecta defecto. De ahí salen los dos errores:
Falso positivo: el sistema rechaza una pieza buena. En planta se le llama falsa alarma, falsa llamada o, en electrónica, overkill. Cuesta merma, revisión manual y, si se repite, que el operario deje de fiarse del equipo.
Falso negativo: un defecto real pasa la inspección. Es el escape, y es el error caro: llega al cliente.
Conviene escribirlo en el pliego, porque es habitual que el proveedor y el cliente usen los términos al revés —hay quien llama «positivo» a la pieza buena— y acaben acordando un criterio que cada parte entiende de forma opuesta. Es uno de los errores típicos al implantar visión artificial que no se detectan hasta la recepción.
Las cuatro casillas: la matriz de confusión
Todo se ordena en una tabla de cuatro casillas que compara lo que decide el sistema con lo que la pieza realmente es:
| Pieza defectuosa | Pieza buena | |
|---|---|---|
| El sistema rechaza | Verdadero positivo (VP) | Falso positivo (FP) |
| El sistema acepta | Falso negativo (FN) | Verdadero negativo (VN) |
De ahí salen las tres métricas que de verdad se usan:
Sensibilidad = VP / (VP + FN). De todos los defectos que había, cuántos cazó. Es la que protege al cliente.
Especificidad = VN / (VN + FP). De todas las piezas buenas, cuántas dejó pasar sin molestar.
Precisión del rechazo = VP / (VP + FP). De todo lo que el sistema tiró a la caja de rechazo, cuánto era defecto de verdad. Esta es la que ve el operario.
Por qué «acierta el 99 %» no dice nada
La exactitud global engaña porque en una línea industrial los defectos son raros. Un ejemplo con números redondos lo deja claro.
Supongamos una línea con un 1 % de piezas defectuosas y un sistema con una sensibilidad del 95 % y una especificidad del 98 %. Sobre 10.000 piezas:
De las 100 defectuosas, detecta 95 y se le escapan 5. De las 9.900 buenas, acepta 9.702 y rechaza 198 por error. Resultado: exactitud global del 97,97 % —suena excelente— pero de las 293 piezas que acaban en la caja de rechazo, solo 95 son defectos reales. Es decir, dos de cada tres rechazos son piezas buenas.
Ese efecto no es un fallo del sistema: es aritmética. Cuanto más raro es el defecto, más se degrada la precisión del rechazo aunque la especificidad sea alta. Por eso un criterio de aceptación que solo diga «95 % de acierto» es un criterio vacío.
Qué error priorizar: lo decide el coste, no la técnica
No existe un ajuste que minimice los dos errores a la vez. Mover el umbral de decisión desplaza el equilibrio entre ellos, y dónde colocarlo es una decisión de negocio.
En un componente de seguridad o en un producto sanitario, el escape es inaceptable y se asume rechazar de más. En una pieza de bajo valor con reproceso barato, puede compensar lo contrario. La pregunta que hay que responder antes de ajustar nada es cuánto cuesta un escape y cuánto cuesta un rechazo falso.
Y hay un efecto de segundo orden que conviene tener presente: si la tasa de falsas alarmas es alta, el operario que verifica los rechazos se acostumbra a darlos por buenos, y entonces los defectos reales también se le escapan. Un exceso de falsos positivos acaba generando falsos negativos.
Cómo se mide de verdad: el estudio de concordancia
Medir estas cifras exige un conjunto de muestras conocidas —piezas buenas y defectos representativos de cada tipo— inspeccionadas varias veces. No vale validar con el producto fácil: el conjunto tiene que incluir los defectos límite, los que están justo en la frontera.
La metodología estándar en industria es el estudio de concordancia por atributos (attribute agreement analysis), que mide si el sistema coincide consigo mismo al repetir y si coincide con el criterio de referencia. El indicador habitual es el estadístico kappa, que corrige el acierto por azar.
Como referencia, la documentación de Minitab atribuye al manual AIAG MSA el criterio de considerar aceptable un kappa igual o superior a 0,75, siendo preferible 0,90 o más; otras herramientas, como SigmaXL, usan bandas algo distintas y sitúan en 0,70 el límite de lo inaceptable. Conviene fijar el valor exigido en el pliego, porque no hay un único umbral universal.
Este trabajo es la parte más laboriosa del proyecto y la que más condiciona el resultado, igual que ocurre al entrenar un modelo para detectar defectos.
Cómo lo resuelven los sectores regulados
Donde la inspección está normada, el criterio no es una métrica suelta sino una comparación contra el método que sustituye.
En la inspección visual de inyectables, el enfoque de referencia —el test de Knapp, recogido en el capítulo USP <1790>— parte de calcular la probabilidad de detección de cada unidad del conjunto de desafío a partir de inspecciones repetidas, y exige que el sistema automático detecte al menos tan bien como el panel de inspectores humanos.
El fondo del planteamiento sirve para cualquier sector: la inspección es un proceso probabilístico, no un sí o un no, y el listón razonable es el rendimiento real del método anterior, no la perfección. Es el mismo criterio que explicábamos para la visión artificial en entornos regulados.
Cómo definimos los criterios de aceptación en I-MAS
En I-MAS abordamos los proyectos de visión artificial acordando los criterios de aceptación antes de diseñar el sistema: qué cuenta como defecto, qué conjunto de muestras se va a usar, qué sensibilidad y qué tasa de falsos rechazos se consideran aceptables y cómo se va a medir todo eso en recepción.
Después diseñamos la óptica, la iluminación, el algoritmo y la integración con la línea en función de ese objetivo, y elegimos el enfoque clásico o de deep learning según lo que haya que demostrar.
¿Quieres conocer más acerca de nuestros servicios? ¡Ponte en contacto con nosotros!