Visión artificial multimodal: combinar cámaras, profundidad, temperatura y otros sensores  

Tabla de contenidos

Una cámara convencional puede detectar defectos visibles, verificar la presencia de componentes, leer códigos o comprobar el color de un producto. Sin embargo, en muchos procesos industriales, una imagen RGB no contiene toda la información necesaria para tomar una decisión fiable. 

Una pieza puede presentar una temperatura anómala sin mostrar cambios visibles, tener una deformación difícil de apreciar en una imagen plana o parecer correcta y encontrarse fuera de tolerancia en altura o volumen. 

La visión artificial multimodal permite ampliar esta información combinando cámaras 2D, sistemas de visión 3D, cámaras térmicas y datos procedentes de otros sensores o de la propia línea de producción. El objetivo es obtener una representación más completa del producto y aumentar la fiabilidad de la inspección. 

¿Qué es la visión artificial multimodal? 

La visión artificial multimodal combina distintas modalidades de información para analizar un mismo producto o proceso. Además de color y textura, puede incorporar datos relacionados con forma, profundidad, temperatura, peso, presión, posición o velocidad. El sistema puede utilizar esta información para aceptar o rechazar una pieza, clasificarla o detectar posibles desviaciones. 

La combinación de información procedente de diferentes sensores se conoce habitualmente como fusión de sensores o fusión de datos. El objetivo no es incorporar el mayor número posible de dispositivos, sino seleccionar tecnologías complementarias que aporten información relevante para cada inspección. 

Limitaciones de las cámaras RGB en la inspección industrial 

Las cámaras RGB convencionales capturan información principalmente en el espectro visible. Son especialmente útiles para comprobar colores, contornos, etiquetas, impresiones, presencia de elementos y defectos superficiales. Su eficacia depende, sin embargo, de que exista suficiente contraste entre una pieza correcta y el defecto que se pretende detectar. 

Además, una cámara 2D no obtiene directamente un mapa completo de profundidad. Puede realizar mediciones sobre un plano calibrado, pero determinados controles pueden verse afectados por la perspectiva, la orientación o las variaciones de distancia. 

Tampoco proporciona directamente información sobre temperatura, peso u otras variables físicas del proceso. Cuando estas características son importantes, es necesario incorporar otras tecnologías. 

Visión artificial 2D para color, textura y presencia 

La visión artificial 2D está ampliamente utilizada en aplicaciones de inspección industrial por su rapidez y versatilidad. Puede detectar componentes ausentes, comprobar montajes, verificar etiquetas, leer códigos, medir dimensiones en un plano o identificar defectos visibles. También permite clasificar productos según su color, forma o acabado superficial. 

Para conseguir resultados estables es fundamental seleccionar correctamente la cámara, la óptica y, especialmente, la iluminación. Una iluminación inadecuada puede ocultar defectos, generar reflejos o reducir el contraste necesario para realizar la inspección. 

Cuando la característica que se busca no puede determinarse únicamente a partir de una imagen plana, puede ser necesario incorporar información 3D. 

Visión artificial 3D y sensores de profundidad 

La visión artificial 3D puede proporcionar información sobre altura, volumen, forma y posición espacial. Para ello se utilizan tecnologías como triangulación láser, luz estructurada, tiempo de vuelo o visión estereoscópica. Estos sistemas pueden emplearse para controlar deformaciones, verificar perfiles, medir volúmenes o localizar objetos cuya posición varía. 

También tienen un papel importante en robótica. La información tridimensional permite determinar dónde se encuentra una pieza y cómo debe orientarse el robot para manipularla. Es especialmente útil en aplicaciones de bin picking, donde las piezas llegan desordenadas dentro de un contenedor. 

Combinar visión 2D y 3D permite, por ejemplo, comprobar simultáneamente apariencia, identidad, orientación y geometría. 

Cámaras térmicas para detectar anomalías de temperatura 

Las cámaras térmicas industriales detectan la radiación infrarroja emitida por las superficies y generan una imagen térmica sin necesidad de contacto. En el caso de cámaras radiométricas, también permiten obtener valores de temperatura superficial. 

La precisión depende de factores como la emisividad del material, las reflexiones, la distancia y las condiciones ambientales, por lo que cada aplicación debe configurarse y validarse adecuadamente. 

La termografía puede utilizarse para localizar sobrecalentamientos, verificar procesos de calentamiento o enfriamiento y detectar determinadas anomalías térmicas. 

En electrónica, por ejemplo, una cámara RGB puede comprobar la presencia y posición de los componentes de una placa, mientras que una cámara térmica puede identificar zonas que alcanzan temperaturas diferentes de las esperadas durante una prueba funcional. 

Integrar visión con sensores y datos del proceso 

La inspección multimodal no se limita a combinar cámaras. También puede utilizar información de básculas, sensores de presión, encoders, caudalímetros, acelerómetros, sensores ambientales o sistemas de control industrial

Los datos del PLC o de la máquina permiten relacionar el resultado de una inspección con las condiciones de fabricación. Una desviación visual puede coincidir, por ejemplo, con un cambio de temperatura, una caída de presión o una variación en la velocidad de producción. 

Esta integración mejora la trazabilidad industrial y facilita el análisis de las posibles causas de una desviación. Los resultados pueden asociarse al lote, receta, máquina, fecha o variables registradas durante el proceso. 

Aplicaciones y retos de la visión artificial multimodal 

Las posibilidades de aplicaciones dependen de cada proceso industrial. En el sector alimentario, una cámara 2D puede analizar color y apariencia mientras un sistema 3D comprueba dimensiones o volumen y una cámara térmica controla determinadas condiciones térmicas. 

En fabricación metálica, la combinación de imagen, profundidad y datos de proceso puede utilizarse para controlar geometrías, verificar ensamblajes y evaluar determinados aspectos de soldaduras. 

En electrónica, permite comprobar componentes, medir alturas y analizar comportamientos térmicos, y en logística, puede identificar paquetes, calcular sus dimensiones y determinar su posición antes de una manipulación automática. 

Por otro lado, aunque incorporar distintos sensores proporciona más información, también aumenta la complejidad. Por lo tanto, es necesario calibrar correctamente los sistemas para relacionar datos obtenidos desde diferentes posiciones y sincronizar señales que pueden trabajar con distintas resoluciones, frecuencias o tiempos de respuesta. 

Además, la inspección debe adaptarse al tiempo de ciclo de la línea. Por ello, antes de diseñar el sistema es fundamental determinar qué información aporta realmente cada sensor y qué precisión requiere la aplicación. 

Más sensores no significan necesariamente una inspección mejor. La clave está en elegir las tecnologías que aporten información complementaria y diseñar una arquitectura robusta para las condiciones reales de producción. 

I-MAS: integración de tecnologías de visión artificial 

En I-MAS desarrollamos sistemas de visión artificial adaptados a procesos industriales, integrando las tecnologías necesarias según los requisitos de cada aplicación: visión 2D y 3D, inteligencia artificial, robótica, automatización y datos de producción

Abordamos cada proyecto desde el estudio de viabilidad y la selección de cámaras, ópticas, iluminación y sensores hasta el desarrollo de algoritmos, diseño del sistema, programación industrial y puesta en marcha. 

El objetivo es conseguir una solución de inspección fiable, repetible y preparada para trabajar en las condiciones reales de la línea de producción

¿Quieres descubrir cómo aplicar este tipo de soluciones en tu planta? ¡Ponte en contacto con nosotros!

be·ia

Equipo compacto que genera imágenes 5D hiperrealistas en tiempo real, mediante inteligencia artificial.