Sistema de identificación y posicionamiento de objetos extraños robot clasificador de cinta transportadora de mina de carbónComo un equipo importante para la producción de la mina de carbón, la operación segura de la cinta transportadora de la mina de carbón es una base importante para garantizar la producción normal de la mina de carbón. Sin embargo, en el proceso de producción y transporte de carbón, las cintas transportadoras de las minas de carbón pueden verse afectadas por objetos extraños extraídos por minería integral o excavación integral, etc., lo que puede provocar accidentes graves, como correas rasgadas y rotas. Los métodos tradicionales de detección de objetos extraños, como la detección manual, la detección por radar y los detectores de metales, son ineficientes, costosos, difíciles de implementar y mantener, y presentan riesgos para la seguridad.Con el desarrollo continuo de la tecnología de visión artificial, las instituciones y académicos nacionales y extranjeros han llevado a cabo una gran cantidad de investigaciones sobre la aplicación de la tecnología de visión artificial en la detección de objetivos y el monitoreo del estado de la cinta transportadora de minas de carbón. Aunque la visión artificial tiene una cierta base teórica en la detección e identificación de objetivos de cintas transportadoras de minas de carbón, la identificación actual de objetivos de robots de clasificación de cintas transportadoras de minas de carbón es principalmente para la identificación de gangas, y hay menos investigación sobre la identificación de objetivos de objetos extraños que provocan la penetración de la cinta, el desgarro. , etc., y hay menos investigación sobre el posicionamiento preciso de objetos extraños objetivo. Por la presente, MingDe diseñó un sistema de identificación y posicionamiento de objetos extraños de robot clasificador de cinta transportadora de mina de carbón, que puede identificar y ubicar diferentes tipos y formas de objetos extraños en la cinta transportadora. A través de una cámara de alta precisión estéreo multidimensional y multiángulo, el robot clasificador inteligente escanea rápidamente el mineral en la cinta transportadora. El algoritmo de reconocimiento de objetos extraños CRM-CNN de desarrollo propio ubica con precisión la posición 3D de los escombros, controla el robot para agarrar el objeto extraño y lo coloca en la caja de recolección de objetos extraños.Caracteristicas de producto 1: Basado en tecnología de aprendizaje profundo, combinado con una gran base de datos de objetos extraños minerales, El clasificador de robot inteligente tiene una alta tasa de reconocimiento de objetos extraños.2: Usando una cámara estéreo industrial multiángulo y multidimensional y un algoritmo de reconocimiento geométrico 3D, la máquina de clasificación de robots inteligente puede medir y posicionar con precisión la profundidad, dirección y posición de objetos extraños.3: control altamente flexible, ya que los objetos extraños recién surgidos se pueden agregar en cualquier momento.4: El brazo robótico de altos niveles de protección especialmente desarrollado, más rápido y más flexible, puede adaptarse de manera efectiva a varias velocidades de transporte y entornos industriales hostiles5: Supervisión remota altamente inteligente, desatendida y opcional Verificación experimental La confiabilidad del sistema de reconocimiento y localización de objetos extraños del robot clasificador de cinta transportadora de la mina de carbón y su algoritmo es verificada por el prototipo experimental con objetos extraños en forma de varilla como objeto experimental. Los resultados experimentales del prototipo del sistema muestran que la tasa de reconocimiento de objetos extraños del sistema de posicionamiento y reconocimiento de objetos extraños del robot clasificador de cinta transportadora de la mina de carbón no se ve afectada por el tamaño, el material y el color, etc., y puede realizar la adquisición, el procesamiento , extracción de características, reconocimiento y posicionamiento de posición de la imagen de objeto extraño objetivo de la cinta transportadora, y la tasa de reconocimiento es superior al 99,5%, y el error promedio del posicionamiento de posición de objeto extraño objetivo es de aproximadamente 1%.

Robot de eliminación de material MingDe manipulador robótico Brazo robótico Robot de eliminación de objetos extrañosrobot de remoción de material Un robot es una máquina inteligente que puede trabajar de forma semiautónoma o totalmente autónoma. Los robots se pueden programar y controlar automáticamente para realizar tareas como trabajar o moverse.Principio del productoA través de una cámara de alta precisión estéreo multidimensional y multiángulo, el robot clasificador inteligente escanea rápidamente el mineral en la cinta transportadora. El algoritmo de reconocimiento de objetos extraños CRM-CNN de desarrollo propio ubica con precisión la posición 3D de los escombros, controla el robot para agarrar el objeto extraño y lo coloca en la caja de recolección de objetos extraños.Mingde Características del producto1: Basado en tecnología de aprendizaje profundo, combinado con una gran base de datos de objetos extraños minerales, El clasificador de robot inteligente tiene una alta tasa de reconocimiento de objetos extraños.2: Usando una cámara estéreo industrial multiángulo y multidimensional y un algoritmo de reconocimiento geométrico 3D, la máquina de clasificación de robots inteligente puede medir y posicionar con precisión la profundidad, dirección y posición de objetos extraños.3: control altamente flexible, ya que los objetos extraños recién surgidos se pueden agregar en cualquier momento.4: El brazo robótico de altos niveles de protección especialmente desarrollado, más rápido y más flexible, puede adaptarse de manera efectiva a varias velocidades de transporte y entornos industriales hostiles 5: Supervisión remota altamente inteligente, desatendida y opcional Áreas de aplicaciónSe utiliza principalmente para la clasificación de minerales, clasificación de varillas de anclaje, braseros de acero, trapos, madera, piezas de hierro, tuberías de llenado de desechos y otros desechos en el proceso de producción y transporte de minerales, reemplazando la clasificación manual, sentando las bases para reducir el trabajo del personal. , reduciendo la tasa de fallas del equipo, reduciendo el personal y aumentando la eficiencia.

Diseño de un sistema robotizado de despaletizado guiado por visión 3D para materiales multicalibreRobot de eliminación de material Manipulador robótico de brazo robóticoResumen: En la fabricación industrial y logística, la despaletización de materiales por robots es una de las aplicaciones comunes. La despaletización de materiales es un escenario en el que se cargan mercancías de diferentes calibres (es decir, mercancías de diferentes tamaños, pesos o texturas) en tarimas para su entrega. La despaletización por robot anterior solo era aplicable a la descarga de mercancías individuales y requería que las mercancías se dispusieran en un orden fijo, y el robot no tenía capacidad de percepción; El sistema de despaletización de robot guiado por visión que se describe en este documento está equipado con capacidad de percepción del entorno en tiempo real para guiar la acción de agarre, resolviendo así los problemas de tamaños variables de objetos que se descargarán y la colocación irregular de los sistemas de despaletización de materiales de varios calibres. Palabras clave: reconocimiento de visión 3D, robot, paletizado híbrido, posicionamiento de objetos, algoritmo de despaletizado En la fabricación industrial y la logística, se pueden utilizar varios robots industriales para optimizar el flujo de mercancías, y una de las aplicaciones comunes es la despaletización de materiales. La "despaletización robótica" por lo general se refiere al proceso de descarga secuencial de materiales de paletas usando brazos robóticos y puede usarse para reemplazar el trabajo manual simple pero pesado. En logística, existen escenarios donde mercancías de diferentes calibres (es decir, diferentes tamaños, pesos o texturas) se entregan en cajas, como se muestra en la Figura 1.Sin embargo, los primeros sistemas robóticos de despaletización se controlaban principalmente de forma manual para completar el agarre del robot, que solo era aplicable a la descarga de una sola carga y requería que la carga se dispusiera en un orden fijo, y el robot no tenía la capacidad de percepción para reaccionar a cambios externos. Sin embargo, los sistemas de despaletización de materiales de calibres múltiples requieren que los robots tengan conciencia ambiental en tiempo real para guiar la acción de agarre porque los objetos que se descargarán son de tamaño variable y están colocados de manera irregular.Con el desarrollo de varios sensores ópticos, la tecnología de visión por computadora se ha introducido gradualmente en las tareas de agarre de los robots para mejorar la capacidad del robot para adquirir información externa. Un sistema de despaletización de robot guiado por visión generalmente contiene cinco módulos, que son el módulo de adquisición de información de visión, el módulo de localización y análisis de objetos, el módulo de cálculo de posición de agarre, el módulo de conversión de coordenadas ojo-mano y el módulo de planificación de movimiento, como se muestra en la Figura 2. Entre ellos , los primeros tres módulos son la parte principal del sistema de visión, responsables de adquirir y procesar información visual y proporcionar poses de objetos. Los dos últimos módulos se utilizan principalmente para proporcionar información de control al robot y completar la función de agarre. A continuación, presentaremos cada módulo, métodos comunes y casos de implementación.I. Módulo de adquisición de información de visiónLa función del módulo de adquisición de información de visión es capturar información visual y proporcionar información para los pasos posteriores. En la actualidad, las entradas visuales comúnmente utilizadas incluyen imágenes RGB 2D, imágenes de nube de puntos 3D e imágenes combinadas 2D y 3D RGB-D. Entre ellos, el agarre del brazo robótico asistido por visión basado en imágenes 2D RGB es actualmente una solución madura en la industria, que transforma el problema del agarre del robot en el problema de la detección de objetivos de objetos o la segmentación de imágenes en imágenes RGB. Sin embargo, la visión 2D carece de información de escala absoluta de los objetos y solo se puede usar en condiciones específicas, como escenarios con paletas fijas y tamaños de materiales conocidos. Para escenarios en los que se desconoce el calibre del material, se requiere que el módulo de visión proporcione al robot información precisa del tamaño absoluto del objeto que se va a agarrar, por lo que solo se pueden obtener imágenes de nube de puntos 3D o imágenes RGB-D con una combinación de 2D y 3D. usado. En comparación con la información RGB, la información RGB-D contiene información de distancia espacial desde la cámara hasta el objeto; en comparación con las imágenes de nubes de puntos 3D, la información RGB-D contiene información rica en texturas de color. Por lo tanto, las imágenes RGB-D se pueden utilizar como entrada de información visual del sistema de despaletización de materiales de varios calibres.Módulo de posicionamiento y análisis de objetosEl módulo de posicionamiento y análisis de objetos recibe la entrada de datos del módulo de adquisición de información de visión, analiza los materiales presentes en la escena y obtiene información clave como su posición y pose, y luego ingresa esta información clave en el módulo de cálculo de pose de agarre. En términos generales, el problema de localización de materiales en el sistema de despaletización robótico puede transformarse en un problema de detección de objetivos o segmentación de imágenes en el campo de visión. La solución de agarre de robot basada en visión RGB-D puede realizar primero la detección de objetivos 2D o la segmentación de imágenes 2D en la imagen RGB del material, y luego fusionar el mapa de profundidad para generar el tamaño absoluto del objeto y la pose de agarre; oRealice directamente la detección o segmentación de objetivos en el mapa de nube de puntos 3D. Lo siguiente será una breve introducción al trabajo relacionado.Detección de objetivos 1.2DLa entrada de la detección de objetivos 2D es la imagen RGB de la escena, y la salida es la clase y la posición del objeto en la imagen, y la posición se da en forma de borde o centro. Los métodos para la detección de objetivos se pueden dividir en métodos tradicionales y métodos basados en aprendizaje profundo. Los métodos tradicionales de detección de objetivos generalmente usan una ventana deslizante para recorrer toda la imagen, y cada ventana se convierte en una región candidata. Para cada región candidata, las características se extraen primero mediante SIFT, HOG y otros métodos, y luego se entrena un clasificador para clasificar las características extraídas. Por ejemplo, el algoritmo DPM clásico usa SVM para clasificar las funciones HOG modificadas para lograr el efecto de detección de objetivos. El método tradicional tiene dos inconvenientes obvios: en primer lugar, lleva mucho tiempo recorrer toda la imagen con una ventana deslizante, lo que hace que la complejidad temporal del algoritmo sea alta y difícil de aplicar a escenarios a gran escala o en tiempo real; en segundo lugar, las características utilizadas a menudo deben diseñarse manualmente, lo que hace que dichos algoritmos dependan más de la experiencia y sean menos robustos.2. Segmentación de imágenes bidimensionalesLa segmentación de imágenes se puede considerar como una tarea de clasificación de imágenes a nivel de píxel. Según el significado del resultado de la segmentación, la segmentación de imágenes se puede dividir en segmentación semántica y segmentación de instancias. La segmentación semántica clasifica cada píxel de una imagen en una categoría correspondiente, mientras que la segmentación de instancias no solo realiza una clasificación a nivel de píxel, sino que también diferencia diferentes instancias en función de categorías específicas. En relación con el cuadro delimitador de la detección de objetivos, la segmentación de instancias puede ser precisa hasta los bordes de los objetos; en relación con la segmentación semántica, la segmentación de instancias necesita etiquetar diferentes individuos de objetos similares en el gráfico. En las aplicaciones de despaletización, necesitamos extraer los bordes de los materiales con precisión para calcular la posición de agarre, por lo que necesitamos usar técnicas de segmentación de instancias. Las técnicas de segmentación de imágenes existentes se pueden dividir en métodos tradicionales y métodos basados en aprendizaje profundo. La mayoría de los métodos tradicionales de segmentación de imágenes se basan en la similitud o mutación de los valores de gris de una imagen para determinar si los píxeles pertenecen a la misma clase. Los métodos comúnmente utilizados incluyen métodos basados en teoría de grafos, métodos basados en agrupamiento y métodos basados en detección de bordes. Los métodos basados en el aprendizaje profundo han mejorado sustancialmente la precisión de la segmentación de imágenes 2D en comparación con los métodos tradicionales. Los marcos típicos de redes neuronales profundas, como AlexNet, VGGNet, GoogleNet, etc., agregan una capa completamente conectada al final de la red para la integración de funciones, seguida de softmax para determinar la categoría de la imagen completa. Para resolver el problema de segmentación de imágenes, el marco FCN reemplaza estas capas completamente conectadas con capas de deconvolución, convirtiendo la salida de la red de una probabilidad unidimensional en una matriz con la misma resolución que la entrada, que es el trabajo pionero de aplicar aprendizaje profundo a la segmentación semántica.3. Detección de objetivos 3DLa detección de objetivos en 3D permite a los robots predecir y planificar con precisión su comportamiento y rutas mediante el cálculo directo de la posición de los objetos en 3D para evitar colisiones y violaciones. La detección de objetivos 3D se divide en cámara monocular, cámara binocular, cámara multiocular, escaneo LIDAR de superficie lineal, cámara de profundidad y detección de objetivos con cámara infrarroja según el tipo de sensor. En general, los sistemas estéreo/de visión múltiple que consisten en cámaras de visión múltiple o LiDAR permiten mediciones de nubes de puntos 3D más precisas, donde los métodos basados en vistas múltiples pueden usar el paralaje de imágenes de diferentes vistas para obtener mapas de profundidad; Los métodos basados en nubes de puntos obtienen información de destino a partir de nubes de puntos. En comparación, dado que los datos de profundidad de los puntos se pueden medir directamente, la detección de objetivos 3D basada en nubes de puntos es esencialmente un problema de delineación de puntos 3D y, por lo tanto, es más intuitiva y precisa. En tercer lugar, el módulo de cálculo de pose de captura.El módulo de cálculo de postura de agarre utiliza la información de postura de posición del objeto de destino que sale del segundo módulo para calcular la postura de agarre del robot. Dado que a menudo hay varios objetivos que se pueden agarrar en un sistema de despaletización de materiales de varios calibres, este módulo debería resolver los dos problemas de "cuál agarrar" y "cómo agarrar".El primer paso es resolver el problema "cuál". El objetivo de este problema es seleccionar el mejor destino de rastreo entre muchos destinos de rastreo, y el "mejor" aquí a menudo debe definirse según los requisitos reales. Específicamente, podemos cuantificar algunos indicadores que tienen un impacto en el juicio de rastreo de acuerdo con la situación real y luego priorizar estos indicadores.El segundo paso es resolver el problema de "cómoatrapar ". Podemos elegir analizar y calcular la postura de agarre mediante análisis mecánico, o podemos clasificar primero el objeto por el método de aprendizaje, y luego seleccionar el punto de agarre de acuerdo con la clasificación, o retroceder directamente la postura de agarre. En cuarto lugar, el módulo de conversión de coordenadas ojo-manoCon el tercer módulo, hemos obtenido una pose de agarre factible. Sin embargo, la pose de agarre se basa en la pose del sistema de coordenadas de la cámara, y la pose de agarre debe convertirse al sistema de coordenadas del robot antes de que se pueda realizar la planificación del movimiento. En los sistemas de despaletización se suele utilizar la calibración mano-ojo para solucionar este problema. Dependiendo de la posición de fijación de la cámara, el método de calibración ojo-mano se puede dividir en dos casos. Una es que la cámara está fija en el brazo del robot y la cámara se mueve junto con el brazo, llamado Eye-in-hand, como se muestra en la Figura 3. En esta relación, la relación de posición entre la base del robot y la placa de calibración permanece constante. durante los dos movimientos del brazo del robot, y la cantidad resuelta es la relación de posición entre la cámara y el sistema de coordenadas del extremo del robot. El otro tipo de cámara se fija en un soporte separado, llamado Ojo a mano, como se muestra en la Figura 4. En este caso, la relación de actitud entre el extremo del robot y la placa de calibración permanece igual durante los dos movimientos de el brazo, y la solución es la relación de actitud entre la cámara y el sistema de coordenadas de la base del robot. Ambos casos finalmente se transforman en un problema de solución con AXu003dXB, y la ecuación se puede transformar en una ecuación lineal usando grupo de Lie y álgebra de Lie para resolver las cantidades de rotación y traslación, respectivamente.Quinto. Módulo de planificación de movimientoEste módulo considera principalmente la cinemática, la dinámica, el análisis mecánico y la planificación del movimiento del robot para planificar una trayectoria de movimiento factible que no colisione con el entorno. Al multiplicar la pose de agarre en el sistema de coordenadas de la cámara obtenido por el módulo de cálculo de pose de agarre con la matriz de conversión calibrada por el módulo de conversión de coordenadas mano-ojo, podemos obtener la pose de agarre en el sistema de coordenadas del brazo del robot. En función de esta postura, se puede llevar a cabo la planificación del movimiento y se puede guiar el brazo robótico para completar la tarea de despaletización. Por lo tanto, la entrada del módulo de planificación de movimiento son las posiciones inicial y objetivo del brazo robótico, y la salida es la ruta de movimiento del brazo robótico. El algoritmo de planificación de movimiento completo se puede dividir en los siguientes tres pasos.Paso 1: resolución cinemática inversa. Para evitar problemas como las singularidades, la planificación del movimiento del brazo robótico generalmente se realiza en el espacio articular. Por lo tanto, primero debemos realizar la solución cinemática inversa basada en las poses de entrada para obtener los valores conjuntos correspondientes a las poses.Paso 2: Planificación de ruta. Con el algoritmo de planificación de rutas, podemos obtener la ruta de movimiento del brazo robótico. El objetivo de este paso es doble: uno es evitar obstáculos, para garantizar que el brazo robótico no colisione con otros objetos en la escena durante su movimiento; el segundo es mejorar la velocidad de operación para aumentar la eficiencia de operación del sistema. Mediante la planificación de una trayectoria de movimiento razonable, el tiempo de ejecución de un solo agarre del brazo robótico se puede acortar, mejorando así la eficiencia.Paso 3: interpolación de tiempo. Aunque ya podemos obtener una ruta de movimiento factible a través de la planificación de la ruta, esta ruta se compone de un punto de ubicación tras otro. Cuando el brazo robótico corre a lo largo de este camino, necesita mantener la aceleración y la desaceleración, por lo que tendrá un impacto en la velocidad de marcha. Por esta razón, necesitamos realizar una interpolación temporal para obtener la información de velocidad, aceleración y tiempo para cada punto en la ruta a medida que el brazo robótico se mueve hacia ese punto. De esta forma, el brazo robótico puede funcionar de forma continua y sin problemas, mejorando así la eficiencia. Sexto. Ejemplo de implementaciónCon base en la investigación anterior, se puede usar un sistema de visión completo que consta de una cámara de profundidad 3D, un sistema de iluminación, una computadora y un software de procesamiento de visión en el escenario de identificación del material de la caja de piezas para obtener información especial sobre objetos reales y la información obtenida a través de este El sistema se puede utilizar para realizar algunas tareas especiales, como obtener la posición de la caja a través del sistema de visión, que puede guiar al robot para agarrar y obtener información sobre la cantidad de cajas como calibración para la tarea. Los componentes principales de este sistema, como se muestra en la Figura 5.La cámara 3D y el sistema de luz se utilizan principalmente para imágenes fotográficas, donde la cámara 3D puede obtener datos de profundidad dentro de un cierto rango. Y la formación de imágenes digitales está relacionada con el sistema de iluminación. La computadora, por otro lado, incluye dispositivos informáticos y de almacenamiento de propósito general para guardar imágenes, procesar imágenes a través de software de visión especializado y también para redes.comunicación con otros sistemas. La visualización de imágenes facilita al operador operar el software de procesamiento de visión y monitorear la operación del sistema. El almacenamiento de gran capacidad se utiliza para el almacenamiento permanente o temporal de imágenes u otros datos. El software de visión especializado, por otro lado, incluye procesamiento de imágenes digitales, análisis de datos de imágenes y algunas funciones especiales. En términos generales, una cámara de profundidad 3D tiene una velocidad de fotogramas de 1 a 30 fps, resolución de imagen RGB de 640 × 480, 1280 × 960, especial 1920 × 1080, 2592 × 1944 y un rango de profundidad de aproximadamente 500 mm a aproximadamente 5000 mm. Y dependiendo del precio, hay diferente precisión y rango. Este es un ejemplo de una marca de cámara 3D con los parámetros que se muestran en la Figura 6 y la precisión que se muestra en la Figura 7.Con la cámara 3D, puede obtener imágenes RGB e imágenes de profundidad de escenas especiales y, de acuerdo con el procesamiento y análisis de estas imágenes (consulte la Figura 8), puede obtener información sobre la posición, el número y la información de los objetos en el escena.El cuadro rectangular en la Figura 9 es el mapa de posición de captura de cuadro identificado después del procesamiento. El orden de arriba a la izquierda, abajo a la izquierda, arriba a la derecha y abajo a la derecha es "2, 3, 3, 2" respectivamente, es decir, la mano del robot agarrará dos cajas a la izquierda, tres cajas a la izquierda, tres cajas a la derecha y dos casillas a la derecha según la información de posición dada por el sistema de reconocimiento de imágenes.Séptimo. ResumenEn este documento, presentamos el marco y los métodos comunes del sistema de despaletización de robot de material de calibres múltiples guiado por visión 3D, y definimos varios módulos básicos que el marco debe tener, a saber, módulo de adquisición de información de visión, localización de objetos y módulo de análisis, módulo de cálculo de posición de agarre, módulo de conversión de coordenadas mano-ojo y módulo de planificación de movimiento, y explicó las tareas principales y los métodos comunes de cada módulo. En aplicaciones prácticas, se pueden usar diferentes métodos para implementar estos módulos según sea necesario sin afectar las funciones de otros módulos y el sistema como un todo.