Nota del editor: un largo rato con Robin Murphy, los autores de este artículo incluyen a David Merrick, Justin Adams, Jarrett Broder, Austin Bush, Laura Hart y Rayne Hawkins. Este equipo está con el Equipo de Respuesta a Incidentes de Desastres de la Universidad Estatal de Florida, que estuvo en Surfside durante 24 días a pedido de Florida US&R Task 1 (Departamento de Bomberos de Miami Dade).

Robin R. Murphy es el profesor Raytheon de Ciencias e Ingeniería Informática en Texas A&M y dirige el Centro de Búsqueda y Rescate Asistidos por Robots.

El 24 de junio de 2021, a la 1:25 a.m., partes del condominio Champlain Towers South de 12 pisos en Surfside Florida colapsaron, matando a 98 personas e hiriendo a 11, lo que lo convierte en el tercer colapso fatal más grande en la historia de Estados Unidos. La Fase de respuesta de mitigación y para salvar vidas, la fase en la que los socorristas de agencias locales, estatales y federales buscaron sobrevivientes, se extendió del 24 de junio al 7 de julio de 2021. Este artículo resume lo que se sabe sobre el uso de robots en Champlain Towers South, y ofrece información sobre los desafíos de los sistemas no tripulados.

El Departamento de Bomberos de Miami Dade (MDFR) utilizó inmediatamente pequeños sistemas aéreos no tripulados (drones) para inspeccionar el área afectada de aproximadamente 2.68 acres. Los drones, como el DJI Mavic Enterprise Dual con una carga útil de foco e imágenes térmicas, volaron en la oscuridad para determinar el alcance del colapso y buscar sobrevivientes. Más tarde ese día, se solicitó a los equipos de drones de gestión de emergencias regionales y estatales para complementar el esfuerzo de volar día y noche para operaciones tácticas de salvamento y agregar vuelos para operaciones estratégicas para respaldar la gestión de la respuesta general.

Vista de un Phantom 4 Pro en uso para mapear el colapso el 2 de julio de 2021. Otros dos drones también estaban en el espacio aéreo realizando otras misiones pero no visibles. FOTO: ROBIN R. MURPHY

Los equipos trajeron al menos 9 modelos de drones de helicópteros, incluidos DJI Mavic 2 Enterprise Dual, Mavic 2 Enterprise Advanced, DJI Mavic 2 Zoom, DJI Mavic Mini, DJI Phantom 4 Pro, DJI Matrice 210, Autel Dragonfish y Autel EVO II Pro más un dron Fotokite conectado . La imagen de arriba muestra un DJI Phantom 4 Pro en uso, con una de las múltiples grúas en uso en el sitio visible. No se registró el número de vuelos para operaciones tácticas, pero los drones volaron para 304 misiones solo para operaciones estratégicas, lo que hizo que el colapso de Surfside sea el uso más grande y prolongado de drones registrado para un desastre, superando los récords establecidos por el huracán Harvey (112) y Huracán Florence (260).

Según los informes, se utilizaron robots de escuadrones de bombas terrestres no tripulados en al menos dos ocasiones en la parte de pie de la estructura durante la respuesta, una para investigar y documentar el garaje y una vez el 9 de julio para sostener un repetidor para un avión no tripulado que volaba en la parte de pie del edificio/garaje. Tenga en cuenta que los detalles sobre los robots terrestres aún no están disponibles y es posible que haya habido más misiones, aunque no en el orden de magnitud del uso de drones. Los robots del escuadrón de bombas tienden a ser demasiado grandes para su uso en áreas distintas de las partes de pie del colapso.

Nos concentramos en el uso de drones para operaciones tácticas y estratégicas, ya que los autores estuvieron directamente involucrados en esas operaciones. Ofrece un análisis preliminar de las lecciones aprendidas. Los detalles completos de la respuesta no estarán disponibles durante muchos meses debido a la naturaleza de una investigación activa sobre las causas del colapso y debido a la privacidad de las víctimas y sus familias.

Uso de drones para operaciones tácticas

Las operaciones tácticas fueron realizadas principalmente por MDFR con otros equipos de drones apoyando cuando era necesario para cumplir con la carga de trabajo. Los drones fueron utilizados por primera vez por el equipo de drones MDFR, que llegó minutos después del colapso como parte de las crecientes llamadas. El esfuerzo de los drones comenzó con operaciones nocturnas para actividades directas de mitigación y salvamento. Se utilizaron pequeños drones DJI Mavic 2 Enterprise Dual con cámara térmica y cargas útiles de focos para conocer la situación general para ayudar a los socorristas a comprender el alcance del colapso más allá de lo que se podía ver desde el lado de la calle. Se usó la cámara termográfica incorporada, pero no tenía la resolución y no pudo mostrar detalles, ya que gran parte del material tenía la misma temperatura y las emisiones de calor eran borrosas. El foco con la cámara de luz visible estándar fue más efectivo, aunque la vista estaba restringida. Los drones también se utilizaron para buscar sobrevivientes o víctimas atrapadas, ayudar a determinar los peligros de seguridad para los socorristas y proporcionar a los líderes del grupo de trabajo la supervisión de los socorristas. Durante el día, se agregaron drones DJI Mavic Zoom debido a su zoom de mayor resolución de cámara. Cuando comenzaron los incendios en los escombros, se utilizaron drones con una conexión de transmisión a los operadores de camiones de cubo para ayudar a optimizar la posición del agua. También se utilizaron drones para localizar a civiles que ingresaban al área restringida o drones voladores para tomar fotografías. Cuando comenzaron los incendios en los escombros, se utilizaron drones con una conexión de transmisión a los operadores de camiones de cubo para ayudar a optimizar la posición del agua. También se utilizaron drones para localizar a civiles que ingresaban al área restringida o drones voladores para tomar fotografías. 

A medida que evolucionó la respuesta, el uso de drones se expandió a misiones en las que los drones volarían muy cerca de estructuras y objetos, volarían en interiores e interactuarían físicamente con el medio ambiente. Por ejemplo, se utilizaron drones para leer matrículas para ayudar a identificar a los residentes, buscar mascotas y documentar las pertenencias dentro de las partes de la estructura de pie para las familias. En un uso novedoso de drones para la interacción física, los escuadrones de MDFR volaron drones para intentar encontrar y recoger elementos en la parte de pie de la estructura con un valor inmenso para los sobrevivientes. Antes de la demolición de la parte en pie de la torre, MDFR utilizó un dron para retirar una bandera estadounidense que se había colocado en la estructura durante la búsqueda inicial.

Uso de drones para operaciones estratégicas

Un ortomosaico del colapso construido a partir de imágenes recopiladas por un dron el 1 de julio de 2021.

Las operaciones estratégicas fueron realizadas por el Equipo de Investigación de Incidentes de Desastres (DIRT) del Centro de Políticas de Riesgo de Desastres de la Universidad Estatal de Florida . El equipo DIRT es un activo del estado de Florida y fue solicitado por el Florida Task Force 1 cuando se activó para ayudar más tarde el 24 de junio. FSU apoyó las operaciones tácticas pero fue el único responsable de recopilar y procesar imágenes para su uso en la gestión de la respuesta. Estos datos fueron principalmente mapas ortomosaico (una sola imagen de alta resolución del colapso creada a partir de unir imágenes individuales de alta resolución, como en la imagen de arriba) y mapas digitales de elevación (creados a partir de la estructura a partir del movimiento , abajo).

Mapa de elevación digital construido a partir de imágenes recopiladas por un dron el 27 de junio de 2021.FOTO: ROBIN R. MURPHY

Estos mapas se recolectaron cada dos a cuatro horas durante el día, con FSU volando un promedio de 15,75 misiones por día durante las primeras dos semanas de la respuesta. Los últimos mapas de ortomosaicos fueron descargados al comienzo de un turno por los respondedores tácticos para usarlos como mapas base en sus dispositivos móviles. Además, una reconstrucción en 3D del estado del colapso el 4 de julio se voló la tarde antes de que se demoliera la parte en pie, que se muestra a continuación.

Reconstrucción GeoCam 3D del colapso el 4 de julio de 2021. FOTO: ROBIN R. MURPHY

Las funciones de mapeo son notables porque requieren un software especializado para la recopilación y el posprocesamiento de datos, además de la velocidad del software de posprocesamiento que se basa en la conectividad inalámbrica. Con el fin de unir y fusionar imágenes sin espacios o desalineaciones importantes, se utilizan paquetes de software dedicados para generar rutas de vuelo y volar y disparar de forma autónoma la captura de imágenes con una cobertura suficiente del colapso y superposición entre imágenes.

Coordinación de Drones en Sitio

Los activos aéreos se coordinaron libremente a través de las redes sociales. Todos los equipos de drones y los funcionarios de la Administración Federal de Aviación (FAA) compartieron un chat grupal de WhatsApp administrado por MDFR. WhatsApp ofrecía facilidad de uso, compatibilidad con los teléfonos inteligentes y dispositivos móviles de todos, y facilidad para agregar pilotos. La facilidad para agregar pilotos fue importante porque muchos no eran de MDFR y, por lo tanto, no estarían en ningún sistema de coordinación orientado al personal. Los pilotos no tuvieron reuniones físicas o sesiones informativas en su conjunto, aunque los equipos de operaciones tácticas y estratégicas compartieron un espacio común (apodado “Zona de drones”) mientras que el Instituto Nacional de Estándares y Tecnología los equipos trabajaron desde una ubicación de preparación separada. Si un piloto era aprobado por el capitán de drones MDFR que se desempeñaba como “jefe aéreo”, se lo invitaba al chat grupal de WhatsApp y luego podía comenzar a volar de inmediato sin reunirse físicamente con los otros pilotos.

Los equipos volaron de forma simultánea e independiente sin restricciones rígidas y pre-especificadas de altitud o área. Un equipo publicaría que estaban despegando para volar en qué área del colapso y a qué altitud y luego publicaría cuando aterrizaron. La solución más fácil fue que los pilotos conocieran los drones de los demás y ajustaran sus misiones, pausar o aplazar temporalmente los vuelos. Si un piloto se olvidaba de publicar, alguien enviaba un chat de provocación provocando una rápida disculpa.

Se produjeron incursiones de aviones civiles tripulados y no tripulados en el espacio aéreo restringido. Si los observadores de la FAA u otros pilotos vieron un dron volando que no se contabilizó en el chat, es decir, que cinco drones eran visibles sobre el área pero solo cuatro estaban publicados, o si un piloto de drones viera un dron en un área inesperada, lo harían publicar una consulta preguntando si alguien se había olvidado de publicar o actualizar un vuelo. Si el avión no tripulado seguía sin ser contabilizado, la FAA supondría que un avión no tripulado civil había violado las restricciones temporales de vuelo y buscaría en el área circundante al piloto infractor.

Lecciones preliminares aprendidas

Si bien los datos y el rendimiento de los drones aún se están analizando, han surgido algunas lecciones aprendidas que pueden ser valiosas para las comunidades de robótica, inteligencia artificial e ingeniería.

Las operaciones tácticas y estratégicas durante la fase de respuesta favorecieron plataformas pequeñas, económicas y fáciles de transportar con cámaras que soportaban una estructura gruesa del movimiento en lugar de sistemas más grandes y costosos. La precisión adicional de los sistemas LIDAR no fue necesaria para esas misiones, aunque la mayor precisión y resolución de dichos sistemas fueron valiosas para el análisis estructural forense. Para las operaciones tácticas y estratégicas, los beneficios de LIDAR no valían los costos de capital y la carga logística. De hecho, los drones de consumo de uso general que podían volar de día o de noche, en interiores y exteriores, y tanto para misiones de mapeo como de vista en primera persona, eran muy preferidos a los drones especializados. La confiabilidad de un dron fue otro factor importante en la elección de un modelo específico para el campo. favoreciendo nuevamente a los drones de consumidores , ya que suelen tener cientos de miles de horas de vuelo más que los drones especializados o novedosos. Los drones atados ofrecen algunas ventajas para la supervisión, pero muchas misiones de operaciones tácticas requieren una gran movilidad. El mapeo estratégico requiere volar directamente sobre toda el área que se está mapeando.

Si bien los drones de uso general pequeños y económicos ofrecen muchas ventajas, podrían mejorarse aún más para volar de noche y en interiores. Sería útil disponer de una zona de iluminación más amplia. También sería útil un área de cobertura de 360 ​​grados (esférica) para evitar obstáculos para trabajar en interiores o en altitudes bajas y cerca de áreas de trabajo irregulares y personas cercanas, especialmente de noche. Los sistemas como el Flyability ELIOS 2 están diseñados para volar en áreas interiores estrechas y muy abarrotadas, pero no había modelos disponibles para la respuesta inmediata. Los sistemas de cámaras de drones deben poder mirar hacia arriba para inspeccionar la parte inferior de estructuras o techos. Los mecanismos para determinar la ubicación GPS precisa de un píxel en una imagen, no solo la ubicación GPS del dron, se están volviendo cada vez más deseables.

Otras tecnologías podrían beneficiar a la empresa, pero enfrentan desafíos. La visión por computadora / aprendizaje automático (CV / ML) para buscar víctimas entre los escombros se menciona a menudo como un objetivo posible, pero la búsqueda de víctimas que no se encuentran en la superficie del colapso no está dirigida visualmente. Las partes de las víctimas que no están cubiertas por escombros suelen estar camufladas con polvo gris, por lo que las búsquedas tienden a favorecer a los caninos con olor. Otro desafío para los métodos CV / ML es la falta de acceso a los datos de entrenamiento. La privacidad y las preocupaciones éticas plantean barreras para que la comunidad de investigadores obtenga acceso a imágenes con víctimas entre los escombros, pero es posible que las simulaciones no tengan la suficiente fidelidad.

El colapso proporciona motivación sobre cómo la investigación informática y la interacción humano-computadora y la interacción humano-robot pueden contribuir al uso efectivo de robots durante un desastre, e ilustra que una respuesta no sigue una estructura de mando jerárquica y estrictamente centralizada y las agencias y miembros. de la respuesta no se conocen de antemano. Los sistemas propuestos deben ser flexibles, robustos y fáciles de usar. Además, no está claro si los socorristas aceptarán una aplicación de software totalmente nueva en lugar de conformarse con una aplicación de propósito general como WhatsApp que la mayoría usa habitualmente para otros fines.

La mayor lección aprendida es que los robots son útiles y justifican una mayor inversión, en particular porque muchos estados de EE. UU. Están proponiendo terminar la compra de los mismos modelos de drones que fueron tan efectivos sobre las preocupaciones de ciberseguridad.

Sin embargo, la mayor lección aprendida es que los robots son útiles y justifican una mayor inversión, en particular porque muchos estados de EE. UU. Están proponiendo terminar la compra de los mismos modelos de drones que fueron tan efectivos sobre las preocupaciones de ciberseguridad. Queda mucho trabajo por hacer por parte de investigadores, fabricantes y gestión de emergencias para hacer que estas tecnologías críticas sean más útiles para entornos extremos. Nuestro trabajo actual se centra en la creación de conjuntos de datos y documentación de código abierto y en la realización de un análisis más exhaustivo para acelerar el proceso.

Valor de los drones

El uso generalizado de los drones indica su valor implícito para responder y documentar el desastre. Es difícil cuantificar el impacto de los drones, similar a las dificultades para cuantificar el impacto de un camión de bomberos en la extinción de incendios o el uso de dispositivos móviles en general. En pocas palabras, los drones no se habrían utilizado más allá de unos pocos vuelos si no fueran valiosos.

El impacto de los drones en las operaciones tácticas fue inmediato, ya que a su llegada MDFR voló drones para evaluar el alcance del colapso. La iluminación de los camiones de bomberos iluminó principalmente el lado de la calle de la parte de pie del edificio, mientras que los drones, sin restricciones de calles o escombros, expandieron rápidamente la conciencia de la situación del desastre. Los drones se utilizaron para optimizar la colocación del agua para sofocar los incendios en los escombros. El impacto del uso de drones para otras actividades tácticas es más difícil de cuantificar, pero los vuelos frecuentes y los pilotos que permanecen en espera las 24 horas del día, los 7 días de la semana, indican su valor.

El impacto de los drones en las operaciones estratégicas también fue considerable. Los datos recopilados por los drones y luego procesados ​​en mapas 2D y modelos 3D se convirtieron en una parte fundamental de las operaciones de US&R, así como una parte de la investigación incipiente sobre por qué falló el edificio. Durante las operaciones iniciales, DIRT proporcionó mapas 2D a los equipos de US&R cuatro veces al día. Estos mapas se convirtieron en las capas base de las aplicaciones móviles utilizadas en la pila para marcar la ubicación de restos humanos, miembros estructurales del edificio, efectos personales u otra información identificable. Las ortofotos actualizadas fueron fundamentales para la precisión de estos informes. Estas aplicaciones que se ejecutan en dispositivos móviles sufrían problemas de precisión del GPS, a menudo con errores de hasta diez metros. Al tener imágenes base que tenían solo unas horas, los usuarios de aplicaciones móviles podían ‘arrastrar el marcador’ en la aplicación móvil a una ubicación de informe más precisa en la pila, todo mediante la visualización de dónde se encontraban en comparación con imágenes de UAS nuevas. Sin esta capacidad, ninguno de los datos de campo del GPS sería de utilidad para US&R o los investigadores que buscan por qué ocurrió el colapso estructural. Además de servir como capa base en aplicaciones móviles, las imágenes de mapas actualizadas se utilizaron en todos los tableros tácticos, operativos y estratégicos por los equipos individuales de US&R, así como el Equipo de Soporte de Incidentes (IST) de FEMA US&R en el sitio para ayudar en la gestión. del incidente. R o investigadores que buscan por qué ocurrió el colapso estructural. Además de servir como capa base en aplicaciones móviles, las imágenes de mapas actualizadas se utilizaron en todos los tableros tácticos, operativos y estratégicos por los equipos individuales de US&R, así como el Equipo de Soporte de Incidentes (IST) de FEMA US&R en el sitio para ayudar en la gestión. del incidente. R o investigadores que buscan por qué ocurrió el colapso estructural. Además de servir como capa base en aplicaciones móviles, las imágenes de mapas actualizadas se utilizaron en todos los tableros tácticos, operativos y estratégicos por los equipos individuales de US&R, así como el Equipo de Soporte de Incidentes (IST) de FEMA US&R en el sitio para ayudar en la gestión. del incidente.

Además de los mapas 2D y las ortofotos, se crearon modelos 3D a partir de los datos de los drones y los expertos en estructuras los utilizaron para planificar las operaciones, incluida la identificación de áreas con altas probabilidades de encontrar sobrevivientes o víctimas. Los datos tridimensionales creados mediante el pos-procesamiento también respaldaron la demanda de estimaciones volumétricas actualizadas: cuánto material se retiraba de la pila y cuánto quedaba. Estas métricas proporcionaron indicaciones claras del progreso a lo largo de las operaciones.

Expresiones de gratitud

Partes de este trabajo fueron respaldadas por las subvenciones de la NSF IIS-1945105 y CMMI-2140451. Cualquier opinión, hallazgo y conclusión o recomendación expresada en este material pertenece a los autores y no necesariamente refleja los puntos de vista de la National Science Foundation. .

Los autores expresan su más sentido pésame a las familias de las víctimas.