Las aplicaciones de IA empresarial en tiempo real en varios sectores industriales requieren una plataforma de datos procesables y conocimientos de ML EN tiempo real con interconexión independiente de la nube. Edge AI de Verizon Media es una plataforma diseñada específicamente para ayudar a los clientes en la intersección de las operaciones de gestión de datos y aprendizaje automático (MLOps), para que puedan operar en una infraestructura heterogénea a escala global. Trasladar la inteligencia artificial al perímetro de la red permite tomar decisiones y acciones casi en tiempo real. Esto abre una gama de aplicaciones interesantes y transformadoras en los segmentos industriales y de consumo, que describimos en la primera entrada de blog de esta serie.
En muchos sentidos, como explicaremos, el propósito de Edge AI es conectar todos los elementos necesarios para diseñar, desarrollar e implementar aplicaciones comerciales de IA en el perímetro para habilitar casos de uso empresariales en tiempo real. Esto incluye nuestra red de entrega de contenido (CDN), con solo 10-25 milisegundos de latencia para prácticamente todos los usuarios de Internet en todo el mundo, nuestra tecnología 5G local, una capa de plataforma de aplicaciones extensible como servicio (aPaaS), gestión de datos en la nube, seguridad integral y monitoreo y análisis en profundidad.
Desde el principio del proceso de desarrollo de Edge AI, nuestra visión era crear una plataforma contenedorizada ligera y independiente de la infraestructura con interconexión independiente de la nube para ofrecer datos procesables y conocimientos de aprendizaje automático en el perímetro. Esta visión, a su vez, nos ayudó a adherirnos a los objetivos y decisiones tecnológicas para la plataforma, como se describe en la figura siguiente.
Gráfico 1. Edge AI elementos arquitectónicos.
Estos nueve elementos juegan un papel esencial para hacer posible la plataforma Edge AI y son críticos para su éxito a medida que las soluciones comerciales se implementan en la producción. Echemos un vistazo más de cerca a estos elementos, trabajando de abajo hacia arriba.
-
Infrastructure: Kubernetes y contenedores fueron las opciones obvias para alta disponibilidad, latencia ultra baja y rápido despliegue de modelos de IA/ML en el perímetro. Kubernetes es una plataforma portátil, extensible y de código abierto para la gestión de cargas de trabajo y servicios en contenedores. Nuestros contenedores se basan en la plataforma Docker, una forma eficiente de empaquetar y entregar software, y trabajan en servicios gestionados de Kubernetes proporcionados por proveedores líderes en la nube como AWS, Microsoft Azure y Google.
-
Ingestión de datos: Para que los modelos de IA/ML evolucionen y alcancen su potencial, los datos deben fluir desde la ingesta a múltiples sistemas posteriores, como un panel de control para análisis y monitoreo o archivos basados en Apache Hadoop para la formación de modelos. Para esta función, utilizamos Apache Kafka, que ofrece ingestión de datos en tiempo real, integración, mensajería y pub/sub a escala. La capa de ingestión de datos multipartidarios resultante proporciona latencia de milisegundos, entrega garantizada y soporte para la aceleración.
-
Almacenamiento de datos de latencia Low: El almacenamiento de datos juega un papel importante en la IA Edge debido a su necesidad de latencia de sub-segundo, alto rendimiento y una capa de almacenamiento de datos de baja huella, junto con la capacidad de sincronizar de nuevo con varias plataformas en la nube para almacenamiento e información histórica. Aquí, recurrimos al sistema de base de datos Redis NoSQL. Las bases de datos NoSQL, como Redis, están menos estructuradas que las bases de datos relacionales. Además, son más flexibles y pueden escalar mejor, lo que los convierte en la solución ideal para esta aplicación.
-
Data Procesamiento: El procesamiento de secuencias en tiempo real es necesario en Edge AI para capturar eventos de diversas fuentes, detectar condiciones complejas y publicar en diversos puntos finales en tiempo real. Estamos utilizando el procesador de eventos complejo Siddhi (CEP). Es un sistema CEP de código abierto, nativo de la nube, escalable y microstreaming capaz de crear aplicaciones basadas en eventos para casos de uso como análisis en tiempo real, integración de datos, gestión de notificaciones y toma de decisiones adaptativas.
-
Servicio AI/ML: La plataforma Edge AI proporciona una implementación completa de AI/ML y una gestión del ciclo de vida en la nube y la infraestructura de edge en tiempo real a través del marco de código abierto Seldon.io. Soporta múltiples kits de herramientas e idiomas heterogéneos.
-
Data Visualización: Las visualizaciones para análisis en tiempo real y paneles se crean utilizando el panel de control Grafana y los servicios REST de Node.js desarrollados a medida para consultas en tiempo real de los almacenes de datos de Redis.
-
ML Capacitación y casos de uso: La plataforma Edge AI admite los marcos de ML más populares, incluidos SCI-KIT-Learn, TensorFlow, Keras y PyTorch, y proporciona una gestión completa del ciclo de vida del modelo. Una vez que los modelos se desarrollan y prueban, se entrenan utilizando grandes conjuntos de datos, se empaquetan y, en última instancia, se implementan sin problemas en el borde.
-
Seguridad y gobernanza: La seguridad está integrada en toda la plataforma Edge AI. Puede acomodar marcos de seguridad personalizables y es independiente de los escenarios de implementación del cliente y es interoperable a través de una estrategia de múltiples nubes.
-
Monitoring y orquestación: Logramos la orquestación desde la nube hasta el borde a través de la canalización CI/CD utilizando herramientas como Argo CD, una herramienta de entrega continua para Kubernetes. Nuestro objetivo era hacer que el despliegue de aplicaciones Edge AI y la gestión del ciclo de vida fueran automatizados, auditables y fáciles de entender.
Platform Arquitectura de referencia
Now Que tengas una visión general de las tecnologías en juego en la plataforma Edge AI, veamos cómo encajan entre sí. Como se muestra en la figura a continuación, la arquitectura de plataforma Edge AI tiene tres partes principales:
-
Ingestión y procesamiento de datos
-
Modelo de capacitación
-
Despliegue y servicio de modelos
Los modelos se entrenan en la nube y se sirven en el perímetro para casos de uso en tiempo real. La inferenciación por lotes, que no depende del tiempo, tiene lugar en la nube.
Gráfico 2. Edge AI—Arquitectura de referencia.
A diferencia de las aplicaciones tradicionales, que se pueden implementar, implementar y actualizar ocasionalmente, las aplicaciones de IA/ML aprenden y mejoran constantemente. Hay tres flujos de trabajo principales dentro de la plataforma que nos ayudan a lograr lo anterior:
-
Flujo de trabajo de streaming en tiempo real: Aquí es donde tiene lugar la función principal de la aplicación. Un CEP captura y procesa datos en streaming y escanea de forma inteligente en busca de información o condiciones de error. El CEP extrae características o información notable del flujo bruto de datos entrantes y la envía a los modelos entrenados para su análisis. En tiempo real, las predicciones se envían de vuelta al motor de reglas CEP para la agregación. Si se cumplen ciertas condiciones, se toman medidas, como apagar un sistema externo o alertar al operador de una máquina de un posible fallo. Todas las predicciones e inferencias en tiempo real se pasan a la nube offline para una mayor supervisión y evaluación. Esta área es donde las características se actualizan en función de la evolución de los datos que permiten a los clientes hacer ingeniería de características integrada con la canalización de aprendizaje automático que se describe en la Figura 4 a continuación.
-
Flujo de trabajo bajo demanda con lotes de datos: Los sistemas externos, como la recomendación o la personalización, pueden integrar modelos dentro de la plataforma EDGE. Estos se exponen como endpoints REST o gRPC a través de una puerta de enlace API integrada, lo que permite llamadas de inferencia en tiempo real y predicciones.
-
Historical Insights Workflow: Todos los datos (RAW, Agregados y Predicciones) se almacenan dentro de un almacén en memoria en la plataforma EDGE. Estos datos se sincronizan periódicamente con las plataformas en la nube a través de conectores en la nube. Una vez que los datos aterrizan en la nube, se utilizan para reentrenar y desarrollar modelos para una mejora continua. Los modelos reentrenados siguen un ciclo de vida completo, desde el entrenamiento hasta el seguimiento y la publicación en la nube. Los modelos publicados se sirven a la perfección a la plataforma EDGE en un despliegue continuo. Los conocimientos históricos y la inferenciación por lotes se realizan en la nube.
Edge AI Ingestión, procesamiento y almacenamiento
One Uno de los aspectos más importantes de una solución AI/ML es la capacidad de capturar y almacenar datos con velocidad y eficiencia. Los volúmenes de datos pueden ser masivos para algunas aplicaciones, como los sensores IoT. Para darte una idea de la escala, IDC predice que los dispositivos IoT por sí solos generarán casi 80 zettabytes de datos para 2025.
Para soportar incluso los volúmenes de datos más masivos, la plataforma Edge AI, como se muestra a continuación, admite múltiples fuentes de ingestión (IoT, video, ubicación y sensores), protocolos y proveedores de ingestión. También soporta alto rendimiento con baja latencia (millones de eventos/segundo con latencia de 10 ms).
Gráfico 3. Plataforma de ingestión, procesamiento y almacenamiento.
A medida que llegan los datos de vídeo, IoT o sensores entrantes, la capa de ingestión utiliza la regulación integrada para garantizar la entrega de datos y evitar condiciones de desbordamiento. Un agente de mensajes entrega los datos entrantes al motor de secuencias/eventos, donde se transforman, enriquecen o limpian antes de pasar al almacén de memoria. Una vez que los datos están en el almacén de memoria, se sincronizan periódicamente con el almacén distribuido en la nube. Las herramientas de visualización proporcionan análisis en tiempo real y paneles operativos utilizando datos en el almacén de memoria.
Machine Pipeline de aprendizaje
Machine El aprendizaje se basa en algoritmos; a menos que seas un científico de datos o experto EN ML, estos algoritmos son muy complicados de entender y trabajar. Ahí es donde entra en juego un marco de aprendizaje automático, lo que permite desarrollar fácilmente modelos de ML sin una comprensión profunda de los algoritmos subyacentes. Si bien TensorFlow, PyTorch y sci-kit-learning son posiblemente los marcos de ML más populares hoy en día, es posible que no sea el caso en el futuro, por lo que es importante elegir el mejor marco para la aplicación prevista.
Con este fin, la plataforma Edge AI admite una gama completa de marcos de ML para el entrenamiento de modelos, la ingeniería de características y el servicio. Como se muestra en la figura a continuación, Edge AI admite la gestión completa del ciclo de vida del modelo, incluida la capacitación, el seguimiento, el empaquetado y el servicio.
Gráfico 4. Pipeline de aprendizaje automático.
Veamos el flujo de trabajo típico de aprendizaje automático en la plataforma Edge AI. En primer lugar, usted aprovecha el marco de ML de elección para crear un modelo en un entorno local. Una vez que el modelo está unido, las pruebas comienzan con pequeños conjuntos de datos, y los experimentos se capturan utilizando herramientas de ciclo de vida del modelo como MLflow y SageMaker. Después de las pruebas iniciales, el modelo está listo para ser entrenado en la nube en conjuntos de datos más grandes, junto con el ajuste de hiperparámetros. Las versiones de modelos se almacenan en repositorios de modelos en la nube.
Una vez que el modelo ha sido completamente entrenado en la nube, el siguiente paso es la implementación inicial en el perímetro para realizar pruebas adicionales. Luego, el modelo se somete a pruebas y empaquetado finales, y basado en ciertos desencadenadores de implementación en el borde, se extrae de la nube y se implementa sin problemas en la plataforma EDGE. Las métricas del modelo se recopilan continuamente y se envían a la nube para un mayor ajuste y evolución del modelo.
Platform Servir y monitorear
For Máxima flexibilidad en la selección y el soporte del marco ML, la plataforma Edge AI utiliza puntos finales REST o gRPC para servir modelos en tiempo real. A continuación se presenta una visión general de la arquitectura de servicio y supervisión.
Gráfico 5. Edge AI puede servir modelos creados con cualquier tipo de marco de aprendizaje automático.
Las herramientas de integración continua de nuestra plataforma, como Jenkins X, permiten que los modelos sean empujados a la tienda de modelos en el borde mediante disparadores de implementación. Una herramienta de implementación continua como Argo CD se utiliza para extraer la imagen del modelo del repositorio e implementar cada modelo como un pod autónomo.
Los modelos implementados se sirven usando Seldon con una interfaz REST/gRPC y carga balanceada detrás de una puerta de enlace API. Los clientes envían llamadas REST/gRPC a la puerta de enlace API para generar predicciones. La administración de modelos y las métricas se proporcionan utilizando Seldon, y el registro y la supervisión se realizan utilizando ELK Stack y/o Prometheus.
La integración de IA y capacidad de cómputo, combinada con servicios en la nube directamente en el perímetro de la red, permite a las organizaciones llevar al mercado casos de uso empresariales en tiempo real cada vez más sofisticados y transformadores. Como se describe en esta publicación, la plataforma Edge AI ayuda a operacionalizar la IA empresarial en tiempo real a escala y reduce significativamente los obstáculos de dar vida a una amplia gama de aplicaciones DE ML en tiempo real. Esto permite a los clientes acelerar la implementación de los pilotos y escalar eficazmente desde los pilotos hasta la producción.
En la próxima entrega final de esta serie de blogs de tres partes, exploraremos el proceso de diseño e implementación de soluciones basadas en la plataforma Edge AI y proporcionaremos ejemplos de clientes de soluciones Edge AI en analítica predictiva, fabricación inteligente y logística.
Contact para obtener más información sobre cómo su aplicación podría beneficiarse de nuestra plataforma Edge AI.
Para leer el primer blog de esta serie, haga clic aquí.
