As aplicações de IA empresarial em tempo real em vários setores industriais exigem uma plataforma de dados acionáveis em tempo real e insights DE ML com interconexão agnóstica em nuvem. O Edge AI da Verizon Media é uma plataforma construída especificamente focada em ajudar os clientes na intersecção entre gestão de dados e operações de aprendizagem automática (MLOps), para que possam operar numa infraestrutura heterogénea a uma escala global. Mover a inteligência artificial para a borda da rede permite que decisões e ações sejam tomadas quase em tempo real. Isso abre uma série de aplicações excitantes e transformadoras nos segmentos industrial e de consumo, que descrevemos no primeiro post do blog desta série.
De muitas maneiras, como explicaremos, o objetivo do Edge AI é ligar todos os elementos necessários para projetar, desenvolver e implantar aplicativos comerciais de IA na borda para permitir casos de uso empresarial em tempo real. Isto inclui a nossa rede de distribuição de conteúdo (CDN), com apenas 10-25 milissegundos de latência para praticamente todos os utilizadores da Internet em todo o mundo, a nossa tecnologia 5G local, uma camada de plataforma de aplicações extensível como serviço (aPaaS), gestão de dados na nuvem, segurança abrangente e monitorização e análise aprofundadas.
Desde o início do processo de desenvolvimento da IA Edge, a nossa visão era criar uma plataforma em contentores leve e independente de infraestrutura com interconexão agnóstica em nuvem para fornecer dados acionáveis e em tempo real e insights de aprendizado de máquina na borda. Esta visão, por sua vez, ajudou-nos a aderir aos objetivos e às decisões tecnológicas para a plataforma, conforme descrito na figura abaixo.
Figura 1. Elementos arquitectónicos Edge IA.
Estes nove elementos desempenham um papel essencial para tornar possível a plataforma Edge IA e são fundamentais para o seu sucesso à medida que as soluções comerciais são implementadas na produção. Vamos dar uma olhada mais de perto nesses elementos, trabalhando de baixo para cima.
-
Infrastructure: O Kubernetes e os containers eram as escolhas óbvias para alta disponibilidade, latência ultra baixa e implementação rápida de modelos de IA/ML para a borda. O Kubernetes agnóstico em infraestrutura é uma plataforma portátil, extensível e de código aberto para o gerenciamento de cargas de trabalho e serviços em contentores. Nossos contentores são baseados na plataforma Docker, uma maneira eficiente de empacotar e entregar software, e trabalhar em serviços gerenciados do Kubernetes fornecidos pelos principais provedores de nuvem, como AWS, Microsoft Azure e Google.
-
Ingestão de dados: Para que os modelos de IA/ML evoluam e alcancem o seu potencial, os dados devem fluir da ingestão para vários sistemas a jusante, tais como um painel para análise e monitorização ou ficheiros baseados no Apache Hadoop para formação de modelos. Para esta função, usamos o Apache Kafka, que oferece ingestão de dados em tempo real, integração, mensagens e pub/sub em escala. A camada de ingestão de dados multipartidários resultante fornece latência de milissegundo, entrega garantida e suporte para limitação.
-
Armazenamento de dados de Low latência: O armazenamento de dados desempenha um papel importante na IA do Edge devido à sua necessidade de latência de sub-segundos, alta taxa de transferência e uma camada de armazenamento de dados de baixo consumo, juntamente com a capacidade de sincronizar de volta para várias plataformas de nuvem para armazenamento e insights históricos. Aqui, viramos para o sistema de banco de dados Redis NoSQL. As bases de dados NoSQL, como o Redis, são menos estruturadas do que as bases de dados relacionais. Além disso, eles são mais flexíveis e podem ser mais dimensionados, tornando-os a solução ideal para esta aplicação.
-
Data Processamento: O processamento de fluxo em tempo real é necessário no Edge AI para capturar eventos de diversas fontes, detetar condições complexas e publicar em diversos terminais em tempo real. Estamos a usar o Processador de Eventos Complexo Siddhi (CEP). É um sistema CEP de código aberto, nativo da nuvem, escalável e de micro-fluxo capaz de criar aplicações orientadas a eventos para casos de uso, como análise em tempo real, integração de dados, gestão de notificações e tomada de decisões adaptativas.
-
AI/ML Serving: A plataforma Edge AI fornece implementação completa de IA/ML e gestão do ciclo de vida na nuvem e na infraestrutura de borda em tempo real através da estrutura de código aberto Seldon.io. Ele suporta vários kits de ferramentas e linguagens heterogéneas.
-
Data visualização: Visualizações para análise em tempo real e dashboarding são construídas usando o painel do Grafana e SERVIÇOS DE DESCANSO personalizados do Node.js para consultas em tempo real de armazenamentos de dados Redis.
-
ML casos de treinamento e uso: A plataforma Edge IA suporta os frameworks DE ML mais populares, incluindo sci-kit-learn, TensorFlow, Keras e PyTorch e fornece gerenciamento completo do ciclo de vida do modelo. Uma vez que os modelos são desenvolvidos e testados, eles são treinados usando grandes conjuntos de dados, empacotados, e finalmente implantados perfeitamente na borda.
-
Segurança e governança: A segurança está integrada em toda a plataforma de IA da Edge. Ele pode acomodar estruturas de segurança customizáveis e é agnóstico em relação aos cenários de implantação do cliente e é interoperável através de uma estratégia multi-nuvem.
-
Monitoring e orquestração: Conseguimos orquestração da nuvem para a borda através do pipeline de CI/CD usando ferramentas como o Argo CD, uma ferramenta de entrega contínua para o Kubernetes. O nosso objetivo era tornar a implementação de aplicações Edge IA e a gestão do ciclo de vida automatizadas, auditáveis e fáceis de compreender.
Platform arquitetura de referência
Se Now tiver uma visão geral das tecnologias em jogo na plataforma Edge AI, vamos ver como elas se encaixam. Como mostrado na figura abaixo, a arquitetura da plataforma Edge AI tem três partes principais:
-
Ingestão e processamento de dados
-
Formação de modelos
-
Implantação e serviço de modelos
Os modelos são treinados na nuvem e servidos no limite para casos de uso em tempo real. A conferência em lote, que não depende do tempo, ocorre na nuvem.
Figura 2. Edge AI – Arquitetura de referência.
Ao contrário das aplicações tradicionais, que podem ser implementadas, implementadas e ocasionalmente atualizadas, as aplicações de IA/ML aprendem e melhoram constantemente. Existem três fluxos de trabalho principais dentro da plataforma que nos ajudam a realizar o acima:
-
Fluxo de trabalho de streaming em tempo real: É aqui que ocorre a função principal da aplicação. Um CEP captura e processa dados em fluxo contínuo e procura informações ou condições de erro de forma inteligente. O CEP extrai recursos ou informações notáveis do fluxo bruto de dados recebidos e envia-os para os modelos treinados para análise. Em tempo real, as previsões são enviadas de volta ao mecanismo de regras do CEP para agregação. Se certas condições forem cumpridas, são tomadas ações, como desligar um sistema externo ou alertar um operador de máquina sobre uma possível falha. Todas as previsões e inferências em tempo real são passadas para a nuvem offline para monitoramento e avaliação adicionais. Esta área é onde os recursos são atualizados com base na evolução dos dados, permitindo que os clientes façam engenharia de recursos integrada ao pipeline de aprendizado de máquina descrito na Figura 4 abaixo.
-
Fluxo de trabalho sob demanda com lotes de dados: Sistemas externos, como recomendação ou personalização, podem incorporar modelos na plataforma de borda. Estes são expostos como endpoints REST ou gRPC através de um gateway de API incorporado, permitindo chamadas e previsões de inferência em tempo real.
-
Historical fluxo de trabalho de insights: Todos os dados (brutos, agregados e previsões) são armazenados dentro de um armazenamento na memória na plataforma de borda. Estes dados são sincronizados periodicamente com as plataformas de nuvem através de conetores de nuvem. Uma vez que os dados pousam na nuvem, eles são usados para retreinar e evoluir modelos para melhoria contínua. Modelos reformados seguem um ciclo de vida completo, desde o treino até ao acompanhamento até à publicação na nuvem. Os modelos publicados são então perfeitamente servidos à plataforma de borda em implementação contínua. Insights históricos e inferência em lote são feitos na nuvem.
Ingestão, processamento e armazenamento de IA de borda
One dos aspetos mais importantes de uma solução de IA/ML é a capacidade de capturar e armazenar dados com velocidade e eficiência. Os volumes de dados podem ser enormes para algumas aplicações, como sensores de Internet das Coisas. Para vos dar uma ideia da escala, o IDC prevê que os dispositivos de Internet das Coisas, por si só, irão gerar cerca de 80 zettabytes de dados até 2025.
Para suportar até mesmo os volumes de dados mais massivos, a plataforma Edge IA, como mostrado abaixo, suporta múltiplas fontes de ingestão (Internet das Coisas, vídeo, localização e sensores), protocolos e fornecedores de ingestão. Também suporta alta taxa de transferência com baixa latência (milhões de eventos/segundo com 10ms de latência).
Figura 3. Ingestão, processamento e armazenamento da plataforma.
À medida que chegam dados de vídeo, Internet das Coisas ou sensores, a camada de ingestão usa a limitação incorporada para garantir a entrega de dados e evitar condições de transbordamento. Um corretor de mensagens envia os dados recebidos para o motor de fluxo/evento, onde é transformado, enriquecido ou limpo antes de se mudar para o armazenamento de memória. Uma vez que os dados estão no armazenamento de memória, são sincronizados periodicamente com o armazenamento distribuído na nuvem. As ferramentas de visualização fornecem análises em tempo real e painéis operacionais usando dados no armazenamento de memória.
Machine canal de aprendizagem
Machine A aprendizagem depende de algoritmos; a menos que você seja um cientista de dados ou ESPECIALISTA EM ML, esses algoritmos são muito complicados de entender e trabalhar. É aí que entra uma estrutura de aprendizagem automática, tornando possível desenvolver facilmente modelos DE ML sem uma compreensão profunda dos algoritmos subjacentes. Embora o TensorFlow, o PyTorch e o SCI-KIT-Learn sejam provavelmente os frameworks DE ML mais populares hoje, isso pode não ser o caso no futuro, por isso é importante escolher a melhor estrutura para a aplicação pretendida.
Para isso, a plataforma Edge IA suporta uma gama completa de frameworks DE ML para treinamento de modelos, engenharia de recursos e serviços. Como mostrado na figura abaixo, o Edge IA suporta uma gestão completa do ciclo de vida do modelo, incluindo treino, acompanhamento, embalagem e serviço.
Figura 4. Pipeline de aprendizagem automática.
Vejamos o fluxo de trabalho típico de aprendizagem de máquina na plataforma Edge IA. Primeiro, você aproveita a estrutura DE ML de escolha para criar um modelo em um ambiente local. Uma vez que o modelo é unido, os testes começam com pequenos conjuntos de dados, e as experiências são capturadas usando ferramentas de ciclo de vida de modelos como o MLflow e o Sagemaker. Após os testes iniciais, o modelo está pronto para ser treinado na nuvem em conjuntos de dados maiores, juntamente com o ajuste de hiperparâmetros. As versões de modelos são armazenadas em repositórios de modelos na nuvem.
Uma vez que o modelo tenha sido totalmente treinado na nuvem, o próximo passo é a implementação inicial na borda para mais testes. O modelo passa então por testes finais e embalagens – e com base em certos gatilhos de implantação na borda – é retirado da nuvem e implementado perfeitamente na plataforma da borda. As métricas dos modelos são recolhidas continuamente e enviadas para a nuvem para um maior ajuste e evolução dos modelos.
Platform Servindo e monitorando
For Flexibilidade máxima na seleção e suporte da estrutura ML, a plataforma Edge IA usa endpoints REST ou gRPC para servir modelos em tempo real. Uma visão geral da arquitetura de serviço e monitoramento é mostrada abaixo.
Figura 5. A IA Edge pode servir modelos criados com qualquer tipo de estrutura de aprendizagem automática.
As ferramentas de integração contínua da nossa plataforma, como o Jenkins X, permitem que os modelos sejam empurrados para a loja de modelos na borda usando gatilhos de implantação. Uma ferramenta de implementação contínua como o Argo CD é usada para extrair a imagem do modelo do repositório e implantar cada modelo como um POD independente.
Os modelos implantados são servidos usando o Seldon com uma interface REST/gRPC e a carga balanceada atrás de um gateway de API. Os clientes enviam CHAMADAS REST/gRPC para o gateway da API para gerar previsões. O gerenciamento de modelos e as métricas são fornecidos usando o Seldon, e o log e o monitoramento são feitos usando O ELK Stack e/ou o Prometheus.
A integração da inteligência artificial e da capacidade de computação, combinada com serviços de nuvem diretamente na borda da rede, permite que as organizações tragam casos de uso empresarial cada vez mais sofisticados e transformadores no mercado. Como descrito neste post, a plataforma Edge IA ajuda a operacionalizar a IA empresarial em tempo real em escala e reduz significativamente os obstáculos de dar vida a uma ampla gama de APLICAÇÕES DE ML em tempo real. Isso permite que os clientes acelerem a implementação de pilotos e escalem eficazmente dos pilotos para a produção.
Na próxima edição final desta série de blogs de três partes, vamos explorar o processo de conceção e implementação de soluções baseadas na plataforma Edge IA e fornecer aos clientes exemplos de soluções Edge IA em análise preditiva, manufatura inteligente e logística.
Contact-nos para saber mais sobre como a sua aplicação pode beneficiar da nossa plataforma Edge IA.
Para ler o primeiro blog desta série, clique aqui.
