Home Blogs Edge ai : Comment ça marche
Applications

About The Author

Outline

Les applications d’IA d’entreprise en temps réel dans divers secteurs industriels nécessitent une plateforme de données exploitables en temps réel et d’informations ML avec une interconnexion agnostique dans le cloud. Edge ai de Verizon Media est une plate-forme spécialement conçue pour aider les clients à l’intersection de la gestion des données et des opérations d’apprentissage automatique (MLOps), afin qu’ils puissent opérer sur une infrastructure hétérogène à l’échelle mondiale. Déplacer l’intelligence artificielle à la périphérie du réseau permet de prendre des décisions et des actions en temps quasi réel. Cela ouvre une gamme d’applications passionnantes et transformatrices dans les segments industriels et grand public, que nous avons décrites dans le premier billet de blog de cette série.

À bien des égards, comme nous l’expliquerons, l’objectif de Edge ai est de connecter tous les éléments nécessaires à la conception, au développement et au déploiement d’applications d’IA commerciales en périphérie pour permettre des cas d’utilisation en entreprise en temps réel. Cela inclut notre réseau de diffusion de contenu (CDN), avec seulement 10-25 millisecondes de latence pour pratiquement tous les utilisateurs d’Internet dans le monde, notre technologie 5G sur site, une couche aPaaS (plate-forme applicative en tant que service) extensible, la gestion des données dans le cloud, une sécurité complète et une surveillance et des analyses approfondies.

Dès le début du processus de développement Edge ai, notre vision était de créer une plate-forme conteneurisée légère indépendante de l’infrastructure avec une interconnexion agnostique dans le cloud pour fournir des données exploitables en temps réel et des informations d’apprentissage automatique à la périphérie. Cette vision, à son tour, nous a aidés à respecter les objectifs et les décisions technologiques pour la plateforme, comme indiqué dans la figure ci-dessous.

Figure 1. Éléments architecturaux Edge ai.

Ces neuf éléments jouent un rôle essentiel dans la réalisation de la plate-forme Edge ai et sont essentiels à son succès au fur et à mesure que les solutions commerciales sont déployées en production. Examinons de plus près ces éléments, en travaillant de bas en haut.

  1. ‍Infrastructure : Kubernetes et les conteneurs étaient les choix évidents pour la haute disponibilité, la latence ultra-faible et le déploiement rapide de modèles ai/ML à la périphérie. Kubernetes est une plate-forme open source portable, extensible et indépendante de l’infrastructure pour la gestion des charges de travail et des services conteneurisés. Nos conteneurs sont basés sur la plateforme Docker, un moyen efficace de packaging et de livraison de logiciels, et fonctionnent sur les services Kubernetes gérés fournis par les principaux fournisseurs de cloud comme AWS, Microsoft Azure et Google.

  2. Ingestion de données : pour que les modèles ai/ML puissent évoluer et atteindre leur potentiel, les données doivent circuler de l’ingestion vers plusieurs systèmes en aval, comme un tableau de bord pour l’analyse et la surveillance ou des fichiers Apache Hadoop pour la formation des modèles. Pour cette fonction, nous utilisons Apache Kafka, qui offre l’ingestion de données en temps réel, l’intégration, la messagerie et pub/sub à grande échelle. La couche d’ingestion de données multipartites qui en résulte fournit une latence d’une milliseconde, une livraison garantie et une prise en charge de la limitation.

  3. Stockage de données à latence ‍Low : le stockage de données joue un rôle important dans Edge ai en raison de son besoin de latence inférieure à la seconde, de débit élevé et d’une couche de stockage de données à faible encombrement, ainsi que de la possibilité de synchroniser à nouveau avec diverses plateformes cloud pour le stockage et les informations historiques. Ici, nous nous sommes tournés vers le système de base de données Redis NoSQL. Les bases de données NoSQL, telles que Redis, sont moins structurées que les bases de données relationnelles. De plus, ils sont plus flexibles et peuvent mieux évoluer, ce qui en fait la solution idéale pour cette application.

  4. ‍Data traitement : le traitement de flux en temps réel est requis dans Edge ai pour capturer des événements provenant de diverses sources, détecter des conditions complexes et publier sur divers points de terminaison en temps réel. Nous utilisons le processeur d’événements complexes Siddhi (CEP). Il s’agit d’un système CEP open source, natif du cloud, évolutif et micro-streaming capable de créer des applications orientées événements pour des cas d’utilisation tels que l’analyse en temps réel, l’intégration de données, la gestion des notifications et la prise de décision adaptative.

  5. Service ‍AI/ML : la plate-forme Edge ai fournit un déploiement ai/ML complet et une gestion du cycle de vie sur l’infrastructure cloud et Edge en temps réel via le framework open source Seldon.io. Il prend en charge plusieurs boîtes à outils et langages hétérogènes.

  6. ‍Data visualisation : les visualisations pour l’analyse en temps réel et le tableau de bord sont construites à l’aide du tableau de bord Grafana et des services REST Node.js développés sur mesure pour les requêtes en temps réel des magasins de données Redis.

  7. ‍ML formation et cas d’utilisation : la plateforme Edge ai prend en charge les frameworks ML les plus populaires, y compris SCI-kit-Learn, TensorFlow, Keras et PyTorch, et fournit une gestion complète du cycle de vie des modèles. Une fois les modèles développés et testés, ils sont formés à l’aide d’ensembles de données volumineux, conditionnés et finalement déployés de manière transparente à la périphérie.

  8. sécurité et gouvernance : la sécurité est intégrée à l’ensemble de la plate-forme Edge ai. Il peut prendre en charge des structures de sécurité personnalisables, est indépendant des scénarios de déploiement client et est interopérable dans le cadre d’une stratégie multi-cloud.

  9. ‍Monitoring et orchestration : nous réalisons l’orchestration du cloud à la périphérie via le pipeline ci/CD en utilisant des outils tels qu’Argo CD, un outil de livraison continue pour Kubernetes. Notre objectif était de rendre le déploiement d’applications Edge ai et la gestion du cycle de vie automatisés, auditables et faciles à comprendre.

‍Platform architecture de référence

Si vous avez un aperçu des technologies en jeu dans la plateforme Edge ai, voyons comment elles ‍Now intègrent. Comme le montre la figure ci-dessous, l’architecture de la plate-forme Edge ai comprend trois parties principales :

  1. Ingestion et traitement de données

  2. Formation du modèle

  3. Modéliser le déploiement et le service

Les modèles sont formés sur le cloud et servis en périphérie pour des cas d’utilisation en temps réel. L’inférence par lots, qui n’est pas dépendante du temps, a lieu dans le nuage.

Figure 2. Edge ai : architecture de référence.

Contrairement aux applications traditionnelles, qui peuvent être implémentées, déployées et parfois mises à jour, les applications ai/ML apprennent et s’améliorent constamment. La plate-forme comporte trois workflows principaux qui nous aident à accomplir les tâches ci-dessus :

  1. Workflow de streaming en temps réel : c’est là que la fonction principale de l’application a lieu. Un CEP capture et traite les données en continu et analyse intelligemment les informations ou les conditions d’erreur. Le CEP extrait des caractéristiques ou des informations remarquables du flux brut de données entrantes et les envoie aux modèles formés pour analyse. En temps réel, les prédictions sont renvoyées au moteur de règles CEP pour agrégation. Si certaines conditions sont remplies, des mesures sont prises, telles que l’arrêt d’un système externe ou l’alerte d’un opérateur de machine en cas de défaillance potentielle. Toutes les prédictions et inférences en temps réel sont transmises au cloud hors ligne pour une surveillance et une évaluation ultérieures. C’est dans ce domaine que les fonctionnalités sont mises à jour en fonction de l’évolution des données, ce qui permet aux clients de réaliser l’ingénierie des fonctionnalités intégrée au pipeline d’apprentissage automatique décrit dans la figure 4 ci-dessous.

  2. Flux de travail à la demande avec lots de données : les systèmes externes tels que la recommandation ou la personnalisation peuvent intégrer des modèles dans la plate-forme Edge. Ceux-ci sont exposés en tant que points de terminaison REST ou GRPC via une passerelle API intégrée, permettant des appels d’inférence et des prédictions en temps réel.

  3. ‍Historical flux de travail Insights : toutes les données (brutes, agrégées et prédictions) sont stockées dans un magasin en mémoire dans la plate-forme Edge. Ces données sont synchronisées périodiquement avec les plateformes cloud via des connecteurs cloud. Une fois que les données atterrissent dans le cloud, elles sont utilisées pour reformer et faire évoluer les modèles pour une amélioration continue. Les modèles reformés suivent un cycle de vie complet, de la formation au suivi en passant par la publication sur le cloud. Les modèles publiés sont ensuite distribués de manière transparente à la plate-forme périphérique dans le cadre d’un déploiement continu. Les aperçus historiques et l’inférence par lots sont effectués dans le cloud.

Ingestion, traitement et stockage de Edge ai

‍One un des aspects les plus importants d’une solution d’IA/ML est la capacité de capturer et de stocker des données avec rapidité et efficacité. Les volumes de données peuvent être massifs pour certaines applications, telles que les capteurs IoT. Pour vous donner une idée de l’échelle, IDC prévoit que les appareils IoT généreront à eux seuls près de 80 zettaoctets de données d’ici 2025.

Pour prendre en charge les volumes de données les plus massifs, la plateforme Edge ai, comme illustré ci-dessous, prend en charge plusieurs sources d’ingestion (IoT, vidéo, localisation et capteurs), protocoles et fournisseurs d’ingestion. Il prend également en charge un débit élevé avec une faible latence (millions d’événements/seconde avec une latence de 10 ms).

Figure 3. Ingestion, traitement et stockage de plate-forme.

À mesure que les données vidéo, IoT ou de capteur arrivent, la couche d’ingestion utilise une limitation intégrée pour garantir la livraison des données et éviter les conditions de débordement. Un courtier de messages envoie les données entrantes au moteur de flux/événements, où elles sont transformées, enrichies ou nettoyées avant de passer au magasin de mémoire. Une fois que les données sont dans le magasin de mémoire, elles sont périodiquement synchronisées avec le magasin cloud distribué. Les outils de visualisation fournissent des analyses en temps réel et des tableaux de bord opérationnels à l’aide des données du magasin de mémoire.

‍Machine pipeline d’apprentissage

‍Machine l’apprentissage repose sur des algorithmes ; à moins que vous ne soyez un scientifique des données ou un expert EN ML, ces algorithmes sont très compliqués à comprendre et à travailler. C’est là qu’intervient un cadre d’apprentissage automatique, permettant de développer facilement des modèles ML sans une compréhension approfondie des algorithmes sous-jacents. Alors que TensorFlow, PyTorch et SCI-kit-Learn sont sans doute les frameworks ML les plus populaires aujourd’hui, ce n’est peut-être pas le cas à l’avenir, il est donc important de choisir le meilleur framework pour l’application envisagée.

À cette fin, la plate-forme Edge ai prend en charge une gamme complète de frameworks ML pour la formation de modèles, l’ingénierie de fonctionnalités et le service. Comme le montre la figure ci-dessous, Edge ai prend en charge la gestion complète du cycle de vie des modèles, y compris la formation, le suivi, le packaging et le service.

Figure 4. Pipeline d’apprentissage automatique.

Examinons le flux de travail typique de machine learning sur la plate-forme Edge ai. Tout d’abord, vous exploitez le framework ML DE choix pour créer un modèle dans un environnement local. Une fois le modèle assemblé, les tests commencent avec de petits ensembles de données, et les expériences sont capturées à l’aide d’outils de cycle de vie du modèle tels que MLflow et Sagemaker. Après les tests initiaux, le modèle est prêt à être entraîné dans le cloud sur des ensembles de données plus importants, avec un réglage des hyperparamètres. Les versions des modèles sont stockées dans des référentiels de modèles sur le cloud.

Une fois que le modèle a été entièrement formé dans le cloud, l’étape suivante est le déploiement initial en périphérie pour des tests supplémentaires. Le modèle est ensuite soumis à des tests finaux et le packaging – et basé sur certains déclencheurs de déploiement à la périphérie – est extrait du cloud et déployé de manière transparente sur la plate-forme de périphérie. Les métriques des modèles sont collectées en continu et envoyées au cloud pour un ajustement et une évolution ultérieurs des modèles.

‍Platform servir et surveiller

‍For flexibilité maximale dans la sélection et la prise en charge DU framework ML, la plate-forme Edge ai utilise des points de terminaison REST ou GRPC pour servir les modèles en temps réel. Une vue d’ensemble de l’architecture de service et de surveillance est présentée ci-dessous.

Figure 5. Edge ai peut servir des modèles créés avec tout type de cadre d’apprentissage automatique.

Les outils d’intégration continue de notre plateforme tels que Jenkins X permettent de pousser les modèles vers le magasin de modèles à la périphérie à l’aide de déclencheurs de déploiement. Un outil de déploiement continu comme Argo CD est utilisé pour extraire l’image du modèle du référentiel et déployer chaque modèle en tant que pod autonome.

Les modèles déployés sont servis à l’aide de Seldon avec une interface REST/GRPC et la charge est équilibrée derrière une passerelle API. Les clients envoient des appels REST/GRPC à la passerelle API pour générer des prédictions. La gestion des modèles et les métriques sont fournies à l’aide de Seldon, et la journalisation et la surveillance sont effectuées à l’aide d’ELK Stack et/ou Prometheus.

L’intégration de l’IA et de la capacité de calcul, combinée à des services cloud directement à la périphérie du réseau, permet aux organisations de mettre sur le marché des cas d’utilisation d’entreprise en temps réel de plus en plus sophistiqués et transformateurs. Comme décrit dans cet article, la plate-forme Edge ai aide à opérationnaliser l’IA d’entreprise en temps réel à grande échelle et réduit considérablement les obstacles à la mise en œuvre d’un large éventail d’applications ML en temps réel. Cela permet aux clients d’accélérer la mise en œuvre des pilotes et d’évoluer efficacement des pilotes à la production.

Dans le prochain dernier volet de cette série de blogs en trois parties, nous explorerons le processus de conception et de déploiement de solutions basées sur la plate-forme Edge ai et fournirons des exemples de solutions Edge ai dans les domaines de l’analyse prédictive, de la fabrication intelligente et de la logistique.

‍Contact nous pour en savoir plus sur la façon dont votre application pourrait bénéficier de notre plateforme Edge ai.

Pour lire le premier blog de cette série, cliquez ici.