KI-Echtzeitanwendungen für Unternehmen in verschiedenen Industriebereichen erfordern eine Echtzeit-Plattform für verwertbare Daten und ML Insights mit Cloud-unabhängiger Vernetzung. Edge AI von Verizon Media ist eine speziell entwickelte Plattform, die Kunden an der Schnittstelle von Datenmanagement und maschinellem Lernen (MLOps) unterstützt, damit sie auf einer heterogenen Infrastruktur auf globaler Ebene arbeiten können. Durch die Verlagerung künstlicher Intelligenz an den Netzwerkrand können Entscheidungen und Maßnahmen nahezu in Echtzeit getroffen werden. Dies eröffnet eine Reihe spannender und transformativer Anwendungen in Industrie- und Verbrauchersegmenten, die wir im ersten Blogbeitrag dieser Serie beschrieben haben.
Wie wir erläutern werden, besteht der Zweck von Edge-KI in vielerlei Hinsicht darin, alle Elemente zu verbinden, die für das Design, die Entwicklung und die Bereitstellung kommerzieller KI-Anwendungen an der Peripherie erforderlich sind, um Enterprise-Anwendungsfälle in Echtzeit zu ermöglichen. Dazu gehören unser Content Delivery Network (CDN) mit einer Latenzzeit von nur 10-25 Millisekunden für praktisch jeden Internetnutzer weltweit, unsere On-Premise-5G-Technologie, eine erweiterbare Application Platform as a Service (aPaaS)-Schicht, Cloud-Datenverwaltung, umfassende Sicherheit sowie umfassende Überwachung und Analyse.
Von Anfang an bestand unsere Vision darin, eine infrastrukturunabhängige, leichte containerisierte Plattform mit Cloud-unabhängiger Vernetzung zu schaffen, um verwertbare Daten und Erkenntnisse aus maschinellem Lernen in Echtzeit an der Peripherie bereitzustellen. Diese Vision wiederum hat uns geholfen, die Ziele und Technologieentscheidungen für die Plattform einzuhalten, wie in der folgenden Abbildung dargestellt.
Abbildung 1. Edge-KI-Architekturelemente.
Diese neun Elemente spielen eine wesentliche Rolle bei der Ermöglichung der Edge KI-Plattform und sind für ihren Erfolg bei der Bereitstellung kommerzieller Lösungen in der Produktion von entscheidender Bedeutung. Sehen wir uns diese Elemente genauer an und arbeiten von unten nach oben.
-
Infrastructure: Kubernetes und Container waren die offensichtlichen Optionen für hohe Verfügbarkeit, extrem niedrige Latenz und schnelle Bereitstellung von KI/ML-Modellen an der Peripherie. Infrastrukturunabhängige Kubernetes ist eine tragbare, erweiterbare Open Source-Plattform zur Verwaltung containerisierter Workloads und Services. Unsere Container basieren auf der Docker-Plattform, einer effizienten Methode zur Paketierung und Bereitstellung von Software und arbeiten mit verwalteten Kubernetes-Diensten führender Cloud-Anbieter wie AWS, Microsoft Azure und Google.
-
Datenaufnahme: Damit KI/ML-Modelle sich weiterentwickeln und ihr Potenzial entfalten können, müssen Daten von der Aufnahme in mehrere nachgelagerte Systeme fließen, z. B. ein Dashboard für Analyse und Überwachung oder Apache Hadoop-basierte Dateien für Modellschulungen. Für diese Funktion verwenden wir Apache Kafka, der Dateneingabe in Echtzeit, Integration, Messaging und Pub/Sub in großem Maßstab ermöglicht. Die resultierende Schicht für die Dateneinspeisung mehrerer Parteien bietet eine Latenzzeit von Millisekunden, eine garantierte Bereitstellung und Unterstützung für Throttling.
-
Low-Latenz Datenspeicher: Datenspeicher spielt eine wichtige Rolle bei Edge KI, da sie Latenzzeiten von weniger als einer Sekunde, einen hohen Durchsatz und eine Datenspeicherschicht mit geringem Platzbedarf benötigt, sowie die Möglichkeit zur Synchronisierung mit verschiedenen Cloud-Plattformen für Speicher und historische Erkenntnisse. Hier wandten wir uns dem Redis NoSQL-Datenbanksystem zu. NoSQL-Datenbanken wie Redis sind weniger strukturiert als relationale Datenbanken. Außerdem sind sie flexibler und können besser skaliert werden, was sie zur idealen Lösung für diese Anwendung macht.
-
Data Verarbeitung: In Edge AI ist eine Echtzeit-Stream-Verarbeitung erforderlich, um Ereignisse aus verschiedenen Quellen zu erfassen, komplexe Bedingungen zu erkennen und in Echtzeit an verschiedenen Endpunkten zu veröffentlichen. Wir verwenden den Siddhi Complex Event Processor (CEP). Es handelt sich um ein Open Source, Cloud-natives, skalierbares Micro-Streaming-CEP-System, das ereignisgesteuerte Anwendungen für Anwendungsfälle wie Echtzeitanalysen, Datenintegration, Benachrichtigungsmanagement und adaptive Entscheidungsfindung erstellen kann.
-
AI/ML-Server: Die Edge-KI-Plattform bietet eine vollständige KI/ML-Bereitstellung und Lebenszyklusverwaltung über die Cloud- und Edge-Infrastruktur in Echtzeit über das Open-Source-Framework Seldon.io. Es unterstützt mehrere heterogene Toolkits und Sprachen.
-
Data Visualisierung: Visualisierungen für Echtzeitanalysen und Dashboarding werden mit dem Grafana Dashboard und den benutzerdefinierten Node.js REST-Services für Echtzeitabfragen von Redis-Datenspeichern erstellt.
-
ML Schulungen und Anwendungsfälle: Die Edge AI-Plattform unterstützt die gängigsten ML-Frameworks, einschließlich Sci-Kit-learn, TensorFlow, Keras und PyTorch und bietet ein vollständiges Modell-Lifecycle-Management. Sobald Modelle entwickelt und getestet wurden, werden sie mit großen Datensätzen geschult, verpackt und schließlich nahtlos an der Peripherie bereitgestellt.
-
Sicherheit und Governance: Sicherheit ist in der gesamten Edge KI-Plattform integriert. Es kann anpassbare Sicherheitsframeworks aufnehmen, ist unabhängig von Bereitstellungsszenarien von Kunden und interoperabel über eine Multi-Cloud-Strategie hinweg.
-
Monitoring und Orchestrierung: Wir erreichen Orchestrierung von der Cloud bis zur Peripherie über die CI/CD-Pipeline mit Tools wie Argo CD, einem kontinuierlichen Bereitstellungstool für Kubernetes. Unser Ziel war es, die Bereitstellung und das Lebenszyklusmanagement von Edge AI-Anwendungen automatisiert, auditierbar und leicht verständlich zu machen.
Platform Referenzarchitektur
Now dass Sie einen Überblick über die Technologien der Edge KI-Plattform haben, sehen wir uns an, wie sie zusammenpassen. Wie in der folgenden Abbildung gezeigt, besteht die Edge AI-Plattformarchitektur aus drei Hauptteilen:
-
Datenaufnahme und -Verarbeitung
-
Modellschulung
-
Bereitstellung und Service modellieren
Modelle werden in der Cloud trainiert und an der Peripherie für Echtzeitanwendungsfälle bereitgestellt. Die Batch-Ableitung, die nicht zeitabhängig ist, findet in der Cloud statt.
Abbildung 2. Edge AI – Referenzarchitektur.
Im Gegensatz zu herkömmlichen Anwendungen, die implementiert, bereitgestellt und gelegentlich aktualisiert werden können, lernen KI/ML-Anwendungen ständig und verbessern sich. Innerhalb der Plattform gibt es drei Hauptworkflows, die uns dabei helfen, das oben genannte zu erreichen:
-
Echtzeit-Streaming-Workflow: Hier findet die Hauptfunktion der Anwendung statt. Ein CEP erfasst und verarbeitet Streaming-Daten und scannt intelligent nach Erkenntnissen oder Fehlerzuständen. Das CEP extrahiert Funktionen oder bemerkenswerte Informationen aus dem Rohstrom eingehender Daten und sendet sie zur Analyse an die trainierten Modelle. In Echtzeit werden Prognosen zur Aggregation an die CEP-Regel-Engine zurückgesendet. Wenn bestimmte Bedingungen erfüllt sind, werden Maßnahmen ergriffen, z. B. das Herunterfahren eines externen Systems oder die Warnung eines Maschinenbedieners bei einem möglichen Ausfall. Alle Echtzeitprognosen und -Ableitungen werden zur weiteren Überwachung und Auswertung an die Offline-Cloud weitergeleitet. In diesem Bereich werden Funktionen auf der Grundlage sich entwickelnder Daten aktualisiert, sodass Kunden Feature Engineering in die in Abbildung 4 unten beschriebene Pipeline für maschinelles Lernen integrieren können.
-
On-Demand-Workflow mit Datenstapeln: Externe Systeme wie Empfehlungen oder Personalisierungen können Modelle in die Edge-Plattform einbetten. Diese werden als REST- oder gRPC-Endpunkte über ein eingebettetes API-Gateway zugänglich gemacht, wodurch Inferenzaufrufe und Vorhersagen in Echtzeit möglich sind.
-
Historical Insights Workflow: Alle Daten (Rohdaten, aggregierte Daten und Prognosen) werden in einem speicherinternen Speicher auf der EDGE-Plattform gespeichert. Diese Daten werden regelmäßig über Cloud Connectors mit Cloud-Plattformen synchronisiert. Sobald die Daten in der Cloud landen, werden sie verwendet, um Modelle für kontinuierliche Verbesserungen neu zu trainieren und weiterzuentwickeln. Neu geschulte Modelle folgen einem kompletten Lebenszyklus von der Schulung über die Nachverfolgung bis hin zur Veröffentlichung in der Cloud. Veröffentlichte Modelle werden dann nahtlos an die Edge-Plattform in kontinuierlicher Bereitstellung bereitgestellt. Historische Erkenntnisse und Batch-Ableitungen werden in der Cloud durchgeführt.
Edge-KI-Aufnahme, -Verarbeitung und -Speicherung
One einer der wichtigsten Aspekte einer KI/ML-Lösung ist die Fähigkeit, Daten schnell und effizient zu erfassen und zu speichern. Datenmengen können für einige Anwendungen, wie IoT-Sensoren, enorm sein. Um Ihnen einen Überblick über die Skalierung zu geben, prognostiziert IDC, dass allein IoT-Geräte bis 2025 fast 80 Zettabyte an Daten generieren werden.
Um selbst die größten Datenmengen zu unterstützen, unterstützt die Edge AI-Plattform, wie unten gezeigt, mehrere Aufnahmequellen (IoT, Video, Standort und Sensoren), Protokolle und Aufnahmeanbieter. Es unterstützt auch hohen Durchsatz mit geringer Latenz (Millionen von Ereignissen/Sekunde mit 10 ms Latenz).
Abbildung 3. Plattformaufnahme, -Verarbeitung und -Lagerung.
Wenn eingehende Video-, IoT- oder Sensordaten eintreffen, verwendet die Aufnahmeschicht integrierte Drosselung, um die Datenbereitstellung zu gewährleisten und Überlaufbedingungen zu verhindern. Ein Message Broker sendet die eingehenden Daten an die Stream/Event Engine, wo sie transformiert, angereichert oder bereinigt werden, bevor sie in den Speicher verschoben werden. Sobald sich die Daten im Speicher befinden, werden sie regelmäßig mit dem verteilten Cloud-Speicher synchronisiert. Visualisierungstools bieten Echtzeitanalysen und operative Dashboards, die Daten im Speicher verwenden.
Machine Lernpipeline
Machine Lernen beruht auf Algorithmen; sofern Sie nicht Datenwissenschaftler oder ML-Experte sind, sind diese Algorithmen sehr kompliziert zu verstehen und zu funktionieren. Hier kommt ein Framework für maschinelles Lernen ins Spiel, das es ermöglicht, ML-Modelle ohne tiefgreifendes Verständnis der zugrunde liegenden Algorithmen zu entwickeln. Obwohl TensorFlow, PyTorch und SCI-Kit-learn heute wohl die beliebtesten ML-Frameworks sind, ist das in Zukunft vielleicht nicht der Fall. Daher ist es wichtig, das beste Framework für die beabsichtigte Anwendung zu wählen.
Zu diesem Zweck unterstützt die Edge AI-Plattform eine vollständige Palette von ML-Frameworks für Modellschulungen, Feature-Engineering und -Dienste. Wie in der folgenden Abbildung gezeigt, unterstützt Edge AI das komplette Lebenszyklus-Management von Modellen, einschließlich Schulung, Nachverfolgung, Verpackung und Bereitstellung.
Abbildung 4. Pipeline für maschinelles Lernen.
Sehen wir uns den typischen Workflow für maschinelles Lernen auf der Edge KI-Plattform an. Zunächst verwenden Sie das ML-Framework Ihrer Wahl, um ein Modell in einer lokalen Umgebung zu erstellen. Sobald das Modell zusammengezogen ist, beginnt das Testen mit kleinen Datensätzen, und Experimente werden mithilfe von Modelllebenszykluswerkzeugen wie MLflow und Sagemaker erfasst. Nach dem ersten Test kann das Modell in der Cloud mit größeren Datensätzen und Hyperparameteroptimierung trainiert werden. Modellversionen werden in Modell-Repositorys in der Cloud gespeichert.
Nachdem das Modell vollständig in der Cloud geschult wurde, besteht der nächste Schritt in der ersten Bereitstellung an der Peripherie für weitere Tests. Das Modell wird anschließend endgültig getestet und verpackt – und basierend auf bestimmten Bereitstellungsauslösern an der Edge – aus der Cloud abgerufen und nahtlos auf der Edge-Plattform bereitgestellt. Modellmetriken werden kontinuierlich erfasst und zur weiteren Modelloptimierung und -Weiterentwicklung an die Cloud gesendet.
Platform Servieren und Überwachen
For maximale Flexibilität bei der Auswahl und Unterstützung des ML-Frameworks. Die Edge AI-Plattform verwendet REST- oder gRPC-Endpunkte, um Modelle in Echtzeit bereitzustellen. Eine Übersicht über die Servierungs- und Überwachungsarchitektur wird unten angezeigt.
Abbildung 5. Edge KI kann Modelle bedienen, die mit jeder Art von Machine Learning Framework erstellt wurden.
Die Tools unserer Plattform zur kontinuierlichen Integration wie Jenkins X ermöglichen es, Modelle mithilfe von Bereitstellungs-Triggern in den Modellspeicher an der Peripherie zu verschieben. Ein kontinuierliches Bereitstellungstool wie die Argo-CD wird verwendet, um das Modell-Image aus dem Repository zu holen und jedes Modell als eigenständiger Pod bereitzustellen.
Bereitgestellte Modelle werden mit Seldon mit einer REST/gRPC-Schnittstelle und Lastausgleich hinter einem API-Gateway bereitgestellt. Clients senden REST-/gRPC-Aufrufe an das API-Gateway, um Vorhersagen zu generieren. Modellverwaltung und Kennzahlen werden mit Seldon bereitgestellt, Protokollierung und Überwachung erfolgen mit ELK Stack und/oder Prometheus.
Die Integration von KI und Rechenkapazität in Kombination mit Cloud-Services direkt am Netzwerkrand ermöglicht es Unternehmen, immer ausgefeiltere und transformative Echtzeit-Anwendungsfälle für Unternehmen auf den Markt zu bringen. Wie in diesem Beitrag beschrieben, hilft die Edge-KI-Plattform bei der operationellen Umsetzung von Enterprise-KI in Echtzeit und reduziert die Hürden, die bei der Umsetzung einer Vielzahl von ML-Echtzeitanwendungen mit Leben verbunden sind. Dadurch können Kunden die Implementierung von Pilotprojekten beschleunigen und effektiv von Pilotprojekten bis zur Produktion skalieren.
In der kommenden letzten Ausgabe dieser dreiteiligen Blogreihe werden wir den Prozess der Entwicklung und Bereitstellung von Lösungen auf der Basis der Edge AI-Plattform untersuchen und Kundenbeispiele für Edge KI-Lösungen in den Bereichen Predictive Analytics, Smart Manufacturing und Logistik bereitstellen.
Contact uns, um mehr darüber zu erfahren, wie Ihre Anwendung von unserer Edge-KI-Plattform profitieren könnte.
Um den ersten Blog dieser Serie zu lesen, klicken Sie hier.
