Home Blogs Intelligenza artificiale edge: Come funziona
Applications

Intelligenza artificiale edge: Come funziona

About The Author

Outline

Le applicazioni di intelligenza artificiale aziendale in tempo reale in vari settori industriali richiedono una piattaforma di analisi DEI dati e ML in tempo reale con interconnessione indipendente dal cloud. Edge ai di Verizon Media è una piattaforma appositamente progettata per aiutare i clienti a raggiungere l’intersezione tra le operazioni di gestione dei dati e apprendimento automatico (MLOps), in modo che possano operare su un’infrastruttura eterogenea su scala globale. Il passaggio dell’intelligenza artificiale alla periferia della rete consente di prendere decisioni e azioni quasi in tempo reale. In questo modo si apre una gamma di applicazioni entusiasmanti e trasformative nei segmenti industriali e di consumo, che abbiamo delineato nel primo post del blog di questa serie.

In molti modi, come spiegheremo, lo scopo dell’intelligenza artificiale Edge è quello di connettere tutti gli elementi necessari per progettare, sviluppare e distribuire applicazioni di intelligenza artificiale commerciali alla periferia della rete per consentire casi di utilizzo aziendali in tempo reale. Ciò include la nostra rete per la distribuzione dei contenuti (CDN), con soli 10-25 millisecondi di latenza per praticamente tutti gli utenti di Internet in tutto il mondo, la nostra tecnologia 5G on-premise, un livello di piattaforma applicativa come servizio (aPaaS) estensibile, gestione dei dati cloud, sicurezza completa e monitoraggio e analisi approfonditi.

Fin dall’inizio del processo di sviluppo dell’intelligenza artificiale Edge, la nostra visione era quella di creare una piattaforma containerizzata leggera e indipendente dall’infrastruttura con interconnessione indipendente dal cloud per fornire dati in tempo reale e informazioni sull’apprendimento automatico alla periferia della rete. Questa visione, a sua volta, ci ha aiutato a rispettare gli obiettivi e le decisioni tecnologiche per la piattaforma, come illustrato nella figura seguente.

Figura 1. Elementi architettonici Edge ai.

Questi nove elementi giocano un ruolo essenziale nel rendere possibile la piattaforma Edge ai e sono fondamentali per il suo successo in quanto le soluzioni commerciali vengono implementate nella produzione. Diamo un’occhiata più da vicino a questi elementi, lavorando dal basso verso l’alto.

  1. ‍Infrastructure: Kubernetes e Containers erano le scelte ovvie per l’alta disponibilità, la latenza ultra bassa e la rapida implementazione dei modelli ai/ML alla periferia della rete. Kubernetes, indipendente dall’infrastruttura, è una piattaforma portatile, estendibile e open source per la gestione di carichi di lavoro e servizi containerizzati. I nostri container si basano sulla piattaforma Docker, un modo efficiente per creare pacchetti e distribuire software e lavorare sui servizi Kubernetes gestiti forniti dai principali provider cloud come AWS, Microsoft Azure e Google.

  2. Acquisizione dei dati: Affinché i modelli ai/ML si evolvano e raggiungano il loro potenziale, i dati devono passare dall’acquisizione a più sistemi downstream, come un dashboard per l’analisi e il monitoraggio o file basati su Apache Hadoop per l’addestramento dei modelli. Per questa funzione, usiamo Apache Kafka, che offre acquisizione di dati in tempo reale, integrazione, messaggistica e pub/sub su larga scala. Il conseguente livello di acquisizione dei dati multi-party fornisce latenza di millisecondi, consegna garantita e supporto per la limitazione.

  3. Storage dei dati a latenza ‍Low: Lo storage dei dati svolge un ruolo importante nell’intelligenza artificiale Edge a causa della sua necessità di latenza inferiore al secondo, throughput elevato e un livello di storage dei dati a basso impatto, insieme alla possibilità di sincronizzarsi con varie piattaforme cloud per lo storage e informazioni storiche. Qui, ci siamo rivolti al sistema di database Redis NoSQL. I database NoSQL, come Redis, sono meno strutturati dei database relazionali. Inoltre, sono più flessibili e possono scalare meglio, il che li rende la soluzione ideale per questa applicazione.

  4. ‍Data elaborazione: L’elaborazione dei flussi in tempo reale è necessaria in Edge ai per acquisire eventi da diverse fonti, rilevare condizioni complesse e pubblicare in tempo reale su diversi endpoint. Stiamo usando il Siddhi Complex Event Processor (CEP). Si tratta di un sistema CEP open source, nativo del cloud, scalabile e con micro streaming in grado di creare applicazioni basate sugli eventi per casi di utilizzo quali analisi in tempo reale, integrazione dei dati, gestione delle notifiche e processo decisionale adattivo.

  5. Servizio ‍AI/ML: La piattaforma Edge ai fornisce una distribuzione completa di intelligenza artificiale/ML e una gestione del ciclo di vita su tutta l’infrastruttura cloud e perimetrale in tempo reale tramite il framework open source Seldon.io. Supporta più toolkit e linguaggi eterogenei.

  6. Visualizzazione ‍Data: Le visualizzazioni per l’analisi in tempo reale e il dashboard vengono create utilizzando il dashboard di Grafana e i servizi REST Node.js sviluppati su misura per le query in tempo reale degli archivi di dati Redis.

  7. ‍ML formazione e casi di utilizzo: La piattaforma Edge ai supporta i framework ML più diffusi, tra cui sci-kit-Learn, TensorFlow, Keras e PyTorch e fornisce una gestione completa del ciclo di vita dei modelli. Una volta sviluppati e testati, i modelli vengono addestrati utilizzando set di dati di grandi dimensioni, confezionati e infine implementati senza problemi alla periferia della rete.

  8. sicurezza e governance: La sicurezza è integrata nell’intera piattaforma di intelligenza artificiale Edge. Può ospitare framework di sicurezza personalizzabili, è indipendente dagli scenari di distribuzione dei clienti ed è interoperabile in una strategia multi-cloud.

  9. ‍Monitoring e orchestrazione: Otteniamo l’orchestrazione dal cloud alla periferia attraverso la pipeline ci/CD utilizzando strumenti come Argo CD, uno strumento di consegna continua per Kubernetes. Il nostro obiettivo era rendere l’implementazione delle applicazioni Edge ai e la gestione del ciclo di vita automatizzate, verificabili e di facile comprensione.

Architettura di riferimento ‍Platform

Se avete una panoramica delle tecnologie in gioco nella piattaforma di intelligenza artificiale Edge, vediamo come si integrano insieme ‍Now. Come illustrato nella figura seguente, l’architettura della piattaforma Edge ai presenta tre componenti principali:

  1. Acquisizione ed elaborazione dei dati

  2. Formazione modello

  3. Implementazione e distribuzione di modelli

I modelli vengono addestrati sul cloud e serviti all’edge della rete per casi di utilizzo in tempo reale. La deduzione batch, che non dipende dal tempo, avviene nel cloud.

Figura 2. Edge ai: Architettura di riferimento.

A differenza delle applicazioni tradizionali, che possono essere implementate, distribuite e occasionalmente aggiornate, le applicazioni ai/ML apprendono e migliorano costantemente. Esistono tre flussi di lavoro principali all’interno della piattaforma che ci aiutano a realizzare quanto sopra:

  1. Flusso di lavoro in streaming in tempo reale: È qui che avviene la funzione principale dell’applicazione. Un CEP acquisisce ed elabora i dati in streaming e analizza in modo intelligente le informazioni o le condizioni di errore. Il CEP estrae funzioni o informazioni degne di nota dal flusso grezzo di dati in entrata e le invia ai modelli addestrati per l’analisi. In tempo reale, le previsioni vengono rinviate al motore delle regole CEP per l’aggregazione. Se vengono soddisfatte determinate condizioni, vengono intraprese delle azioni, ad esempio l’arresto di un sistema esterno o l’avviso di un potenziale guasto all’operatore della macchina. Tutte le previsioni e le inferenze in tempo reale vengono trasmesse al cloud offline per un ulteriore monitoraggio e valutazione. In quest’area le funzioni vengono aggiornate in base ai dati in evoluzione, consentendo ai clienti di eseguire la progettazione delle funzioni integrata con la pipeline di apprendimento automatico descritta nella Figura 4 riportata di seguito.

  2. Flusso di lavoro su richiesta con batch di dati: Sistemi esterni, quali consigli o personalizzazione, possono incorporare modelli all’interno della piattaforma edge. Questi sono esposti come endpoint REST o gRPC tramite un gateway API incorporato, consentendo chiamate di inferenza e previsioni in tempo reale.

  3. Flusso di lavoro di approfondimento ‍Historical: Tutti i dati (non elaborati, aggregati e previsioni) vengono archiviati in un archivio in memoria nella piattaforma edge. Questi dati vengono sincronizzati periodicamente con le piattaforme cloud tramite connettori cloud. Una volta che i dati atterrano nel cloud, vengono utilizzati per riaddestrare ed evolvere i modelli per il miglioramento continuo. I modelli riformati seguono un ciclo di vita completo, dalla formazione al monitoraggio fino alla pubblicazione sul cloud. I modelli pubblicati vengono quindi distribuiti senza problemi alla piattaforma edge in una distribuzione continua. Le informazioni storiche e la deduzione batch vengono eseguite nel cloud.

Acquisizione, elaborazione e storage dell’intelligenza artificiale edge

‍One uno degli aspetti più importanti di una soluzione ai/ML è la capacità di acquisire e archiviare i dati in modo rapido ed efficiente. I volumi di dati possono essere enormi per alcune applicazioni, come i sensori IoT. Per darvi un’idea della scala, IDC prevede che i soli dispositivi IoT genereranno quasi 80 zettabyte di dati entro il 2025.

Per supportare anche i volumi di dati più massicci, la piattaforma Edge ai, come mostrato di seguito, supporta più fonti di acquisizione (IoT, video, posizione e sensori), protocolli e provider di acquisizione. Supporta inoltre un throughput elevato con bassa latenza (milioni di eventi al secondo con latenza di 10 ms).

Figura 3. Acquisizione, elaborazione e archiviazione della piattaforma.

Quando arrivano video in arrivo, IoT o dati dei sensori, il livello di ingestione utilizza la limitazione integrata per garantire la consegna dei dati e prevenire condizioni di overflow. Un broker di messaggi invia i dati in entrata al motore di flusso/evento, dove vengono trasformati, arricchiti o puliti prima di passare all’archivio di memoria. Una volta che i dati si trovano nell’archivio di memoria, vengono periodicamente sincronizzati con l’archivio cloud distribuito. Gli strumenti di visualizzazione forniscono analisi in tempo reale e dashboard operativi utilizzando i dati presenti nell’archivio di memoria.

‍Machine pipeline di apprendimento

L’apprendimento si basa sugli algoritmi; a meno che tu non sia uno scienziato dei dati o un esperto di ML, questi algoritmi sono molto complicati da capire e lavorare ‍Machine. È qui che entra in gioco un framework di apprendimento automatico, rendendo possibile sviluppare facilmente modelli ML senza una profonda comprensione degli algoritmi sottostanti. Mentre TensorFlow, PyTorch e sci-kit-Learn sono probabilmente i framework ML più popolari oggi, questo potrebbe non essere il caso in futuro, quindi è importante scegliere il framework migliore per l’applicazione prevista.

A tal fine, la piattaforma Edge ai supporta una gamma completa di framework ML per la formazione sui modelli, l’ingegneria delle funzionalità e la distribuzione. Come mostrato nella figura seguente, Edge ai supporta la gestione completa del ciclo di vita dei modelli, inclusi formazione, monitoraggio, packaging e servizio.

Figura 4. Pipeline di apprendimento automatico.

Esaminiamo il tipico flusso di lavoro di apprendimento automatico sulla piattaforma Edge ai. Innanzitutto, è possibile utilizzare il framework ML prescelto per creare un modello in un ambiente locale. Una volta riunito il modello, il test inizia con piccoli set di dati e gli esperimenti vengono acquisiti utilizzando strumenti del ciclo di vita del modello come MLflow e Sagemaker. Dopo il test iniziale, il modello è pronto per essere addestrato nel cloud su set di dati più grandi, insieme alla regolazione iperparametrica. Le versioni dei modelli sono memorizzate negli archivi dei modelli sul cloud.

Una volta che il modello è stato completamente addestrato nel cloud, il passaggio successivo è l’implementazione iniziale sulla periferia della rete per ulteriori test. Il modello viene quindi sottoposto a test e packaging finali, e in base a determinati trigger di distribuzione sulla periferia della rete, viene estratto dal cloud e implementato senza problemi sulla piattaforma edge. Le metriche dei modelli vengono raccolte continuamente e inviate al cloud per ulteriori ottimizzazioni ed evoluzioni dei modelli.

‍Platform servizio e monitoraggio

‍For massima flessibilità nella selezione e nel supporto del framework ML, la piattaforma Edge ai utilizza endpoint REST o gRPC per servire i modelli in tempo reale. Di seguito è riportata una panoramica dell’architettura di servizio e monitoraggio.

Figura 5. L’intelligenza artificiale edge può servire modelli creati con qualsiasi tipo di framework di apprendimento automatico.

Gli strumenti di integrazione continua della nostra piattaforma, come Jenkins X, consentono di inviare i modelli all’archivio di modelli alla periferia della rete utilizzando i trigger di distribuzione. Uno strumento di distribuzione continua come Argo CD viene utilizzato per estrarre l’immagine del modello dall’archivio e distribuire ogni modello come un POD autonomo.

I modelli implementati vengono serviti utilizzando Seldon con un’interfaccia REST/gRPC e il carico bilanciato dietro un gateway API. I client inviano chiamate REST/gRPC al gateway API per generare previsioni. La gestione dei modelli e le metriche vengono fornite utilizzando Seldon, mentre la registrazione e il monitoraggio vengono eseguiti utilizzando ELK Stack e/o Prometheus.

L’integrazione dell’intelligenza artificiale e della capacità di elaborazione, combinata con i servizi cloud direttamente alla periferia della rete, consente alle organizzazioni di immettere sul mercato casi d’uso aziendali in tempo reale sempre più sofisticati e trasformativi. Come descritto in questo post, la piattaforma Edge ai aiuta a rendere operativa l’intelligenza artificiale aziendale in tempo reale su vasta scala e riduce significativamente gli ostacoli legati all’implementazione di un’ampia gamma di applicazioni ML in tempo reale. Ciò consente ai clienti di accelerare l’implementazione dei progetti pilota e di scalare in modo efficace dai progetti pilota alla produzione.

Nella prossima puntata finale di questa serie di blog in tre parti, esamineremo il processo di progettazione e implementazione di soluzioni basate sulla piattaforma Edge ai e forniremo esempi di soluzioni Edge ai per i clienti nell’analisi predittiva, nella produzione intelligente e nella logistica.

‍Contact per saperne di più su come la tua applicazione potrebbe trarre vantaggio dalla nostra piattaforma di intelligenza artificiale Edge.

Per leggere il primo blog di questa serie, fate clic qui.