I motivi principali dell’elevato tasso di fallimento dei progetti AI, ricorda Gartner®1, includono:
- la confusione in azienda e i rischi legati all'adozione di nuove tecnologie;
- la mancata comprensione di come queste tecnologie possano essere implementate e impiegate;
- la mancanza di dati adeguati;
- l'uso di algoritmi non corretti;
- l’impossibilità di trovare talenti qualificati per i progetti;
- le difficoltà nel sostituire sistemi legacy;
- la complessità di integrare le nuove tecnologie all’esistente.
Il più delle volte la causa del fallimento è un’integrazione non ottimale tra i diversi sistemi che genera numerose problematiche tecniche e quando sussiste questa condizione di partenza, i progetti, invariabilmente, rallentano, si incagliano e, quasi sempre, non arrivano a conclusione.
Se dovessimo spiegarlo a un bambino, potremmo dire che l’aggiunta di nuove fonti dato all’ecosistema IT non è una semplice addizione, ma moltiplica i flussi esistenti e genera, nel bene e nel male, un risultato molto più grande. Per dirla in maniera un po’ meno pedagogica, solitamente le fonti dato (informazioni contenute in un gestionale, in un ERP, in un e-commerce, ecc.) sono molteplici (le chiameremo M) e le destinazioni (applicazioni, CRM, il gestionale, l’e-commerce, l’ERP, ecc.) sono numerose (N); di conseguenza i flussi di dati sono un numero che spesso si avvicina a M*N.
Poiché Generative AI, Migrazioni su Cloud, Data science, ML, Business Intelligence, Analytics si basano sulle fonti dato, l'integrazione è cruciale per il successo dei progetti tecnologici. Senza una solida base di dati integrati, molti progetti rischiano di diventare "sunk costs" (costi irrecuperabili).
La priorità rimane la Data Integration (l’integrazione tra le fonti dato)
Secondo Roxane Edjlali, Senior Director Analyst di Gartner®, l'integrazione dei dati è la priorità per l'80% delle aziende. Durante il suo intervento al Gartner Data & Analyst Summit (Fonte: Gartner®), Edjlali ha sottolineato che l'integrazione rimane la priorità per l’80% delle aziende, superando altri trend come la trasformazione digitale e l'adozione di tecnologie avanzate come AI e Machine Learning.
L'integrazione dei dati è connettere strutture dati che originariamente erano disegnate per operare in modo indipendente. Questa pratica sta diventando sempre più cruciale nel panorama aziendale moderno, dove la capacità di sfruttare efficacemente i dati può fare la differenza tra il successo e l'insuccesso. Per massimizzare i benefici dell'integrazione dei dati, le aziende stanno, così, concentrando i loro sforzi su tre aree chiave.
Innovazione tecnologica
Le organizzazioni stanno investendo nello sviluppo e nell'adozione di tecnologie di integrazione all'avanguardia. L'obiettivo è disporre di un ventaglio di soluzioni adattabili ai diversi scenari operativi, garantendo così la massima efficienza in ogni contesto specifico. Questo approccio permette di scegliere la tecnologia più appropriata per ogni caso d'uso, ottimizzando le prestazioni e minimizzando i costi.
Ottimizzazione di processi e Best Practices
Un focus significativo è posto sul perfezionamento dei processi di integrazione. Un aspetto cruciale di questa ottimizzazione è trovare un equilibrio tra due esigenze, da un lato quella che i dati siano consolidati e memorizzati in modo stabile e coerente (persistenza), dall’altro quella di consentire l’accesso ai dati in tempo reale e in modo flessibile con sistemi diversi. Attraverso tecniche avanzate come la Data Virtualization, le aziende possono evitare copie e spostamenti superflui di dati, riducendo così la complessità dell'infrastruttura e migliorando l'efficienza operativa. Questo approccio non solo ottimizza l'utilizzo delle risorse, ma facilita anche una gestione più agile e flessibile dei dati aziendali.
Trend di Mercato e Valutazioni Tecnologiche
Le aziende stanno monitorando attentamente l'evoluzione del mercato e adottando pratiche innovative per gestire l'integrazione. L'attenzione per le novità tecnologiche può, però, essere fuorviante per le strategie IT. Molte organizzazioni, infatti, tendono a investire in soluzioni nuove, trascurando le potenzialità o le integrazioni con i sistemi esistenti. L'approccio più efficace non è necessariamente quello di sostituire, ma di ottimizzare. Così, prima di avviare progetti di digital transformation, è cruciale valutare con precisione l'architettura attuale. Interventi mirati, ben progettati e integrati generano miglioramenti significativi a costi molto inferiori rispetto a una sostituzione integrale o all’inserimento di una nuova tecnologia avulsa dalle altre. Si tratta di leggere strategicamente l'ecosistema tecnologico aziendale, identificando spazi di miglioramento che permettono di estrarre ancora valore dall'esistente.
10 Tendenze Tecnologiche e Casi d'Uso
Basandoci sui progetti di data integration che stiamo seguendo nel 2024, confrontandoci con i leader tecnologici del settore, possiamo confermare le tendenze individuate da Gartner®. Vediamole brevemente.
1. Concentrarsi sulla combinazione di tutti gli stili di integrazione dei dati
Le integrazioni via batch sono le più richieste e utilizzate, ma dobbiamo sottolineare come vi siano sul mercato almeno altre quattro tecnologie di integrazione - che qui indichiamo in ordine di utilizzo - che sono anch’esse inserite in alcuni dei progetti che abbiamo in gestione.
Le tecnologie di integrazioni più diffuse sono le seguenti:
- Bulk / Batch Data Movement
- Data Replication/ Data Synchronization / CDC
- Code / API
- Data Virtualization
- Stream Data Integration
2. Bilanciare "salvataggio e persistenza" e "connessione" attraverso la virtualizzazione dei dati
Non è sempre necessario copiare e spostare il dato per poterlo connettere e integrare con altri dati. La virtualizzazione dei dati consente di accedere e gestire i dati provenienti da diverse fonti, come se fossero concentrati in un unico spazio. Con questo approccio non si creano copie fisiche dei dati e si ottengono, inoltre, tre benefici, in quanto la virtualizzazione consente di:
- ottimizzare i costi minimizzando lo spostamento e la duplicazione dei dati);
- favorire l'accesso in tempo reale ai dati;
- facilitare la gestione dei cambiamenti nelle fonti dati, inserendo un layer di disaccoppiamento delle fonti permettendo migrazioni veloci e sicure.
3. Completare il batch con l'integrazione dati in tempo reale (streaming)
L'integrazione dei dati in modalità batch è il metodo tradizionale di trasferimento di grandi quantità di dati a intervalli programmati. Questo approccio è ampiamente utilizzato, ma per le applicazioni che richiedono dati in tempo reale (come decisioni automatizzate, gestione di allarmi, trigger, attività che devono scatenarne altre), non è sufficiente. L'evoluzione delle esigenze aziendali ha dunque portato a concepire un paradigma ibrido, che combina l'integrazione batch tradizionale con l'elaborazione in tempo reale.
4. Self Service Data Integration. Gestirla per garantire l'agilità aziendale
Sempre più aziende hanno l’esigenza di abilitare i propri utenti perché possano esplorare, valutare e consumare dati. Si parla, in questi casi, di Self-Service Data e per renderla possibile - e garantirne la qualità - si rende necessaria una governance per bilanciare autonomia degli utenti e controllo centralizzato.
Nell'ultimo anno, l'evoluzione delle integrazioni self-service, soprattutto nel campo di AI e machine learning, ha permesso agli utenti di esplorare e preparare i dati in modo indipendente, supportati da pipeline DataOps e MLOps che gestiscono orchestrazione, osservabilità e automazione.
Dai dati grezzi sono fornite delle pipeline di data preparation che possono essere usate in modalità self service per produrre dashboard e modelli. Una volta che questi sono approvati poi vengono “portati in produzione” e condivisi. La data integration resta perciò il fulcro, fungendo da collante tra i diversi componenti, garantendo coerenza e affidabilità.
Per mantenere l'integrazione organizzata e tracciabile, la gestione efficace dei metadati è essenziale e questa può essere condotta attraverso strumenti come i data catalog e il data lineage. Senza questa gestione, l'integrazione rischia di frammentarsi in silos.
5. Garantire un'integrazione basata sui metadati per automatizzare le attività ripetitive
La gestione strategica dei metadati è fondamentale per automatizzare le attività ricorrenti legate all'integrazione. Questo comporta delle necessità inderogabili:
- trovare e raccogliere i metadati;
- inserire strumenti che consentono un accesso bidirezionale, che permettono la condivisione e l’utilizzo dei metadati.
- Dotarsi di Data Catalogs: sono fondamentali e propedeutici a un’evoluzione verso un'integrazione "intelligente" guidata da metadati attivi.
Senza una gestione efficace dei metadati, l'integrazione dati diventa fragile, caotica e frammentata in silos.
6. Aggiungere un’integrazione semantica dei dati e Knowledge Graph
Il mondo reale è situazionale, stratificato e in continuo cambiamento - questo rappresenta il contesto per i dati (spesso mancante). Si tratta di metadati difficili da contemplare poiché le connessioni logiche tra i metadati non sono facilmente mappabili in database di tipo relazionale.
Anche se gli standard W3C (RDF, OWL e SPARQL) forniscono un linguaggio comune e universale, non possono creare una mappatura ontologica. Per chi non vi si fosse mai soffermato, per mappatura ontologica (ontological mapping) si intende una connessione tra concetti e relazioni in diversi sistemi di dati o ontologie, per assicurare una comprensione condivisa e coerente delle informazioni. È fondamentale per garantire l'interoperabilità tra diversi sistemi e per rappresentare correttamente la conoscenza all'interno di un determinato dominio. Si tratta, in sostanza, di un’integrazione semantica che generalmente avviene per mezzo di Knowledge Graph, capaci di creare una rappresentazione logica dei dati.
L'introduzione di Knowledge Graphs, quindi, permette di gestire relazioni multiple tra dati, costruire ontologie e migliorare la comprensione semantica. Questa tecnologia consente una mappatura più accurata del mondo reale e delle sue dinamiche.
7. Investire in tecnologie che supportano il GenAI per il miglioramento
Il 2024 è stato un anno cruciale per l'Intelligenza Artificiale Generativa (GenAI) e il Machine Learning, segnando una svolta significativa in queste tecnologie. Tuttavia, questo progresso ha evidenziato la necessità critica di nuove strategie di integrazione per consentire all'AI di funzionare efficacemente all'interno degli ecosistemi di dati esistenti. Implementare l'AI non è così semplice come inserire un modello o un prodotto con funzionalità AI.
Per sfruttare veramente la potenza dell'AI, le organizzazioni devono sviluppare un'infrastruttura dati solida che permetta all'AI di operare al meglio. Com’è noto, perché i modelli producano intuizioni preziose o restituiscano informazioni accurate, devono essere alimentati con dati di alta qualità, farli operare in isolamento, con dati inaccurati, potenzialmente errati o forniti con formati incompatibile, è fonte di errori e incongruenze.
Come evidenziato in un report Gartner®, c'è dunque una crescente tendenza a investire in tecnologie che supportino l'Intelligenza Artificiale anche nei processi di integrazione dati. Questa tendenza si allinea perfettamente con la necessità più ampia di una migliore integrazione AI-dati. Le aree dove c’è maggior fermento sono :
SCOPERTA AUTOMATICA
- Profilazione
- Tracciamento della lineage
- Analisi di schema e metadata
- Identificazione di relazioni semantiche
SUGGERIMENTI AUTOMATICI
- Raccomandazioni per il prossimo miglior mapping/trasformazione
- Mascheramento automatico di attributi sensibili
AZIONI AUTOMATICHE
- Interfacce in Linguaggio Naturale
- Utilizzo della GenAI per interrogazioni e interazioni con i sistemi di integrazione dati basate su linguaggio naturale
8. Utilizzare un approccio DataOps per ottimizzare i flussi di integrazione
Strumenti come l'orchestrazione dei flussi, la gestione e la promozione delle modifiche nei diversi ambienti, il deploy automatico e una serie di test di base, sono le attività su cui molte aziende stanno oggi investendo il proprio tempo, per poter velocizzare fino a dieci volte le attività il prossimo anno.
Un approccio DataOps contribuisce alla maggior efficienza ed è di supporto all’automazione, ma ha anche, come obiettivo, quello di aumentare il valore e semplificare il delivery del lavoro di chi si occupa di integrazione dei dati.
9. Sfruttare i benefici dell'osservabilità dei dati
L'osservabilità, pur non essendo direttamente collegata all'integrazione, rappresenta un elemento essenziale della governance. Si articola in diverse dimensioni, come la data observability, l'infrastructure observability, l'user experience observability e, nello specifico, la data pipeline observability. Quest'ultima risponde all'esigenza di monitorare lo stato delle pipeline di dati, riducendo gli errori, prevenendo potenziali problemi e ottimizzando i tempi di manutenzione. Questo approccio contribuisce direttamente a una gestione più efficiente, con un impatto positivo sui costi operativi.
10. Pianificare sempre il FinOps per gestire i costi del cloud
La gestione finanziaria dell'IT, soprattutto in un contesto di infrastrutture ibride e multi-cloud, sta assumendo un ruolo sempre più strategico. Il FinOps, come approccio alla governance finanziaria del cloud, consente di ottimizzare i costi attraverso strumenti e metodologie specifiche, agendo sia in maniera proattiva che reattiva.
Proattività - Un approccio proattivo prevede il monitoraggio e la previsione dei costi a partire dai workload, dalle business units (o domini) o dai casi d’uso. Questo approccio permette di integrare l'analisi dei consumi direttamente nei processi decisionali, prevedendo e ottimizzando le spese.
Reattività - Questo approccio consente una risposta immediata in tutti quei casi in cui c’è un superamento dei limiti di utilizzo. Può consistere nella limitazione di unità di calcolo o nell'interruzione automatica dei servizi oltre i limiti impostati.
Esistono strumenti specifici progettati per operare in contesti di infrastrutture ibride e multi-cloud. In questo scenario, il ruolo della data integration è cruciale nella riduzione dei costi, perché incide direttamente sulle possibilità di ottimizzazione. L’integrazione, dunque, rappresenta uno degli elementi più critici nell'ambito delle strategie FinOps e ha un impatto significativo sul budget IT.
In ambito cloud, l’utilizzo improprio degli strumenti e integrazioni non ottimizzate, aumentano con moltiplicatori notevoli i costi infrastrutturali e di licenza. Molte aziende stanno oggi migrando verso soluzioni open source per abbattere i costi di licenza, mentre in ambiti più limitati, optano per modelli SaaS che permettono di pagare solo l’effettivo utilizzo. Questo ha portato al progressivo emergere di nuove strategie di integrazione. In questo scenario è fondamentale valutare se sviluppare nuove integrazioni o riutilizzare quelle esistenti. Soluzioni come la data virtualization o le API possono essere più efficienti e scalabili rispetto alle tradizionali integrazioni batch o real-time. Naturalmente le integrazioni esistenti vengono sempre più sottoposte a verifiche, per stabilire se continuano a generare valore e se sono effettivamente riutilizzate dalle diverse unità aziendali. Ciò che è ormai acclarato è che, attraverso un approccio strutturato e integrato, che combina i principi di FinOps con una gestione intelligente della data integration, le organizzazioni possono ottenere un significativo risparmio sui costi, migliorando al contempo le prestazioni dei loro sistemi IT.
L'integrazione ibrida e multi-cloud rappresenta una delle sfide più complesse e cruciali per le aziende moderne, poiché coinvolge un'ampia gamma di ambiti tecnologici. Che si tratti di modelli di intelligenza artificiale generativa, o di integrazioni in real time o IoT, che sia in ambito di knowledge graph o di observability, l'integrazione tra diversi ambienti cloud, on-premise e data center gestiti da terze parti è diventata la norma.
| Mix | Utilizza un mix di strumenti per l’integrazione dati, basandoti sulle esigenze specifiche della tua data topology.>/td> |
| Ampliamento | Amplia le tue capacità di integrazione sfruttando gli strumenti corretti, ideati per casi d’uso nuovi come l’abilitazione di scenari di integrazione multicloud o hybrid.</td> |
| Data Preparation | Integra la data preparation con la data integration per favorire il self-service tra i citizen developers. |
| Metadati | Comincia a raccogliere i tuoi metadati in modo che possano diventare poi la base per il loro sfruttamento. Questo rappresenta il primo passo verso la realizzazione di un data fabric. |
| Vendor Selection | Integra i tuoi strumenti con prodotti di vendor che garantiscono interoperabilità, supporto a standard aperti e un'integrazione agile con l'infrastruttura esistente, creando un ecosistema coeso e adattabile. |
_
Fonti: 1. TechRepublic, BitBuild
