TRANSUMANESIMO-UOMO OGM-Intelligenza artificiale-CYBORG-NANOTECNOLOGIE-SINGOLARITY (CAMERA DEI DEPUTATI E ALTRE PROVE TUTTE QUI)

www.infoq.com/news/2021/08/deepmind-perceiver-io/

Q

DeepMind Open Sources Data Agnostic Deep Learning Model Perceiver IO
DeepMind dispone di Perceiver IO open-source , un'architettura modello di deep learning generica in grado di gestire molti tipi diversi di input e output. Perceiver IO può fungere da sostituto "drop-in" per Transformer che offre prestazioni pari o superiori ai modelli di base, ma senza presupposti specifici del dominio.

L' architettura del modelloè stato descritto in un post sul blog di DeepMind. Perceiver IO si basa sull'architettura Transformer, utilizzando l'attenzione per mappare gli input in uno spazio di rappresentazione latente. A differenza di Transformers, tuttavia, Perceiver IO consente sequenze di input più lunghe senza incorrere in calcoli quadratici e costi di memoria. Il modello può accettare input simultanei di più tipi di dati, inclusi testo, immagini e suoni, e può allo stesso modo decodificare la rappresentazione latente in qualsiasi tipo di dati di output desiderato. In una serie di esperimenti, il team di ricerca di DeepMind ha valutato le prestazioni del modello su una varietà di compiti, tra cui la comprensione del linguaggio, la classificazione delle immagini, il flusso ottico e la riproduzione di videogiochi; il modello ha eseguito "paragonabili ai modelli allo stato dell'arte" sulla maggior parte dei compiti e ha ottenuto nuovi risultati allo stato dell'arte sulBenchmark del flusso ottico Sintel . Secondo i ricercatori,

Ci auguriamo che il nostro ultimo [documento] e il codice disponibile su Github aiutino ricercatori e professionisti ad affrontare i problemi senza dover investire tempo e sforzi per creare soluzioni personalizzate utilizzando sistemi specializzati. Mentre continuiamo a imparare dall'esplorazione di nuovi tipi di dati, non vediamo l'ora di migliorare ulteriormente questa architettura generica e di rendere più rapida e semplice la risoluzione dei problemi relativi alla scienza e all'apprendimento automatico.

La maggior parte dei modelli di deep learning si basa su architetture progettate per un particolare tipo di dati; ad esempio, i modelli di visione artificiale (CV) utilizzano tipicamente le reti neurali convoluzionali (CNN), mentre i modelli di elaborazione del linguaggio naturale (NLP) si basano su un'architettura di apprendimento sequenziale come Transformer. I sistemi che gestiscono dati multimodali , come il modello di linguaggio visivo combinato di Google , sono spesso progettati per elaborare i diversi tipi di dati di input con architetture specifiche del dominio, quindi combinarli utilizzando un terzo modulo. Mentre alcuni ricercatori hanno utilizzato l' architettura Transformer in problemi CV, questi in genere iniziano applicando una fase di pre-elaborazione basata sulla CNN. Inoltre, le risorse di calcolo e di memoria richieste da un trasformatore aumentano con il quadrato della lunghezza della sequenza di input, rendendole una scelta poco pratica per molti tipi di dati ad alta dimensione.

Per risolvere questo problema di complessità, l'architettura Perceiver IO utilizza l' attenzione incrociata per proiettare array di input ad alta dimensione in uno spazio latente a dimensione inferiore. Quindi questo spazio latente viene elaborato utilizzando una struttura di auto-attenzione Transformer standard. Poiché questo spazio latente ha una dimensione molto più piccola dell'input, il modulo Transformer che lo elabora può essere molto più profondo di quanto non sia pratico con un Transformer che elabora direttamente grandi array di input. Infine, la rappresentazione latente viene convertita in un output applicando una matrice di query che ha lo stesso numero di elementi dei dati di output desiderati.

Il team di ricerca ha valutato Perceiver IO su una varietà di compiti da diversi domini. Per la PNL, il team ha utilizzato il benchmark GLUE . Rispetto a un modello BERT che richiedeva lo stesso numero di FLOP, Perceiver IO si è comportato leggermente meglio. Per il CV, i ricercatori hanno utilizzato il benchmark ImageNet . Hanno testato Perceiver IO con diverse varianti di input di feature posizionali, alcune delle quali contenevano informazioni spaziali 2D. Con questi, il modello ha prestazioni paragonabili al ResNet-50linea di base. Quando si utilizzano solo le caratteristiche posizionali apprese, ovvero senza fornire all'input alcuna conoscenza della struttura dell'immagine 2D, il modello ha funzionato leggermente peggio: precisione del 72,7% rispetto al 78,6% di ResNet-50. Tuttavia, secondo gli autori "questo è il miglior risultato di qualsiasi modello su ImageNet senza informazioni sull'architettura o sulle caratteristiche 2D". Per dimostrare ulteriormente le sue capacità, il team ha utilizzato Perceiver IO come sostituto "drop-in" del modulo Transformer in un videogioco AlphaStar che riproduce l'intelligenza artificiale e ha raggiunto lo stesso livello di prestazioni dell'originale.