La traduzione delle dinamiche cerebrali in linguaggio naturale è fondamentale per le interfacce cervello-computer (BCI). Con il rapido progresso di modelli linguistici di grandi dimensioni, come ChatGPT, la necessità di colmare il divario tra il cervello e le lingue diventa sempre più pressante. I metodi attuali, tuttavia, richiedono fissazioni o marcatori di eventi per segmentare le dinamiche cerebrali in caratteristiche a livello di parola, il che può limitare l’applicazione pratica di questi sistemi.

Per affrontare questi problemi, abbiamo introdotto un nuovo framework, DeWave, che integra sequenze di codifica discrete in compiti di traduzione EEG-testo di vocaboli aperti. DeWave utilizza un codificatore variazionale quantizzato per ricavare una codifica discreta del codice e allinearla con modelli linguistici pre-addestrati. Questa rappresentazione discreta del codice presenta due vantaggi: 1) realizza la traduzione su onde grezze senza marcatori introducendo l’addestramento all’allineamento contrastivo testo-EEG e 2) allevia l’interferenza causata dalle differenze individuali nelle onde EEG attraverso un codice discreto invariante con o senza marcatori. Il nostro modello supera la precedente linea di base (40,1 e 31,7) rispettivamente del 3,06% e del 6,34%, ottenendo 41,35 BLEU-1 e 33,71 Rouge-F sul dataset ZuCo. Questo lavoro è il primo a facilitare la traduzione di interi periodi di segnale EEG senza marcatori di ordine a livello di parola (ad esempio, fissazioni degli occhi), ottenendo un punteggio di 20,5 BLEU-1 e 29,5 Rouge-1 sul dataset ZuCo.