Nel 2017 un articolo di un gruppo di ricercatori di Google pone il problema delle reti neurali in termini di attenzione. Un concetto decisivo. Una giovane azienda si accorge subito delle potenzialità di questo approccio. Così nasce ChatGPT, la “nuova” intelligenza artificiale generativa. I grandi modelli linguistici imparano a produrre linguaggio. Quella che leggete è l’ultima puntata delle lezioni di intelligenza artificiale del professor Gino Roncaglia (almeno per ora)
Come funzionano i sistemi attuali di intelligenza artificiale generativa? Molto nasce da un articolo rivoluzionario pubblicato nel 2017 da un gruppo di ricercatori di Google, intitolato Attention Is All You Need (Tutto quel che ti serve è l’attenzione). Ma di quale attenzione si tratta? Le prime reti neurali capaci di produrre linguaggio avevano limiti enormi nel “ricordare” sia l’input ricevuto (il prompt), sia il testo che veniva man mano generato. Per avere un’idea della situazione nella qual
