http://www.incompleteideas.net/IncIdeas/BitterLesson.html

Il testo “La Lezione Amara” di Rich Sutton, datato 13 marzo 2019, affronta un’importante riflessione emersa da 70 anni di ricerca sull’intelligenza artificiale (IA). La lezione principale è che i metodi generali basati sull’uso intensivo del calcolo sono i più efficaci. Questo è dovuto principalmente alla legge di Moore, che descrive il costante calo del costo per unità di calcolo. Tradizionalmente, la ricerca in IA è stata condotta come se la capacità di calcolo fosse costante, dando importanza alla conoscenza umana per migliorare le prestazioni. Tuttavia, nel tempo, è diventata disponibile una quantità di calcolo molto maggiore.

Sutton fornisce esempi in diversi ambiti, come gli scacchi e il gioco del Go, dove inizialmente si cercava di evitare il calcolo intensivo a favore di approcci basati sulla conoscenza umana. Questi approcci sono stati infine superati da metodi che sfruttano massicciamente il calcolo. Nel riconoscimento vocale, ad esempio, metodi statistici basati su modelli di Markov nascosti hanno superato quelli basati sulla conoscenza umana, portando a cambiamenti significativi nel campo dell’elaborazione del linguaggio naturale.

Sutton sottolinea anche l’importanza dell’apprendimento autonomo e dell’apprendimento in generale, paragonandoli alla ricerca in quanto entrambi permettono l’uso di enormi quantità di calcolo. Inoltre, osserva che ci sono state tendenze simili nella visione artificiale, dove i metodi tradizionali sono stati sostituiti da reti neurali moderne che usano concetti come la convoluzione.

La conclusione di Sutton è che il campo dell’IA non ha ancora appreso completamente questa lezione, continuando a commettere errori simili. Sottolinea l’importanza di comprendere l’attrattiva di questi errori per resistere efficacemente ad essi, e conclude che dovremmo smettere di cercare modi semplici per pensare ai contenuti delle menti, concentrandoci invece sui metodi che possono catturare la complessità intrinseca del mondo esterno.

Argomenti:

1. Importanza del calcolo: Il focus di Sutton sull’importanza del calcolo e sulla riduzione del costo per unità di calcolo (legge di Moore) è cruciale. Questo approccio ha portato a notevoli progressi in diversi campi, come il riconoscimento vocale, gli scacchi e il Go. La capacità di processare grandi quantità di dati e di eseguire complessi algoritmi di apprendimento automatico ha permesso di superare limiti precedentemente inimmaginabili.
2. Limiti della conoscenza umana: L’osservazione che l’introduzione della conoscenza umana nei sistemi di IA può portare a un plateau prestazionale è una constatazione significativa. La conoscenza umana è intrinsecamente limitata e soggettiva, e può impedire l’esplorazione di soluzioni innovative che un sistema guidato dal calcolo può scoprire.
3. Sviluppo di metodi generali: L’enfasi sui metodi generali che scalano con l’aumento del calcolo è una direzione promettente. Tali metodi, come l’apprendimento automatico e l’elaborazione delle reti neurali profonde, hanno dimostrato di essere estremamente efficaci in un’ampia gamma di applicazioni.
4. Equilibrio tra calcolo e conoscenza umana: Nonostante l’enfasi sul calcolo, non si deve sottovalutare il valore della conoscenza e dell’intuizione umana. L’interazione tra calcolo e intuizione umana potrebbe portare a soluzioni più innovative e efficaci.
5. Apprendimento e adattabilità: La capacità degli algoritmi di apprendere autonomamente, come nel caso dell’apprendimento tramite il gioco autonomo, è un passo fondamentale verso sistemi di IA più avanzati e versatili.

In conclusione, la “Lezione Amara” sottolinea l’importanza del calcolo e dei metodi generali nell’IA, ma allo stesso tempo suggerisce la necessità di un equilibrio tra l’utilizzo del calcolo e l’integrazione della conoscenza umana. È una riflessione profonda che guida la ricerca e lo sviluppo nell’IA verso nuovi orizzonti di scoperta e innovazione.