Elencare tutti i termini di una lingua è impossibile?

Anche se Twitter dà spazio a 140 caratteri, c’è un account che dal 2007 fino allo scorso 7 giugno ha preferito twittare sempre e solo una parola alla volta. @everyword è un bot inventato dal poeta e programmatore Adam Parrish con lo scopo di elencare tutti i termini che compongono la lingua inglese. In un’intervista al Guardian, Parrish ha detto di non ricordare da quale dizionario provengano le parole postate dall’account: «Si tratta di una lista che ho scaricato da un sito web, non è l’Oxford English Dictionary. Uno degli scopi di @everyword è quello di farci riflettere attorno a un quesito: è possibile avere un elenco ufficiale di tutti i termini inglesi? Secondo me la risposta è no».

Il dilemma filosofico alla base dell’idea di Parrish ha in realtà origini ben più antiche di un account Twitter. A chiedersi se sia possibile catalogare o meno tutto il vocabolario di una lingua sono stati in molti, tra cui anche il matematico tedesco Gregory Cantor: secondo la sua teoria, ogni idioma può essere suddiviso in un numero infinito di insiemi, ognuno dei quali a sua volta ne può contenere altri infiniti.

Molti studiosi si sono occupati di questo argomento con particolare riferimento al vocabolario shakespeariano, uno dei più vasti. Nel 1986, ad esempio, un documentario della Pbs intitolato The story of English sosteneva che Shakespeare avesse usato un totale di 30 mila parole nella sua produzione, ossia circa il doppio di quelle utilizzate da una persona mediamente istruita. Ward Elliot e Robert Valenza, invece, nel loro articolo “Shakespeare’s vocabulary: did it dwarf all the others?” la pensano diversamente e sottolineano che esistono vari modi di classificare i termini di una lingua; citano anche gli studi di Marvin Spevack, che fu uno dei primi a utilizzare i computer con questo obiettivo.

Questo impiego dei bot si è dimostrato deludente, perché le macchine non sono in grado di comprendere i meccanismi alla base di una lingua: il computer di Spevack non sapeva distinguere le varianti ortografiche usate da Shakespeare per indicare uno stesso significato, come ad esempio “murder” e “murther”.

I computer, inoltre, non sono capaci di realizzare una lemmatizzazione del linguaggio, ossia di capire se due parole hanno o meno la stessa radice, conteggiandole di conseguenza. Per fare un esempio, un bot considererebbe “horse” e “horses” come due parole differenti, proprio perché incapace di riconoscere che in realtà si tratta dello stesso lemma. La macchina di Spevack non era nemmeno in grado di identificare gli omografi, vale a dire parole come “bear” e “spring”, che in inglese possono essere sia sostantivi che verbi, oppure espressioni composte come i verbi frasali, che dall’unione di due significanti danno vita a un significato totalmente nuovo (l’inglese ne è ricco: “put up”, “grow up” e simili). Secondo Elliot e Valenza, per queste ragioni il vocabolario shakespeariano non è davvero superiore a quello di uso comune, ma in realtà contiene tra le 17 e le 18 mila voci.

In conclusione, la possibilità di elencare tutti i termini di una lingua all’interno di un unico insieme finito appare molto complicata, in particolare se si decide di ricorrere alla tecnologia. Anche il bot scelto da Parrish per creare @everyword si è infatti rivelato incapace di riuscire in questo intento. Ma per il programmatore l’esperimento di classificazione linguistica non è ancora finito, dato che ha dichiarato di voler avviare una “season 2” del suo account. Per twittare un elenco più completo.

(via)