Perplexity

Avevo da scrivere un pezzo sul “Secolo breve” di Hobsbwam ma ieri in tarda serata ho scoperto Perplexity.ai
Vivendo un po’ fuori dal mondo ho scoperto l’esistenza di ChatGPT solo da una settimana circa mentre, osservando le date dei video su YouTube, credo sia in giro da almeno un tre mesi…

ChatGPT è una IA che, se ho ben capito, è stata addestrata leggendo tutti i testi disponibili su Internet e con la quale è possibile dialogare (anche in italiano), porgli delle domande e chiedergli di generare testi (codice ma anche racconti, articoli, poesie o perfino musica). E i risultati, soprattutto per quanto riguarda il codice, sono molto buoni e di sicuro impressionanti.
Esiste poi la versione a pagamento ChatGPT Plus (20$ al mese) che presenta qualche opzione in più (accesso privilegiato, diverse personalità etc.). Caratteristica di Chat GPT è che è stato addestrato con il contenuto della rete del 2021 e, di conseguenza, non ha idea di cosa è successo dal 2022 in poi…

Ovviamente avrei voluto provarlo ma in questo momento gli accessi sono troppi e quindi non è possibile: e suppongo che, dato il successo e la curiosità, la situazione rimarrà questa per parecchio tempo...

Ieri però ho scoperto che Bing di Microsoft (che ha finanziato la ricerca di Chat GPT) lo ha già integrato nel proprio motore di ricerca (con terrore di Google!) e dove è possibile dialogarci direttamente (oltretutto, avendo accesso a Internet, può rispondere anche a domande anche oltre il 2021). Per accedervi bisogna andare sulla pagina di Bing e cliccare su “Chat”: sfortunatamente a questo punto si scopre che, anche in questo caso, c’è una lista d’attesa per poterlo usare.

Infine ho scoperto Perplexity che, se ho ben capito, deve essere una versione semplificata di Chat GPT che, a ieri sera (14 febbraio, molto romantico) era ancora utilizzabile.
Così, invece di guardare la partita del Milan, ho passato oltre un’ora a fare qualche esperimento. Di seguito alcune schermate e le mie riflessioni.

Qui volevo valutare quanto in profondità conosce la storia e se fosse stato possibile entrare in qualche dettaglio.
La mia domanda era introduttiva, per sondare il terreno, ma la risposta è già illuminante.
Il primo periodo è corretto (ratifica 1789) ma è in contraddizione con l’ultimo (ratifica 1788) che inoltre è completamente sbagliato (la Carolina del Nord fu il penultimo paese a ratificare la costituzione e non certo il nono!).
In basso si vede poi i siti dai quali ha recuperato l’informazione richiesta.
Ne possiamo già concludere diverse cose: la comprensione del contenuto di Perplexity è praticamente nulla: riesce a cogliere attinenze di significato fra singole parole (niente di nuovo qui: sono i soliti vettori multidimensionali vicini fra loro...) ma non a interpretare il significato anche di frasi semplici.
Osservando meglio sembra che abbia preso campioni di testo dai vari siti indicati, rielaborandoli in maniera da renderli uniformi e inserendovi come soggetto la Carolina del Nord.
Il fattore casuale della risposta è notevole.
Da quello che ho saputo anche Chat GPT può rispondere con degli errori ma non so se altrettanto frequenti.

Come si vede le fonti usate sono più specifiche e proabilmente influiscono sulla correttezza della risposta.
Comunque questa volta mi risponde correttamente ma non si accorge di aver sbagliato nella risposta precedente. Niente di strano in ciò visto che la sua comprensione di quel che scrive è nulla.

Qui cambio argomento e gli chiedo di D’Annunzio… e anche qui c’è un evidente errore: D’Annunzio non ha guidato il primo stato fascista!
Comunque prima gli chiedo di spiegarmi il significato di una parola che, mi pare, azzecchi…

Anche qui, dopo che gli ho chiesto di confermarmi un qualcosa che ha precedentemente affermato, si corregge. Mi chiedo se, in qualche modo, riesca ad approfondire la sua ricerca.

Ovviamente gli ho chiesto di questo ghiribizzo!
La sua risposta è stata di nuovo molto interessante perché basata su un’analisi degli articoli al momento presenti all’indirizzo parole-sante.blogspot.it
Ma anche in questo caso non c’è comprensione, neppure complessiva, del testo (manca capacità di induzione).
Che scrivo delle ragionali di Lazio e Lombardia è corretto ma io avrei riassunto con “politica italiana”; ma più che di pro e contro di offensive invernali o primaverili avrei riassunto con “guerra in Ucraina” e/o “geopolitica”; e riguardo all’articolo su Popper avrei detto “necessità della scienza” e/o “commento a libri letti” anche se, incidentalmente, è vero che io scriva spesso di libertà di pensiero e non solo (ma è un caso: nell’articolo mi riferivo a una necessità della scienza).
Tutto il resto se lo è inventato di sana pianta! Probabilmente il collegamento al mio ghiribizzo è apparso per misteriosi ragioni informatiche sui siti menzionati: dubito fortemente che il prof. Antoine Pietrobelli mi abbia citato nel suo libro… ecco forse, al massimo, come fonte di informazione superficiale, al limite del pregiudizio e della bufala, sul ruolo francese in Africa o roba del genere! Molto più probabile che, per qualche strana combinazione informatica, il collegamento al mio sito e il prof. Pietrobelli siano comparsi in una stessa pagina e solo la “fantasia” di Perplexity li abbia legati insieme.

Gli esempi di ChatGPT mi avevano colpito per la simulazione di creatività. Sfortunatamente Perplexity non sembra avere questa capacità: non riesce a scrivere una storia coerente ma l’infarcisce con dati pescati da altri siti di informazioni sui gatti. È abbastanza evidente che sostituisce il nome “Bisba” al generico “cat”. Buffo il periodo finale: sembra quasi del mio umorismo ma in questo caso è un’associazione casuale che non ha niente a che vedere con la storia. Non so: forse avrebbe voluto essere una sorta di morale conclusiva?
Da notare che nella mia domanda avevo cercato di confondere l’IA mettendo insieme “nero” e “bianco” e “kind” contrapposto a “kill”. Ma, curiosamente, inizialmente non gli era piaciuto il mio “Please” (inteso come “soddisfare” invece che come “per favore”) che, suppongo, avesse associato a “children”. Solo togliendo il “Please” iniziale ha risposto alla mia domanda generando il testo sullodato!

Che dire?
Sicuramente interessante ma non mi ha particolarmente impressionato: è troppo evidente come fonda insieme in maniera quasi casuale testi provenienti da siti diversi dando risultati decisamente INAFFIDABILI.
Sarebbe interessante sapere quanto sia meglio ChatGPT/Bing: suppongo parecchio ma dovrei provare uno dei due per farmene un’idea precisa.
Da notare che quando ho chiesto precisazioni anche Perplexity si correggeva: è possibile quindi che per ragioni di “carico” (numero di utenti connessi) le sue risposte siano molto approssimate ma che basti un po’ di calcolo in più per ottenere una precisione/affidabilità decisamente superiore.

La mia sensazione è che anche ChatGPT non comprenda quello che scrive ma, probabilmente, associ più correttamente insieme gli elementi logici delle proposizioni che legge e sul cui modello si basa per rispondere. Comunque affascinante!

Mi piace pensare che queste capacità superficiali di imitare la forma del pensiero umano portino a una maggiore considerazione dei contenuti piuttosto che dell’aspetto.
La distanza infatti fra un articolo leggero e quanto può produrre una di queste AI è infatti già molto bassa ma il discorso è completamente diverso per articoli (come i miei!) infarciti di considerazioni e riflessioni logiche e inedite.
Ma chiaramente questa è solo una speranza illusoria: il pubblico sarà più che contento di “bersi” articoli leggeri, purché divertenti, che ripropongano sempre la stessa aria fritta anche se privi di significato più profondo…

Conclusione: quando potrò proverò sicuramente a testare chatGPT o “Bing chat”.

Share