Ma veramente stiamo normalizzando l’assurdità di mandare dati personali, documenti aziendali e contenuti sensibili a server AI remoti — anche quando non serve — per farci delle elaborazioni che avremmo benissimo potuto completare localmente?
Ultimamente ho letto diversi articoli molto interessanti sulla Local AI e secondo me evidenziano benissimo il livello di c@77@t@ apocalittica che stiamo commettendo non adottando una policy di ’local first’ per tutto il software AI che stiamo sviluppando.
Il problema: cloud everywhere, senso comune nowhere
Oggi integriamo API di OpenAI o Anthropic ovunque, spesso per task semplici come:
- Riassumere note
- Classificare documenti
- Organizzare email
- In generale trasformare testo
Ma per fare queste operazioni relativamente semplici, inviamo dati fuori dai nostri dispositivi. E con questo creiamo:
- Dipendenze inutili dal cloud
- Aumento di costi e latenza (i dati devono viaggiare da noi al cloud e ritorno)
- Rischi nuovi (se cade la rete, se GPT non risponde, che fai?)
- Problemi di privacy e compliance
- Uno stack operativo fragile
Ma ci siamo bevuti il cervello?
Lo sapevate che avete già il potere computazionale?
Eppure smartphone e laptop moderni hanno già una potenza AI enorme onboard: GPU dedicate e spesso abbastanza RAM per eseguire dei modelli di near-frontier (opportunamente quantizzati). Tutto hardware potentissimo che spesso resta inutilizzato.
Ma se è vero che la gran parte delle feature AI non hanno bisogno della superintelligenza di un modello di frontiera e devono solo trasformare dati locali in modo affidabile, perchè non ci affidiamo a un buon SLM (small language model)?
Questa strategia ha più senso perchè gli SLM:
- Sono più veloci
- Costano solo l’energia per eseguirli
- Funzionano offline
- Sono più prevedibili
- Proteggono meglio la privacy
La storia che avrebbe dovuto raccontarci tutto
C@778, ma lo sapete che c’è un tizio che si è fatto un volo di 10 ore con un Mac abilitato con uno SLM e durante il volo si è vibe-codato un tool di analisi di fatturazione?
Ma che figo è? E quanta libertà e privacy in più ci offre?
(Leggetelo qui: https://lnkd.in/dZXj9fQf)
Quella è la strada. Quella è la libertà che dovremmo inseguire.
Due strade completamente diverse
Secondo me nei prossimi anni vedremo due direzioni molto diverse:
- AI cloud per reasoning complesso e conoscenza globale
- AI locali per produttività, automazione personale e trasformazione dei dati
E probabilmente la seconda categoria crescerà molto più velocemente di quanto immaginiamo e più della prima, perchè — come fu quarant’anni fa per il passaggio dai mainframe al personal computing — la flessibilità dello strumento si manifesta in pieno solo quando siamo liberi di usarla a nostro piacimento, senza i vincoli di una condivisione forzata ed evitando di mandare dati in giro quando non è necessario.
Allora, ce lo vogliamo riportare in casa questo potere computazionale?
Commenti