FramePack: ora bastano 6 GB di VRAM per creare video con l’AI direttamente dal tuo PC

La generazione video con l’intelligenza artificiale ha fatto passi da gigante, ma fino a poco tempo fa era ancora una prerogativa di chi aveva accesso a schede grafiche potenti, server remoti o servizi cloud a pagamento. Ora tutto questo cambia grazie a FramePack, una nuova architettura neurale che promette di abbattere le barriere hardware, consentendo la generazione di video in locale anche su PC con soli 6 GB di VRAM.Progettato dal ricercatore Lvmin Zhang, in collaborazione con Maneesh Agrawala dell’Università di Stanford, FramePack introduce un approccio intelligente e leggero al problema della generazione video: uno strumento che potrebbe democratizzare l’accesso alla creatività audiovisiva alimentata dall’AI.

Cos’è FramePack e perché è rivoluzionario

FramePack è un modello IA composto da 13 miliardi di parametri, capace di comprimere in modo efficiente i fotogrammi di input in un contesto temporale a lunghezza fissa, migliorando così l’efficienza nella generazione di video.Il cuore del progetto risolve una sfida fondamentale: la gestione della memoria video durante la generazione. Nei modelli convenzionali, più lungo è il video, maggiore è il carico sulla VRAM. FramePack, invece, ottimizza il processo in modo tale da mantenere stabile l’utilizzo di memoria, rendendo possibile la creazione di clip da 1 minuto anche con GPU modeste.Il confronto con i modelli più pesanti è immediato: con un consumo simile a quello richiesto per generare un’immagine statica, FramePack permette video fluidi, coerenti e prolungati, senza la necessità di hardware di fascia alta.

Le caratteristiche chiave di FramePack

Oltre al basso consumo di risorse, FramePack introduce alcune funzioni chiave che lo rendono adatto anche a chi desidera risultati di qualità:

• Mitigazione del drifting: uno dei problemi classici nella generazione video è la perdita di coerenza visiva (drifting) man mano che il video progredisce. FramePack include tecnologie che preservano l’integrità visiva lungo tutta la sequenza.
• Compatibilità modulare: sebbene il modello sia attualmente integrato con Hunyuan, la documentazione suggerisce la possibilità di adattarlo a qualunque modello pre-addestrato, offrendo flessibilità agli sviluppatori.
• Modello open: disponibile su GitHub, favorisce la sperimentazione, l’adattamento e l’integrazione in progetti customizzati.
• Efficienza ottimizzata: 30 fps come massimo frame rate attuale, un compromesso accettabile per video consumer, presentazioni animate o contenuti per social media.

Limiti attuali e prospettive future

Sebbene le potenzialità siano impressionanti, FramePack è ancora in una fase embrionale. Al momento:

• Il supporto GPU è limitato alle NVIDIA GeForce RTX serie 30, 40 e 50, con compatibilità garantita solo con FP16 e BF16.
• Il frame rate massimo di 30 fps può rappresentare un limite per produzioni professionali o filmati cinematografici.
• Non è ancora stato verificato il supporto per architetture AMD o Intel.

Tuttavia, è evidente che il modello non mira (almeno per ora) a sostituire strumenti professionali, ma piuttosto a rendere la generazione video AI accessibile a chiunque, anche con un laptop o una workstation di fascia media.Con la continua evoluzione delle architetture neurali e il miglioramento dei modelli open-source, è plausibile che FramePack possa diventare presto un punto di riferimento per i creator indipendenti, le startup e gli appassionati di AI video.

📽️ Ti interessa generare video AI direttamente dal tuo PC? Scopri i tutorial dedicati ai migliori strumenti per la creazione video nel canale YouTube ComeFareAI — troverai guide pratiche, esempi e news sempre aggiornate!