DMflow.chat
廣告
DMflow.chat：智慧客服新時代，輕鬆切換真人與 AI！持久記憶、客製欄位、即接資料庫表單，多平台溝通，讓服務與行銷更上一層樓。
告別算力焦慮！FramePack 如何讓影片生成像玩圖一樣簡單？
覺得 AI 影片生成又酷又炫，但硬體門檻高、生成時間長？ lllyasviel 推出的 FramePack 可能就是你的救星！這款新工具讓影片擴散模型的感覺就像在玩圖像擴散一樣，甚至可能在你的筆記型電腦 GPU 上就能跑。來看看它是怎麼做到的！
每次想玩影片生成，看到那驚人的 VRAM 要求和漫長的等待時間，是不是心都涼了半截？特別是想生成長一點、複雜一點的影片時，那計算資源的消耗簡直讓人望而卻步。感覺就像，圖像生成已經走入了家家戶戶，影片生成卻還停留在「實驗室」階段。
但現在，情況可能要改變了！由知名開發者 lllyasviel（就是那位貢獻了 ControlNet 等神作的大佬）推出的 FramePack，帶來了一種全新的思路，目標就是讓影片生成變得更親民、更高效。
簡單來說，FramePack 是一個基於「下一幀（或下一段幀）預測」的神經網路結構。它的核心魔法在於，能夠將輸入的上下文（也就是前面的畫面資訊）壓縮到一個固定的長度。
這招有什麼厲害的？
你可能會想，壓縮一下而已，有這麼神奇嗎？厲害之處就在於「固定長度」。
過去，想生成長一點的影片，模型需要參考的「前面內容」越來越多，計算量和記憶體需求也就跟著水漲船高，這也是為什麼長影片生成這麼吃資源。
但 FramePack 不同！它把前面所有畫面的「重點」聰明地濃縮成一份固定大小的「筆記」。這樣一來，無論模型已經生成了 10 秒還是 1 分鐘的影片，它在生成下一小段畫面時，需要參考的「筆記」大小始終不變！
這意味著，生成影片的工作負載基本上與影片的總長度脫鉤了！ 不管你的影片想要多長，它處理每一「段」新畫面的負擔都差不多。這就是官方說的「生成負載與影片長度無關」（generation workload is invariant to video length）。
所以，這到底有多酷？ 用起來感覺如何？
這項技術帶來的好處可是實實在在的：
- 硬體要求大降低： 最讓人興奮的一點！因為負載穩定，FramePack 號稱可以用 13B 參數的模型在筆記型電腦的 GPU 上處理大量幀。是的，你沒聽錯，官方提到即使是 RTX 30XX 系列的 GPU，只要有 至少 6GB 的 VRAM，就有機會跑起來。（GTX 10/20 系列未經測試，可能比較懸）這無疑大大降低了玩影片生成的門檻。
- 訓練更有效率： FramePack 可以用更大的批量大小 (batch size) 來進行訓練，這效率就跟訓練圖像擴散模型差不多了。對於研究人員和想要自己微調模型的人來說，這絕對是個好消息。不用再為了那小得可憐的 batch size 苦惱半天。
- 逐步生成與即時反饋： 影片是逐步生成的（progressively），你可以選擇一幀一幀或一小段一小段地生成。好處是你可以在生成過程中看到預覽，隨時掌握進度，而不是等老半天最後才發現結果不對。
- 不只是概念，直接給你桌面軟體！ FramePack 不光是個研究項目，官方直接提供了一個功能齊全的桌面軟體。裡面打包了高品質的取樣系統和記憶體管理，讓你下載就能用，專注創作本身。
聽起來是不是很像 Stable Diffusion 剛出來時那種「點燃星星之火」的感覺？影片擴散，但體驗卻像圖像擴散一樣！
心動了嗎？先看看你的裝備
想馬上試試？先確認一下你的電腦配備：
- GPU: 需要 NVIDIA 的 RTX 30XX、40XX 或 50XX 系列顯示卡，支援 fp16 和 bf16 運算。
- GPU 記憶體: 至少需要 6GB。
- 作業系統: Windows 或 Linux 都可以。
手把手帶你跑起來 (大概啦)
官方 GitHub 提供了蠻詳細的說明，這裡簡單說一下：
- Windows 使用者： 最方便！直接下載官方提供的一鍵式安裝包，解壓縮，先點
update.bat更新一下，然後點run.bat就啟動了！會彈出一個 Gradio 的網頁介面。 - Linux 使用者： 官方建議用獨立的 Python 3.10 環境。用
pip把requirements.txt裡的套件裝一裝，然後在終端機執行python demo_gradio.py就行了。
啟動後，你可以在左邊上傳圖片、輸入你的 Prompt (提示詞)，右邊就會顯示生成的影片和中間過程的預覽畫面了。
注意！注意！注意！重要的事情說三遍！
江湖險惡，尤其是 AI 熱潮下。lllyasviel 特別強調：
唯一的官方管道只有 GitHub Repository！
唯一的官方管道只有 GitHub Repository！
唯一的官方管道只有 GitHub Repository！
所有其他看起來很像的網址，比如 framepack.co, framepack.ai, framepack.pro, frame_pack.cc 等等全部都是假的！是詐騙！ 千萬別手滑點進去，更不要在那些網站下載任何東西或付錢！官方目前沒有任何其他的網站或線上服務。
總結：值得期待的影片生成新篇章？
FramePack 的出現，確實為影片生成領域帶來了一股清新的空氣。它巧妙地解決了長影片生成時的計算量暴增問題，讓高效、低門檻的影片創作變得更有可能。
雖然目前還是早期階段，但它展現的潛力，以及直接提供可用桌面軟體的誠意，都讓人非常期待它接下來的發展。
如果你對 AI 影片生成感興趣，而且手邊正好有符合最低要求的硬體，那還等什麼？趕快去官方 GitHub 下載試玩看看吧！別忘了，安全第一，只從官方 GitHub 獲取資訊和檔案喔！
延伸閱讀：
