
DMflow.chat
廣告
DMflow.chat:智慧整合,創新溝通!除了持久記憶與客製欄位外,更支持真人與 AI 的靈活轉換,無縫連接資料庫與表單,讓網頁互動更靈活高效。
Meta 最新力作 Llama 4 系列 AI 模型正式開源!原生多模態、超長上下文、專家混合架構, Llama 4 Scout 與 Maverick 效能強悍,更有巨獸級 Behemoth 蓄勢待發。立即了解這場 AI 革命!
嘿,各位 AI 玩家和科技迷們,注意啦!Meta 最近可是丟下了一顆重磅炸彈,正式推出了他們迄今為止最強大的開源 AI 模型系列—— Llama 4!這次首發就帶來了兩位猛將:Llama 4 Scout 和 Llama 4 Maverick。這可不只是小打小鬧的更新,感覺像是 AI 界要掀起新一波浪潮了。
你可能會想,又一個 AI 模型,有什麼大不了的?嗯,這次 Llama 4 可不是鬧著玩的。Meta 不僅提升了模型的聰明程度,還首次採用了「專家混合」(MoE)架構,並且讓它們天生就具備「多模態」能力,也就是說,它們不只能讀懂文字,還能看懂圖片甚至影片!這對未來我們如何跟 AI 互動,簡直打開了新世界的大門。
這次 Meta 一口氣推出兩個模型,各有神通,滿足不同需求。
先來看看這位「偵察兵」Llama 4 Scout。它擁有 1090 億總參數,但活躍參數只有 170 億,還有 16 位「專家」協同工作。聽起來好像還好?厲害的在後面!
它的最大亮點是支援 1000 萬(沒錯,你沒看錯,是 10M!)的上下文長度。這是什麼概念?想像一下,這等於能一口氣處理超過 20 小時的影片內容,或是把超長的報告、程式碼庫一次丟給它分析。而且,經過 Int4 量化後,它居然只需要一張 NVIDIA H100 GPU 就能跑起來!這對開發者來說簡直是福音。
效能方面,Llama 4 Scout 在各種基準測試中,把 Google 的 Gemma 3、Gemini 2.0 Flash-Lite,還有 Mistral 3.1 都甩在身後。對於需要處理大量資訊、又希望模型相對輕巧的應用場景,Scout 看起來是個絕佳選擇。
接著是「獨行俠」Llama 4 Maverick。它的總參數高達 4000 億,活躍參數一樣是 170 億,但專家數量暴增到 128 位!上下文長度也達到 100 萬。
Maverick 的目標顯然是衝著頂級效能來的。在知名的 LMSYS 大型模型排行榜上,它的實驗性聊天版本拿下了第二名(ELO 分數 1417),僅次於閉源的 Gemini 2.5 Pro!更驚人的是,它在推理和程式碼能力上,居然能用比 DeepSeek-v3 少一半的活躍參數,達到跟對方差不多的水準。這意味著極高的效率和性價比。
Meta 說 Maverick 是他們產品中的主力模型,特別適合做通用的聊天助理、精確的圖像理解和創意寫作。想打造複雜的 AI 應用,Maverick 絕對是個值得關注的選項。
以為這樣就結束了嗎?還沒呢!Meta 還預告了真正的「巨獸」—— Llama 4 Behemoth!這個模型預計在未來幾個月內登場,參數總數可能接近 2 兆(2T)!活躍參數也高達 2880 億,專家數 16 位。
雖然 Behemoth 還在訓練中,但目前在 STEM(科學、技術、工程、數學)相關的基準測試中,它已經超越了 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro!聽起來是不是很嚇人?Meta 透露,他們就是用 Behemoth 作為「老師」,透過一種叫做「共同蒸餾」(codistillation)的技術來訓練 Maverick,大幅提升了小模型的品質。我們就拭目以待這個龐然大物的正式亮相吧!
Llama 4 系列之所以這麼強大,背後有不少技術革新。
這是 Llama 家族第一次使用 MoE。簡單來說,MoE 架構就像一個團隊裡有很多不同領域的專家。當模型處理一個任務(一個 token)時,並不需要動用所有專家(全部參數),只需要喚醒其中幾位相關的專家就行。
這樣做有什麼好處?最直接的就是效率!無論是訓練模型還是實際運行(推理),都更節省計算資源。用同樣的計算量,MoE 模型通常能達到比傳統「密集型」模型更好的效果。像 Maverick 有 4000 億總參數,但實際活躍的只有 170 億,這讓它運行起來更快、成本更低。
Llama 4 從設計之初就是原生多模態模型。Meta 採用了一種叫做「早期融合」(early fusion)的技術,讓模型可以直接將文字、圖像甚至影片的資訊(tokens)無縫整合在一起處理。
這跟以前先把圖像資訊轉成文字再餵給模型的做法不同,早期融合讓模型能更深入地理解圖文之間的關聯。Meta 還升級了視覺編碼器(基於 MetaCLIP 但有改良),並開發了新的訓練方法 MetaP 來優化超參數設定。
為了打造出色的 Llama 4,Meta 在訓練上也下了不少功夫:
模型預訓練好只是第一步,接下來的「後期訓練」(post-training)同樣重要,目的是讓模型更符合人類的期望,更擅長對話和遵循指令。
Meta 這次調整了策略,採用了 輕量級監督微調(SFT) -> 線上強化學習(RL) -> 輕量級直接偏好優化(DPO) 的流程。他們發現,如果 SFT 和 DPO 做得太「重」,反而會限制模型在 RL 階段的探索,影響在推理、程式碼等方面的表現。
所以,他們用 Llama 模型當「裁判」,篩掉了超過 50% 被標記為「簡單」的資料,只在剩下的較難資料上做輕量級 SFT。接著,在多模態的線上 RL 階段,透過精心挑選較難的提示(prompts),實現了效能的躍升。他們還用了「持續線上 RL」策略,不斷訓練、不斷用模型篩選出中高難度的提示,在計算效率和準確性之間取得了很好的平衡。最後再用輕量級 DPO 來處理一些回應品質的邊緣案例。
正是這一整套精心設計的流程,加上從 Behemoth 那裡學來的「知識」(共同蒸餾),才讓 Maverick 在保持智慧的同時,也具備了出色的對話能力和圖像理解力。
對於 Scout 的超長上下文能力,Meta 也用了特殊技巧。他們在 256K 的上下文長度下進行預訓練和後期訓練,賦予了模型長度泛化的基礎。關鍵創新在於使用了不含位置嵌入的交錯注意力層(interleaved attention layers without positional embeddings),並在推理時對注意力進行溫度縮放,稱之為 iRoPE 架構(i 代表交錯,RoPE 代表旋轉位置嵌入)。聽起來很技術流,但效果就是讓 Scout 能處理那驚人的 1000 萬 token!
此外,兩個模型都訓練了大量的圖像和影片幀,讓它們具備廣泛的視覺理解能力,甚至能理解多張圖片的時間順序或關聯性。模型預訓練時最多能處理 48 張圖片,後期測試中處理 8 張圖片效果良好。Scout 在圖像標註(grounding)方面也很出色,能將用戶提示與圖像中的相關區域對應起來。
談到 AI,安全和責任絕對是重中之重。Meta 強調他們在開發 Llama 4 的每個階段都整合了保護措施,從預訓練的資料過濾,到後期訓練的安全資料整合,再到開發者可以調整的系統級防護。
他們提供了一系列開源工具來幫助開發者:
Meta 還提到了他們透過自動化和人工方式進行的「紅隊演練」(red-teaming)來壓力測試模型,甚至開發了新的 GOAT(Generative Offensive Agent Testing) 技術,模擬中等技能的攻擊者進行多輪互動,以更快地發現潛在漏洞。
老實說,所有領先的 AI 模型都面臨偏見問題,尤其是在有爭議的政治和社會議題上,由於網路訓練資料的特性,模型可能會有傾向性。Meta 的目標是消除模型偏見,確保 Llama 能理解並闡述爭議性問題的雙方觀點,不偏袒任何一方。
他們表示 Llama 4 在這方面取得了顯著進步:
雖然取得了進展,但 Meta 也承認還有更多工作要做,會繼續努力降低模型的偏見。
心動了嗎?想親手試試 Llama 4?
Meta 已經將 Llama 4 Scout 和 Llama 4 Maverick 模型開放下載,你可以直接前往 llama.com 或 Hugging Face 獲取。預計很快也會透過各大雲端平台、邊緣運算合作夥伴提供。
你也可以在 WhatsApp、Messenger、Instagram Direct 或 Meta.AI 網站上,體驗由 Llama 4 驅動的 Meta AI 最新版本。
Llama 4 的登場,不只是一個新模型的發布,更像是 Meta 對開放 AI 生態系統的又一次重要貢獻。從超長上下文到原生多模態,再到 MoE 架構帶來的高效率,Llama 4 無疑為開發者和研究人員提供了更強大的工具。接下來就看社群如何利用這些新模型,創造出更多令人驚豔的應用了!對了,Meta 還預告在 4 月 29 日的 LlamaCon 上會分享更多願景,有興趣的朋友可以關注一下。
免責聲明: 本文基於公開資訊撰寫,模型具體效能和應用效果可能因使用方式和場景而異。
DMflow.chat:智慧整合,創新溝通!除了持久記憶與客製欄位外,更支持真人與 AI 的靈活轉換,無縫連接資料庫與表單,讓網頁互動更靈活高效。
Google Gemini 2.5 Pro API 定價公布:開發者熱議,使用量激增 80% Google 正式公布了備受期待的 Gemini 2.5 Pro API 定價方案。雖然價格...
還在手動找資料?Google NotebookLM 新增「探索來源」功能,讓 AI 幫你搞定! Google NotebookLM 推出超方便的「探索來源」新功能!只要輸入你想了解的主題...
Midjourney V7 來了!不只畫質升級,這次 AI 繪圖要讀懂你的心? AI 繪圖界的大咖 Midjourney 終於推出 V7 Alpha 版!這次不只追求更美的畫面和更順暢的...
OpenAI 即將發布開源推理o3-mini模型? OpenAI 即將發布一款具備推理能力的開源模型,這是自 GPT-2 之後,公司再次推出的重要開源模型。這次發布吸引了全球開發者的關注...
ChatGPT 原生圖片生成功能開放免費用戶使用!AI 創作邁入新時代? AI 圖像生成功能悄然擴展,免費用戶也能玩! OpenAI 最近釋出的 ChatGPT 圖片生成功能,在社群媒體上掀...
馬斯克的 AI 大棋局:xAI 與 X 正式合併,估值飆升 800 億美元,劍指 AI 霸權? 科技巨頭馬斯克震撼宣布旗下 AI 新創 xAI 與社群平台 X 正式合併!全股票交易推升 ...
OpenAI Day12: AI模型重大突破:o3系列展現超越人類的推理能力 文章摘要 在人工智慧發展歷程中,迎來一個重要的里程碑:全新的o3系列模型於數學運算、程式編寫等領域展現前所未有的卓...
英國O2電信推出AI反詐騙機器人「黛西」:讓詐騙者空等40分鐘的智慧奶奶 📱 文章摘要 在這個詐騙猖獗的時代,英國電信巨頭O2推出了一款突破性的AI機器人「黛西」(Daisy),這位AI奶奶能...
OpenAI 宣布支援 Anthropic 的 MCP 標準,Agent SDK 也將加入 MCP 支援 OpenAI 擁抱 MCP,強化 AI 助理的準確性與相關性 OpenAI 執行長 ...
By continuing to use this website, you agree to the use of cookies according to our privacy policy.