Meta 震撼彈!開源 Llama 4 多模態 AI 登場,效能驚人挑戰 GPT-4!

Meta 最新力作 Llama 4 系列 AI 模型正式開源!原生多模態、超長上下文、專家混合架構, Llama 4 Scout 與 Maverick 效能強悍,更有巨獸級 Behemoth 蓄勢待發。立即了解這場 AI 革命!


嘿,各位 AI 玩家和科技迷們,注意啦!Meta 最近可是丟下了一顆重磅炸彈,正式推出了他們迄今為止最強大的開源 AI 模型系列—— Llama 4!這次首發就帶來了兩位猛將:Llama 4 ScoutLlama 4 Maverick。這可不只是小打小鬧的更新,感覺像是 AI 界要掀起新一波浪潮了。

你可能會想,又一個 AI 模型,有什麼大不了的?嗯,這次 Llama 4 可不是鬧著玩的。Meta 不僅提升了模型的聰明程度,還首次採用了「專家混合」(MoE)架構,並且讓它們天生就具備「多模態」能力,也就是說,它們不只能讀懂文字,還能看懂圖片甚至影片!這對未來我們如何跟 AI 互動,簡直打開了新世界的大門。

Llama 4 家族大揭秘?先來認識 Scout 和 Maverick

這次 Meta 一口氣推出兩個模型,各有神通,滿足不同需求。

Llama 4 Scout:輕巧高效,上下文長到離譜!

先來看看這位「偵察兵」Llama 4 Scout。它擁有 1090 億總參數,但活躍參數只有 170 億,還有 16 位「專家」協同工作。聽起來好像還好?厲害的在後面!

它的最大亮點是支援 1000 萬(沒錯,你沒看錯,是 10M!)的上下文長度。這是什麼概念?想像一下,這等於能一口氣處理超過 20 小時的影片內容,或是把超長的報告、程式碼庫一次丟給它分析。而且,經過 Int4 量化後,它居然只需要一張 NVIDIA H100 GPU 就能跑起來!這對開發者來說簡直是福音。

效能方面,Llama 4 Scout 在各種基準測試中,把 Google 的 Gemma 3、Gemini 2.0 Flash-Lite,還有 Mistral 3.1 都甩在身後。對於需要處理大量資訊、又希望模型相對輕巧的應用場景,Scout 看起來是個絕佳選擇。

Llama 4 Maverick:全能高手,挑戰頂級模型的狠角色!

接著是「獨行俠」Llama 4 Maverick。它的總參數高達 4000 億,活躍參數一樣是 170 億,但專家數量暴增到 128 位!上下文長度也達到 100 萬。

Maverick 的目標顯然是衝著頂級效能來的。在知名的 LMSYS 大型模型排行榜上,它的實驗性聊天版本拿下了第二名(ELO 分數 1417),僅次於閉源的 Gemini 2.5 Pro!更驚人的是,它在推理和程式碼能力上,居然能用比 DeepSeek-v3 少一半的活躍參數,達到跟對方差不多的水準。這意味著極高的效率和性價比。

Meta 說 Maverick 是他們產品中的主力模型,特別適合做通用的聊天助理、精確的圖像理解和創意寫作。想打造複雜的 AI 應用,Maverick 絕對是個值得關注的選項。

還沒完?巨獸 Llama 4 Behemoth 正在醞釀中!

以為這樣就結束了嗎?還沒呢!Meta 還預告了真正的「巨獸」—— Llama 4 Behemoth!這個模型預計在未來幾個月內登場,參數總數可能接近 2 兆(2T)!活躍參數也高達 2880 億,專家數 16 位。

雖然 Behemoth 還在訓練中,但目前在 STEM(科學、技術、工程、數學)相關的基準測試中,它已經超越了 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro!聽起來是不是很嚇人?Meta 透露,他們就是用 Behemoth 作為「老師」,透過一種叫做「共同蒸餾」(codistillation)的技術來訓練 Maverick,大幅提升了小模型的品質。我們就拭目以待這個龐然大物的正式亮相吧!

背後的技術魔法?MoE、多模態與訓練巧思

Llama 4 系列之所以這麼強大,背後有不少技術革新。

首次採用「專家混合」(MoE)架構

這是 Llama 家族第一次使用 MoE。簡單來說,MoE 架構就像一個團隊裡有很多不同領域的專家。當模型處理一個任務(一個 token)時,並不需要動用所有專家(全部參數),只需要喚醒其中幾位相關的專家就行。

這樣做有什麼好處?最直接的就是效率!無論是訓練模型還是實際運行(推理),都更節省計算資源。用同樣的計算量,MoE 模型通常能達到比傳統「密集型」模型更好的效果。像 Maverick 有 4000 億總參數,但實際活躍的只有 170 億,這讓它運行起來更快、成本更低。

天生多模態:文字、圖像、影像一起來!

Llama 4 從設計之初就是原生多模態模型。Meta 採用了一種叫做「早期融合」(early fusion)的技術,讓模型可以直接將文字、圖像甚至影片的資訊(tokens)無縫整合在一起處理。

這跟以前先把圖像資訊轉成文字再餵給模型的做法不同,早期融合讓模型能更深入地理解圖文之間的關聯。Meta 還升級了視覺編碼器(基於 MetaCLIP 但有改良),並開發了新的訓練方法 MetaP 來優化超參數設定。

更聰明的訓練策略

為了打造出色的 Llama 4,Meta 在訓練上也下了不少功夫:

  • MetaP 技術: 一種新的訓練技術,可以更可靠地設定模型的一些關鍵超參數。
  • 多語言能力: 在超過 200 種語言上進行了預訓練,其中 100 多種語言的訓練資料超過 10 億 token,多語言 token 總量是 Llama 3 的 10 倍!
  • 效率至上: 使用 FP8 精度進行訓練,在不犧牲品質的前提下,確保了極高的計算效率(在 32K GPU 上訓練 Behemoth 時達到 390 TFLOPs/GPU)。
  • 海量資料: 總訓練資料超過 30 兆 token,是 Llama 3 的兩倍多,涵蓋了文字、圖像和影片等多樣化資料集。
  • 中期訓練強化: 在預訓練後,還進行了所謂的「中期訓練」,使用特殊資料集來強化核心能力,特別是擴展上下文長度,這也是 Scout 能達到 1000 萬上下文的關鍵。

精雕細琢:讓模型更聰明、更實用

模型預訓練好只是第一步,接下來的「後期訓練」(post-training)同樣重要,目的是讓模型更符合人類的期望,更擅長對話和遵循指令。

Meta 這次調整了策略,採用了 輕量級監督微調(SFT) -> 線上強化學習(RL) -> 輕量級直接偏好優化(DPO) 的流程。他們發現,如果 SFT 和 DPO 做得太「重」,反而會限制模型在 RL 階段的探索,影響在推理、程式碼等方面的表現。

所以,他們用 Llama 模型當「裁判」,篩掉了超過 50% 被標記為「簡單」的資料,只在剩下的較難資料上做輕量級 SFT。接著,在多模態的線上 RL 階段,透過精心挑選較難的提示(prompts),實現了效能的躍升。他們還用了「持續線上 RL」策略,不斷訓練、不斷用模型篩選出中高難度的提示,在計算效率和準確性之間取得了很好的平衡。最後再用輕量級 DPO 來處理一些回應品質的邊緣案例。

正是這一整套精心設計的流程,加上從 Behemoth 那裡學來的「知識」(共同蒸餾),才讓 Maverick 在保持智慧的同時,也具備了出色的對話能力和圖像理解力。

對於 Scout 的超長上下文能力,Meta 也用了特殊技巧。他們在 256K 的上下文長度下進行預訓練和後期訓練,賦予了模型長度泛化的基礎。關鍵創新在於使用了不含位置嵌入的交錯注意力層(interleaved attention layers without positional embeddings),並在推理時對注意力進行溫度縮放,稱之為 iRoPE 架構(i 代表交錯,RoPE 代表旋轉位置嵌入)。聽起來很技術流,但效果就是讓 Scout 能處理那驚人的 1000 萬 token!

此外,兩個模型都訓練了大量的圖像和影片幀,讓它們具備廣泛的視覺理解能力,甚至能理解多張圖片的時間順序或關聯性。模型預訓練時最多能處理 48 張圖片,後期測試中處理 8 張圖片效果良好。Scout 在圖像標註(grounding)方面也很出色,能將用戶提示與圖像中的相關區域對應起來。

安全第一,絕不馬虎!

談到 AI,安全和責任絕對是重中之重。Meta 強調他們在開發 Llama 4 的每個階段都整合了保護措施,從預訓練的資料過濾,到後期訓練的安全資料整合,再到開發者可以調整的系統級防護。

他們提供了一系列開源工具來幫助開發者:

  • Llama Guard: 用於檢測輸入或輸出是否違反開發者自訂政策的安全模型。
  • Prompt Guard: 偵測惡意提示(如越獄攻擊)或包含注入內容的提示。
  • CyberSecEval: 幫助評估和降低生成式 AI 網路安全風險的工具。

Meta 還提到了他們透過自動化和人工方式進行的「紅隊演練」(red-teaming)來壓力測試模型,甚至開發了新的 GOAT(Generative Offensive Agent Testing) 技術,模擬中等技能的攻擊者進行多輪互動,以更快地發現潛在漏洞。

正視偏見問題

老實說,所有領先的 AI 模型都面臨偏見問題,尤其是在有爭議的政治和社會議題上,由於網路訓練資料的特性,模型可能會有傾向性。Meta 的目標是消除模型偏見,確保 Llama 能理解並闡述爭議性問題的雙方觀點,不偏袒任何一方。

他們表示 Llama 4 在這方面取得了顯著進步:

  • 在爭議性政治和社會議題上,拒絕回答的情況大幅減少(從 Llama 3.3 的 7% 降至 2% 以下)。
  • 回應的平衡性顯著提高(不平等拒絕回應的比例低於 1%)。
  • 在有爭議議題上表現出強烈政治傾向的比率,與 Grok 相當,且只有 Llama 3.3 的一半。

雖然取得了進展,但 Meta 也承認還有更多工作要做,會繼續努力降低模型的偏見。

立即體驗 Llama 4 生態系!

心動了嗎?想親手試試 Llama 4?

Meta 已經將 Llama 4 ScoutLlama 4 Maverick 模型開放下載,你可以直接前往 llama.comHugging Face 獲取。預計很快也會透過各大雲端平台、邊緣運算合作夥伴提供。

你也可以在 WhatsApp、Messenger、Instagram Direct 或 Meta.AI 網站上,體驗由 Llama 4 驅動的 Meta AI 最新版本。

Llama 4 的登場,不只是一個新模型的發布,更像是 Meta 對開放 AI 生態系統的又一次重要貢獻。從超長上下文到原生多模態,再到 MoE 架構帶來的高效率,Llama 4 無疑為開發者和研究人員提供了更強大的工具。接下來就看社群如何利用這些新模型,創造出更多令人驚豔的應用了!對了,Meta 還預告在 4 月 29 日的 LlamaCon 上會分享更多願景,有興趣的朋友可以關注一下。


免責聲明: 本文基於公開資訊撰寫,模型具體效能和應用效果可能因使用方式和場景而異。

Share on:
Previous: 秘密武器登場?OpenRouter 無預警釋出百萬級長上下文模型 Quasar Alpha
Next: Google Gemini 2.5 Pro API 定價公布:開發者熱議,使用量激增 80%
DMflow.chat

DMflow.chat

廣告

DMflow.chat:智慧整合,創新溝通!除了持久記憶與客製欄位外,更支持真人與 AI 的靈活轉換,無縫連接資料庫與表單,讓網頁互動更靈活高效。

Google Gemini 2.5 Pro API 定價公布:開發者熱議,使用量激增 80%
6 April 2025

Google Gemini 2.5 Pro API 定價公布:開發者熱議,使用量激增 80%

Google Gemini 2.5 Pro API 定價公布:開發者熱議,使用量激增 80% Google 正式公布了備受期待的 Gemini 2.5 Pro API 定價方案。雖然價格...

還在手動找資料?Google NotebookLM 新增「探索來源」功能,讓 AI 幫你搞定
5 April 2025

還在手動找資料?Google NotebookLM 新增「探索來源」功能,讓 AI 幫你搞定

還在手動找資料?Google NotebookLM 新增「探索來源」功能,讓 AI 幫你搞定! Google NotebookLM 推出超方便的「探索來源」新功能!只要輸入你想了解的主題...

Midjourney V7 來了!不只畫質升級,這次 AI 繪圖要讀懂你的心
5 April 2025

Midjourney V7 來了!不只畫質升級,這次 AI 繪圖要讀懂你的心

Midjourney V7 來了!不只畫質升級,這次 AI 繪圖要讀懂你的心? AI 繪圖界的大咖 Midjourney 終於推出 V7 Alpha 版!這次不只追求更美的畫面和更順暢的...

OpenAI 即將發布開源推理o3-mini模型?
1 April 2025

OpenAI 即將發布開源推理o3-mini模型?

OpenAI 即將發布開源推理o3-mini模型? OpenAI 即將發布一款具備推理能力的開源模型,這是自 GPT-2 之後,公司再次推出的重要開源模型。這次發布吸引了全球開發者的關注...

ChatGPT 原生圖片生成功能開放免費用戶使用!AI 創作邁入新時代?
1 April 2025

ChatGPT 原生圖片生成功能開放免費用戶使用!AI 創作邁入新時代?

ChatGPT 原生圖片生成功能開放免費用戶使用!AI 創作邁入新時代? AI 圖像生成功能悄然擴展,免費用戶也能玩! OpenAI 最近釋出的 ChatGPT 圖片生成功能,在社群媒體上掀...

馬斯克的 AI 大棋局:xAI 與 X 正式合併,估值飆升 800 億美元,劍指 AI 霸權
30 March 2025

馬斯克的 AI 大棋局:xAI 與 X 正式合併,估值飆升 800 億美元,劍指 AI 霸權

馬斯克的 AI 大棋局:xAI 與 X 正式合併,估值飆升 800 億美元,劍指 AI 霸權? 科技巨頭馬斯克震撼宣布旗下 AI 新創 xAI 與社群平台 X 正式合併!全股票交易推升 ...

OpenAI Day12: AI模型重大突破:o3系列展現超越人類的推理能力
21 December 2024

OpenAI Day12: AI模型重大突破:o3系列展現超越人類的推理能力

OpenAI Day12: AI模型重大突破:o3系列展現超越人類的推理能力 文章摘要 在人工智慧發展歷程中,迎來一個重要的里程碑:全新的o3系列模型於數學運算、程式編寫等領域展現前所未有的卓...

英國O2電信推出AI反詐騙機器人「黛西」:讓詐騙者空等40分鐘的智慧奶奶
16 November 2024

英國O2電信推出AI反詐騙機器人「黛西」:讓詐騙者空等40分鐘的智慧奶奶

英國O2電信推出AI反詐騙機器人「黛西」:讓詐騙者空等40分鐘的智慧奶奶 📱 文章摘要 在這個詐騙猖獗的時代,英國電信巨頭O2推出了一款突破性的AI機器人「黛西」(Daisy),這位AI奶奶能...

OpenAI 宣布支援 Anthropic 的 MCP 標準,Agent SDK 也將加入 MCP 支援
27 March 2025

OpenAI 宣布支援 Anthropic 的 MCP 標準,Agent SDK 也將加入 MCP 支援

OpenAI 宣布支援 Anthropic 的 MCP 標準,Agent SDK 也將加入 MCP 支援 OpenAI 擁抱 MCP,強化 AI 助理的準確性與相關性 OpenAI 執行長 ...