SynapseWire

EmbeddingGemma 2 發布:7.4 億參數、8K 上下文、Apache 2.0 授權

Google 10 月 6 日發布 EmbeddingGemma 2:7.4 億參數、Apache 2.0、上下文 8K。191MB 是量化後的數字。

發布於:
窗邊淺橡木桌上,一個啞光小金屬塊、一疊空白索引卡,和一圈灰色電線。
FIG. 01 // 窗邊淺橡木桌上,一個啞光小金屬塊、一疊空白索引卡,和一圈灰色電線。

重點先看: Google 於 2026 年 10 月 6 日發布 EmbeddingGemma 2:7.4 億參數的嵌入模型,採用 Apache 2.0 授權,上下文長度 8K。Google 提到的 191MB 是量化版本在 Pixel 11 Pro 上的大小。

參數個數和記憶體佔用不是同一個量。Google 10 月 6 日的發布文寫 EmbeddingGemma 2 有 7.4 億參數,架構是 Gemma 4,授權是 Apache 2.0。同一篇又寫,量化之後,在 Pixel 11 Pro 上,只跑文本權重的主動記憶體可以低到大約 191MB,完整多模態大約 567MB。7.4 億是權重規模。191MB 是一支手機、一種量化、模型的一塊。把錯的那個貼進容量表,不是多買伺服器,就是少估了手機。

這個站已經寫過一張小模型價目,和「平均省下多少」不是同一刀。Haiku 5.5 短提示是 0.10 美元進、0.50 美元出,75% 是另一種算法。也寫過 Gemma 4 在本機跑,仍然要一套運行時。Antigravity SDK 那條路徑就是那套。也寫過一個開放權重的分數,分數不是交貨日。Mistral Large 4 拿 38 分,權重晚一點才落地。EmbeddingGemma 2 是第四種東西:它做嵌入,不做對話。標題上的參數總數,在你拿掉編碼器之後會裂開。

EmbeddingGemma 2 的 7.4 億是三塊加起來

發布文的模組那一行才是該釘在牆上的。只做文本,最少可以是 2.7 億參數。視覺編碼器另加 1.7 億。音訊編碼器另加 3 億。2.7 億加 1.7 億加 3 億,等於 7.4 億。Google 沒有印這道加法。加法剛好落在標題上的總數,所以這三塊比較像是 7.4 億的組成,而不是另一個模型。這不表示「最少 2.7 億」可以改寫成「正好 2.7 億」。as little as 是他們的退路。你下載到的文本檢查點未必剛好是這個整數。

Open Data Science 10 月 7 日把同一組數字又說了一遍:7.4 億參數、Gemma 4、Apache 2.0,文本大約 2.7 億,視覺加 1.7 億,音訊加 3 億。ODSC 在文本那一塊用的是 approximately。Google 用的是 as little as。接近,不是同一句。ODSC 是隔天的轉述,沒有改總數。我們抽到的 ODSC 正文沒有 8K、沒有 MTEB 的代碼分差、也沒有 191MB。那三項繼續算在 Google 頭上,直到第二家媒體自己印出來。

同一週的開發者博客重複了 7.4 億,也重複了 Pixel 11 Pro 的記憶體:文本權重大約 191MB 主動記憶體,完整多模態大約 567MB。該頁相關文章列表裡有一條「EmbeddingGemma 2: The Developer Guide」,日期寫 OCT. 6, 2026。兩份 Google 頁面,加一家行業站。行業站確認了參數怎麼拆。它沒有確認手機記憶體。

上下文是 8K,影音上限是 Google 的天花板

Google 說上下文是 8K token,是 EmbeddingGemma 1 的四倍。也說這個窗口在本機最多可以吃 5.5 分鐘音訊、29 張圖、58 幀影片,或這些東西交錯在一起。「最多」很忙。5.5 分鐘音訊和 29 張圖,不是一張可以同時花光的預算。交錯那一句又沒有給混合表。如果你要知道 10 張圖加 2 分鐘音訊塞不塞得下,Google 指去 model card。那張卡這次沒抽出來。

四倍上下文,比的是 EmbeddingGemma 1,不是 Gemini,也不是開發者博客說可以搭配的 Gemma 4 生成模型。嵌入模型的上下文變長,意思是一份更長的文件、一段更長的剪輯,或一次向量請求裡更多幀。不是更長的聊天。這個模型出的是向量。發布文寫得很明白:要做的是裝置上的搜尋、檢索和路由,舉例包括用一段語音備忘錄找影片片段,或用文字搜好幾小時的錄音。「好幾小時」和子彈裡的「5.5 分鐘」不是同一個容量。好幾小時得拆成很多次請求,或先把音訊切開再送去嵌入。單次呼叫,按他們印出來的那一句,頂在 5.5 分鐘。行銷例句不該蓋過子彈。

開發者博客還給了一個搭配 Gemma 4 會比較省的理由:EmbeddingGemma 2 和 Gemma 4 共用文本 tokenizer 和音訊編碼器,所以兩支一起跑,合計記憶體佔用更低。低過什麼、低多少 MB,那一段沒寫。更低就是主張的全部。若有人用 Gemma 4 的佔用減去 191MB,再把差叫做聯合成本,那道減法是編的。本站那篇 Antigravity 寫的是另一套運行時。數字不借用。

代碼分數動了 9.92,來源未列出其他分數

Google 說文本的多語表現對齊上一代 EmbeddingGemma,代碼在 MTEB Code 上從 68.76 到 78.68,高出 9.92 分。78.68 減 68.76,差是 9.92。和他們寫的「9.92 分」對得上。這是核對,不是新榜。發布文還說,在圖像、影片、文件和音訊上,它為 10 億參數以下的模型立了一個每參數質量的標準,而且超過一些體積比它大兩倍以上的專用模型。那些模型沒有名字。「一些」不是排行榜的一列。

ODSC 被我們抽到的正文沒有重印 68.76 或 78.68。所以代碼分差是 Google 的數字,外加一道算術核對,不是第二家編輯部重算過的。完整指標,發布文指向 EmbeddingGemma 2 的 model card。圖像和音訊的榜在文中有小標題。空格比一個記得的數字誠實。

7.4 億本來就低於 10 億。兩倍是 14.8 億。「大兩倍以上」表示他們在跟這條線以上的模型比,但沒點名。一支 15 億參數的專用模型,就這份證據而言,不是 EmbeddingGemma 2 打敗過的對象。它只是那句話暗示、卻沒有寫進文件的門檻。這句話留在他們名下。

768 維砍到 128,6 倍是最短的那支向量

發布文說,用 Matryoshka Representation Learning,輸出向量可以從 768 維截到 512、256 或 128。Google 說這能讓本機向量庫的儲存和記憶體最多縮到六分之一。768 除以 128 等於 6。「最多 6 倍」的頂,就是最短的那支向量,不是一份帶召回率、帶磁碟軌跡的資料庫實測。維度砍下去,向量庫會變小,檢索品質也可能一起掉。我們拿到的段落裡,沒有 128 維的召回落差。因為句子裡最大的數字是 6 倍就去用 128,本機索引會變小,也會變得沒用。文章說你可以截。沒說你應該截。

191MB 和 567MB 是另一對會被截圖的數字。兩個都是大約,兩個都在 Pixel 11 Pro 上,發布文把它們掛在量化後面。開發者博客用的是 active RAM 和 weights:文本權重大約 191MB,完整多模態大約 567MB。你的手機如果不是 Pixel 11 Pro,這就不是你的數字。若不做量化,發布文沒有給替代數字。「可以低到」適用的是他們寫的條件。筆電 CPU 上的結果可以落在別處。

Apache 2.0 是授權那一行,發布文和 ODSC 都寫了。commercially permissive 是 Google 對這個授權的形容。權重能下載,不等於權重你已經評過。圖表標題底下的分數,缺的仍是那張 model card。

它不是什麼

EmbeddingGemma 2 不是對話模型的替身,發布文也沒有裝成是。它做嵌入。和 Gemma 4 搭在一起做裝置上的檢索,是 Google 建議的形狀:共用 tokenizer、共用音訊編碼器,記憶體省多少則沒寫。它不是 Haiku 的價目表。這三個來源裡都沒有每百萬 token 的價格,因為賣點是本機推理,不是 API 計費。若以後有一頁加上託管端點,那一頁是另一個產品。這一頁是一個 7.4 億參數的檢查點、一塊 2.7 億的文本切片、一個 8K 上下文,以及一個只在 Google 點名的條件下才成立的手機記憶體數字。

開發者博客提到 LiteRT、Hugging Face 上的 model card,和一個瀏覽器 demo。新聞的日期是 Google 博客的 10 月 6 日,和 ODSC 的 10 月 7 日。內容是檢查點,以及它怎麼拆。你還欠自己的評測,是那張 model card,加上你自己在 768 維和 128 維各量過一次的向量庫,然後再決定要不要拿那 6 倍。

對讀者的意義

如果你打算用它做裝置端搜尋,請用自己的資料,針對每個準備採用的嵌入維度實際測試檢索品質。維度越小越省儲存空間,但召回率會降多少,應該實際量測,不要憑假設。

分享文章 //
READER LETTERS

讀者回應与討論

[ 0 則評論 ]

暫無讀者回應,歡迎發表你的見解。

FURTHER READING

相關文章