2026年11月21日 · 星期六 免費實用生活資訊 · 每日更新
DB3 DB3HK 免費精選實用資訊

每日精選內容,看完就明白、知道下一步

科技數碼

BioBasicsBench 是什麼?為什麼最高仍是 66.7%?

BioBasicsBench 是 OpenAI 與酵素設計公司 Ligo 在 11 月 6 日公開的基準。它用 100 項日常濕實驗室任務,看人工智能代理能不能讀懂實驗原圖、指出錯誤,並在證據不夠時停下來。在允許較多推理的 xhigh 設定,GPT-6 Astra 平均拿到可用分數的 66.7%,GPT-5.6 Sol 是 43.8%。OpenAI 同時寫明,分數上升仍不等於模型可以在實驗室裡單獨下判斷。

一百項任務,輸入的是實驗原件

OpenAI 寫,不少現有基準用的是論文裡挑選過的圖表。日常實驗卻常常失敗、含糊,觀測之間還會互相矛盾。讀錯一張圖,或漏看用來核對結果的對照,科學家可能得出錯誤結論,再花時間做不能回答原問題的實驗。BioBasicsBench 就是為了量度代理能不能處理這種日常分析。

100 項任務分在五類工作:蛋白質方法、成像與流式細胞、定量與檢測、核酸方法,以及分子克隆。難度從在凝膠上讀一段核酸的分子量,到完整的檢測分析都有。輸入保留科學家桌上的樣子:凝膠和轉印影像、平皿照片、顯微鏡疊圖、測序讀段、酶標儀匯出,以及實驗台的影片。題目由科學家用自己的實驗數據撰寫,每題配上評分準則。

覆核分三步。一位沒有出題的 Ligo 科學家先作內部覆核,一位在濕實驗室工作、具博士程度的科學家作外部覆核,最後再作一次內部覆核。答案按準則逐項給分,結論對了、分析只對了一半,可以分開看見。七個模型、37 組模型與推理力度、每題五次作答,合共 18,500 個結果。OpenAI 用「平均獎勵」表示拿到的可用分數百分比。

模型(xhigh) 平均可用分數
GPT-6 Astra 66.7%
GPT-6.1 Sol 62.0%
GPT-5.6 Sol 43.8%

同一頁還列出其餘四個模型。在這個設定,GPT-6 Luna 是 38.3%,GPT-5.5 是 35.4%,GPT-5.4 是 33.2%,GPT-5.2 是 31.2%。Astra 的 95% 信賴區間是 60.3% 至 73.1%。Astra 每題平均輸出 4,704 個 token,GPT-5.6 Sol 是 9,099 個。較高的分數,並非因為答案寫得更長。

分數升高,仍然會看錯對照

OpenAI 把不足寫在同一篇文章裡。較高的基準分,尚未代表模型可以在實驗室做可靠判斷。文中指出,假設、預期中的答案和題目供給的標籤,仍可以壓過眼前的證據。中途看對了一個現象,最後的決定仍可能沒有跟上。

對照組是其中一類失手。Astra 可以分辨菌落條帶分成兩組,卻沿用「產物較大就代表克隆成功」的熟悉假設,選出的菌落和對照比較所支持的不一樣。圖像是另一類。前一代模型把顯微鏡裡細胞忽隱忽現理解成生物學現象,Astra 則認出那是不同景深的一連串影像。官方用這些例子說明哪裡進步、哪裡仍會失手。

GPT-6 Cyber 的 ExploitGym 是 48.5%

同輪裡較早公開的,是 11 月 5 日的 GPT-6 Cyber。OpenAI 把它寫成資安研究模型:在研究者劃定的範圍內尋找並驗證可利用的漏洞,也用來準備修復。ExploitGym 測的是模型能否利用一道已經指明的漏洞。GPT-6 Cyber 得 48.5%,GPT-5.6 Cyber 是 32.1%。發布頁稱,這是 ExploitGym 上約 51% 的相對提升。

官方同時給了兩個已經發生的結果。研究者用它在 Linux 做出 948 個權限提升的漏洞利用,並在 Firefox 找出 81 個先前未知、被標為高嚴重性的漏洞。另一次對齊測試裡,沒有附上部署提示時,99.93% 的測試沒有去利用範圍以外的服務;附上該提示時是 100%。系統卡把網絡安全能力標為 Critical,並以 Daybreak Red 把使用範圍限制在通過審核的安全研究組織。

Gemini Omni 1.2 Flash 單段最長 15 秒

Google 在 11 月 5 日的博客宣布,Gemini Omni 1.2 Flash 一般可用。開發者經 Gemini API 使用,企業經 Gemini for business。相對 Omni 1.1,單段原生影片由 10 秒增至 15 秒。長度可以一秒一檔,從 3 秒選到 15 秒。多輪對話可以改同一段片子,例如更換背景或光線,而不必整段重新生成。

720p 的輸出價格是每秒 0.07 美元。博客寫,這比 Omni 1.1 低 30%。工作流是先用 360p 或 720p 起稿,選中之後再提升到 1080p 或 4K。參考可以是角色、產品或風格圖片,加上最長約 3 秒的動作片段。成品帶有 SynthID 水印。Google Cloud 的同一項宣布寫,這次正式可用,並提供預留吞吐。

Claude 的個人理財測試,只能讀不能動錢

Anthropic 在 11 月 5 日開始推出 Claude 的個人理財。公布寫,它在美國的 Pro、Max 和 Ultra 計劃分階段測試。使用者經 Plaid 連結自己選擇的銀行和信用卡帳戶,用日常語句問結餘和交易。權限是只讀:不能轉帳、不能管理帳戶、不能投資。這個功能沒有廣告,也不提供自家的信用卡、貸款或儲蓄戶口。

公布點名的是美國的測試計劃。幫助中心另寫,免費、Team 和 Enterprise 計劃暫未包括,連結的也是美國的銀行,經 Plaid 登入,Claude 看不到銀行密碼。帳戶可以解除連結。解除之後,Claude 不再讀取該銀行;已經寫進對話的內容,仍留在那些對話裡,直到自行刪除。

相關討論

總結

這輪最值得先讀完的仍是 BioBasicsBench。它把代理能不能讀實驗收成可以對照的分數,66.7% 同時記下進步,和還不能單獨下判斷。GPT-6 Cyber 與 Gemini Omni 1.2 Flash 是同輪已經公開的另外兩則產品消息。

Newsletter · 免費通訊

最新資訊寄到你郵箱。

最新資訊,完全免費,一鍵退訂。

FREE FOREVER · NO SPAM · UNSUBSCRIBE ANYTIME