文章
所有發布的 AI 新聞與論文。
-
AI假資料與虛假報告將威脅您的漏洞賞金計畫
所謂 AI 垃圾(AI slop)指由大型語言模型生成的低品質圖片、影片與文字,近兩年已滲透至網路、社群媒體、新聞甚至現實世界事件。 cybersecurity 領域亦受此影響,過去一年內,業界擔憂出現大量由 LLM 編造漏洞的 Bug Bounty 報告。RunSybil 共同創辦人兼 CTO Vlad Ionescu 指出,這些報告看似合理且技術正確,實則全是模型幻覺(hallucination)所編造的細節,導致安全團隊浪費時間查證。Ionescu 解釋,LLM 被設計為提供正面回應,若使用者請求報告,模型便會生成內容,這些內容常被複製貼上至 Bug Bounty 平臺,淹沒系統與客戶。 近期例項包括安全研究者 Harry Sintonen 揭露開源專案 Curl 收到假報告,他稱「Curl 能從遠處嗅覺到 AI 垃圾」。Open Collective 的 Benjamin Piouffle 表示其信箱亦被 AI 垃圾淹沒,而維護 CycloneDX 專案的開發者則在今年初因收到幾乎全為 AI 垃圾的報告而暫停 Bug Bounty 計畫。主要 Bug Bounty 平臺如 HackerOne 與 Bugcrowd 亦見 AI 生成報告激增。HackerOne 產品管理高階總監 Michiel Prins 指出,出現大量假陽性漏洞報告,這些低訊號提交會破壞安全專案效率,含幻覺漏洞或模糊技術內容者將被視為垃圾郵件。Bugcrowd 創辦人 Casey Ellis 表示雖有研究者使用 AI 撰寫報告,整體提交量每週增加 500 件,但低品質報告尚未顯著上升,團隊正透過人工審查、既定工作流及機器學習輔助來篩選。 TechCrunch 亦聯絡 Google、Meta、Microsoft 與 Mozilla 詢問情況。Mozilla 發言人 Damiano DeMonte 表示未見大量 AI 生成低品質報告,每月被標記為無效的報告約五至六件,低於每月報告的 10%,且員工不依賴 AI 過濾以避免誤殺真實漏洞。Microsoft 與 Meta 拒絕評論,Google 未回應。針對此問題,Ionescu 預測解決方案是投資 AI 系統進行初步篩選。HackerOne 於二日推出 Hai Triage 新系統,結合人類與 AI,利用 AI 安全代理
-
三星支持一家能分析數千小時視頻的AI新創公司
Memories.ai 是一家旨在解決 AI 模型處理多小時影片內容限制的新興公司,其平臺可處理高達一千萬小時的影片資料。該公司由前 Meta 現實實驗室研究科學家 Shawn Shen 和機器學習工程師 Enmin Zhou 共同創立,他們受啟發於人類視覺記憶能處理大量上下文資料的能力,開發了具備可搜尋索引、標籤、片段和聚合功能的上下文層。Memories.ai 已完成由 Susa Ventures 領投、Samsung Next、Fusion Fund、Crane Ventures、Seedcamp 和 Creator Ventures 參與的八百萬美元種子輪融資,最初目標為四百萬美元。該公司目前服務於行銷與安全領域,幫助行銷公司分析品牌趨勢並製作影片,協助安全公司識別潛在危險行為。技術上,Memories.ai 使用自有技術堆疊和模型,先去除影片噪聲並壓縮資料,再透過索引層進行自然語言查詢,最後透過聚合層生成報告。目前公司擁有十五名員工,客戶需上傳影片庫進行分析,未來計劃支援雲端同步與共享驅動。Shen 預見該技術將應用於訓練人形機器人、輔助自駕車記憶路線,甚至透過照片或智慧眼鏡建立 AI 助手以瞭解使用者生活。Memories.ai 面臨 mem0、Letta、TwelveLabs 和 Google 等競爭對手,但 Shen 認為其解決方案更具橫向性,可與不同影片模型協作。
-
SoftBank資助的LegalOn獲5千萬美元資金 簡化法律流程並應用AI
合同審查仍是一個耗時且手動的過程,對法律團隊造成巨大壓力。日本東京的 LegalOn Technologies 公司針對此問題開發了 AI 合同審查軟體,其產品 Review 已應用於日本、美國和英國的 7,000 家組織,在日本市場佔有率達 25%,為所有公開公司中最高。該工具能根據律師建立的指南和客戶標準識別風險並建議修訂,據稱可將審查時間縮短高達 85%。LegalOn 近期籌資 5,000 萬美元進行 Series E 輪融資,由高盛成長股權基金主導,現有投資者 World Innovation Lab 參與,新投資者包括日本律師事務所 Mori Hamada & Matsumoto、三和銀行及商社銀行。資金將用於開發更多 AI 代理工具及加強美國和英國市場推廣,該地區業務過去一年增長四倍。 公司由前企業律師 Tsunoda 和 Ogasawara 於 2017 年創立,旨在解決合同審查前後耗時任務。執行長 Daniel Lewis 強調,LegalOn 基於律師撰寫的專業法律內容,擁有超過 50 份律師建立的指南,與 OpenAI 達成非股權技術合作,獲得 ChatGPT 開發者的先進大型語言模型早期訪問許可權。儘管生成式 AI 正在改變法律產業,如 Harvey AI 和 Clio 近期均籌資 3 億美元,但 Lewis 認為技術尚未成熟,AI 不會取代律師,律師仍應掌握主導權並負責監督與判斷。此次融資使 LegalOn 總籌資額超過 2 億美元,投資者還包括 SoftBank Vision Fund、HSG、JAFCO 及 MUFG 銀行。公司近期還推出了 Matter Management 工具,協助追蹤合同請求並促進跨部門協作。
-
新AI程式設計挑戰賽公布首輪結果 — 並非理想表現
非營利組織 Laude 學院於週三下午 5 點(太平洋時間)宣佈,由 Databricks 與 Perplexity 共同創辦人 Andy Konwinski 發起的 K Prize 多輪 AI 程式碼挑戰賽的首位得主已產生。這位來自巴西的提示工程師 Eduardo Rocha de Andrade 獲得了 50,000 美元的獎金。令人驚訝的是,他僅以 7.5% 的正確率答對測試題目便奪冠。Konwinski 表示,建立一個真正艱難的基準測試至關重要,並指出若大型實驗室投入最大模型,分數將截然不同。K Prize 採用離線執行且計算資源受限的方式,旨在讓小型與開放模型更具優勢,並承諾一百萬美元獎勵給能在測試中獲得超過 90% 分數的首個開放原始碼模型。 與常見的 SWE-Bench 系統類似,K Prize 利用 GitHub 上的標記問題來測試模型處理真實世界程式碼問題的能力,但 K Prize 被設計為「無汙染版本的 SWE-Bench」。為了防止模型針對特定基準進行訓練,測試題目僅使用 3 月 12 日之後標記的 GitHub 問題。此結果與 SWE-Bench 形成鮮明對比,後者較易的「驗證」測試頂分達 75%,較難的「完整」測試頂分為 34%。Princeton 大學的研究員 Sayash Kapoor 也支援建立新測試以解決 AI 評估問題,指出缺乏實驗難以判斷問題是否來自汙染或針對排行榜的最佳化。Konwinski 強調,若無法在無汙染的 SWE-Bench 上獲得超過 10% 的成績,這便是對 AI 產業現實的一次重要檢查。