奇聞AI

AI 爬蟲狂查芬蘭音樂,一天 1.1 萬次擠爆大學圖書館

美國北卡大學圖書館某天突然湧入 11,329 次「芬蘭音樂」查詢,平常一個月才 15 次。CBC 調查發現,各國大學圖書館都被抓資料餵 AI 的爬蟲淹沒,科羅拉多一個圖書館聯盟 30 天被連線 20 億次,學生反而查不到書。

扁平插畫:大學圖書館裡,一長串一模一樣的灰色小機器人舉著畫有音符的卡片,直直排到館員的櫃台前,抱著一疊書的學生被晾在書架旁,櫃台後的館員一臉崩潰
圖片由 AI 生成,僅供示意

美國北卡羅來納大學教堂山分校(UNC)的圖書館,有一天突然湧入 11,329 次「芬蘭音樂」的查詢。

前一個月,同樣的關鍵字大約 15 次。

翻了 700 多倍。如果是真人,代表北卡全校在同一天集體愛上芬蘭重金屬。可惜不是,是 AI 爬蟲。

期末週的圖書館,被芬蘭音樂淹沒

這件事發生在 2024 年 12 月,最近又被加拿大 CBC 的調查報導挖出來當開場,因為兩年過去,狀況不但沒變好,還擴散到全世界。

根據 UNC 圖書館自己寫的事後檢討,12 月 2 日正逢期末週,線上目錄開始狂跳「網站負載過重」,學生和教職員一直被擋在門外,連負責使用者體驗的主管都進不去。負責使用者體驗的人自己體驗不到,這個畫面很有詩意。

平常尖峰大約 100 個查詢同時進來,那幾天變成 500 個以上。IT 人員翻記錄,12 月 4 日一天就有 11,329 次芬蘭音樂相關搜尋,來自幾千個不同 IP。正常人查書頂多勾 6 個篩選條件,這些查詢一次勾 15 到 25 個,等於有人把目錄的每個抽屜都拉出來倒在地上。

至於為什麼是芬蘭音樂,沒有人知道。最可能的解釋是爬蟲剛好鑽進那個分類,就一路翻到底。

芬蘭人如果知道,大概會覺得很榮幸,然後默默把音量開大。

擋了 200 萬個 IP,還是擋不完

UNC 先設規則,連續兩次超複雜查詢就封鎖,撐了大概一週,爬蟲就學乖換招。後來流量改從大量 IP 區段湧入,他們幾天內封了將近 200 萬個 IP 位址。打地鼠打到這個數量,已經不是遊戲,是職業病。

最後是學校資訊中心導入一套用 AI 判斷的防火牆,到 2025 年 1 月中才大致壓住。

用 AI 擋 AI。兩邊都在燒算力,只有圖書館員在燒肝。

UNC 算是運氣好的,資源多、系統有備援,目錄從頭到尾沒完全掛掉。CBC 這次訪問的其他單位就沒那麼幸運:科羅拉多州的非營利圖書館聯盟 Marmot,30 天內被機器人連線超過 20 億次;加拿大維多利亞大學說,流量嚴重時整個網站會直接掛一陣子。

更誇張的是,有公共圖書館發現機器人會亂試借書證號碼,試中一組就把那張卡能借的電子資源全部借滿,再把內容抓光。

人類借電子書要排預約,機器人直接借到額度全滿。

為什麼偏偏是圖書館

因為圖書館的東西「公開、整理好、不用錢」。學術論文、歷史檔案、政府文件,都是訓練語言模型的上等食材,而且很多連登入都不用。

這些爬蟲常常無視網站的 robots.txt,那個寫著「請勿進入」的告示牌,在它們眼裡大概跟裝飾品差不多。一秒鐘要上千份文件,同一份資料還每種格式都各抓一份,深怕少吃一口。

OpenAI、Google、Anthropic、微軟都表示支援讓網站拒絕 AI 爬蟲的標準,但遵不遵守全靠自律,第三方公司和小型新創的爬蟲根本不在約束範圍。大公司簽了君子協定,不在名單上的爬蟲照樣衝。

最諷刺的是結果。圖書館為了活下去,只好加驗證碼、加登入、限流量,原本開放給所有人的資料,變得越來越難用。長期研究這個問題的 GLAM-E Lab 共同主持人 Michael Weinberg 對 CBC 說,這股爬蟲潮會讓圖書館越來越不想把館藏放上網。

AI 公司說要讓人類更容易取得知識。

結果第一個被擋在門外的,是期末週要查書的學生。