當世界發(fā)生變化時(shí)，人類(lèi)書(shū)寫(xiě)的文字也會(huì )隨之改變。像戰爭、傳染病大流行這樣的重大事件會(huì )影響文本語(yǔ)料庫中的詞頻分布?？茖W(xué)學(xué)科的興衰在學(xué)術(shù)著(zhù)作中也可見(jiàn)一斑。那么，科學(xué)技術(shù)的進(jìn)步是否也在我們的寫(xiě)作中留下了類(lèi)似的痕跡呢？
2022 年 11 月，ChatGPT 橫空出世，這讓人類(lèi)的寫(xiě)作經(jīng)歷了前所未有的變革：首次出現了一款廣泛可用的大語(yǔ)言模型（LLM），它能夠在包括學(xué)術(shù)界在內的多個(gè)領(lǐng)域生成和修改具有媲美人類(lèi)表現的文本。此后，許多研究人員在日常寫(xiě)作任務(wù)中融入了大語(yǔ)言模型（LLM），甚至與大語(yǔ)言模型共同撰寫(xiě)了論文。這也引發(fā)了人們對科研誠信、大語(yǔ)言模型生成內容中的事實(shí)錯誤以及論文工廠(chǎng)濫用大語(yǔ)言模型生成虛假論文的擔憂(yōu)。
基于這些擔憂(yōu)，有研究人員開(kāi)始嘗試追蹤大語(yǔ)言模型輔助寫(xiě)作（LLM-assisted writing）在科學(xué)文本中留下的痕跡。
2025 年 7 月 2 日，德國圖賓根大學(xué)的研究人員在 Science 子刊 Science Advances 上發(fā)表了題為：Delving into LLM-assisted writing in biomedical publications through excess vocabulary 的研究論文。
該研究顯示，在 2024 年被 PubMed 收錄的 150 萬(wàn)篇生物醫學(xué)論文中，有大約 20 萬(wàn)篇論文（占比約1/7）的摘要存在大語(yǔ)言模型生成文本的跡象，這些論文摘要中包含了一些常見(jiàn)于大語(yǔ)言模型（LLM）生成文本中的標志性詞匯，例如"unparalleled"（無(wú)與倫比的）和"invaluable"（無(wú)價(jià)的）。
值得一提的是，該論文曾于 2024 年 6 月在預印本平臺發(fā)布，當時(shí)的評估顯示，2024 年上半年的論文中，約 1/9 的論文摘要存在大語(yǔ)言模型生成文本的跡象，這表明了生物醫學(xué)領(lǐng)域使用大語(yǔ)言模型輔助寫(xiě)作的現象正在加速。
ChatGPT 等大語(yǔ)言模型（LLM）能夠生成和修改文本，其表現甚至可與人類(lèi)相媲美。但這些模型也存在著(zhù)明顯的局限性，可能會(huì )生成不準確的信息，并強化現有的偏見(jiàn)。然而，許多科學(xué)家在學(xué)術(shù)寫(xiě)作中使用它們。那么，在學(xué)術(shù)文獻中，這種大語(yǔ)言模型的使用究竟有多普遍呢？
為了回答這個(gè)問(wèn)題，研究團隊在生物醫學(xué)領(lǐng)域進(jìn)行了探索，他們提出了一種無(wú)偏見(jiàn)的大規模方法：首先分析了 2010-2024 年之間 PubMed 收錄的超過(guò) 1500 萬(wàn)篇生物醫學(xué)論文的摘要中的詞匯變化，并展示了大語(yǔ)言模型的出現如何導致某些風(fēng)格的詞匯的頻率突然增加。這種超額詞匯分析表明，2024 年的生物醫學(xué)論文摘要中，至少有 13.5% 是使用大語(yǔ)言模型處理過(guò)的。這一比例在不同學(xué)科、國家和期刊之間存在差異，在某些子語(yǔ)料庫中甚至達到了 40%。這項研究表明，大語(yǔ)言模型對生物醫學(xué)研究中的科學(xué)寫(xiě)作產(chǎn)生了前所未有的影響，其影響甚至超過(guò)了諸如 COVID-19 這樣的重大世界事件。
此前已有許多研究團隊嘗試評估大語(yǔ)言模型（LLM）對學(xué)術(shù)寫(xiě)作的影響，但這頗具難度，因為大多數使用者不會(huì )披露這些做法。因此，通常的評估方法是訓練模型來(lái)識別人類(lèi)生成的文本和大語(yǔ)言模型生成的文本之間的差異，然后利用這些差異來(lái)評估論文。但目前尚不清楚這些訓練出來(lái)的模型是究竟是如何區分這兩種類(lèi)型的文本的，而且訓練數據集也不總是能代表大語(yǔ)言模型生成文本的最新趨勢。
德國圖賓根大學(xué)的數據科學(xué)家 Dmitry Kobak 受到新冠大流行期間"超額死亡率"相關(guān)研究的啟發(fā)，提出了一種"超額詞匯"的方法，來(lái)檢索論文摘要中在 2022 年 11 月 ChatGPT 發(fā)布之后出現頻率高于預期的詞匯。
他們統計并分析了 2010-2024 年之間 PubMed 收錄的超過(guò) 1500 萬(wàn)篇生物醫學(xué)論文的摘要中的詞匯變化，發(fā)現有 454 個(gè)詞匯在 2024 年出現的頻率遠高于 2010 年以來(lái)的任何一年，而且，這些詞匯大多是與研究?jì)热轃o(wú)關(guān)的"風(fēng)格"詞，且多為動(dòng)詞和形容詞。其中一些詞很常見(jiàn)，比如"findings"（發(fā)現）、"crucial"（關(guān)鍵）和"potential"（潛在），而另一些則較為少見(jiàn)，包括"delves"（探究）和"showcasing"（展示）。2024 年下半年出現的超額詞匯還包括"heighten"（提高）、"hinder"（阻礙），以及諸如"unparalleled"（無(wú)與倫比的）和"invaluable"（無(wú)價(jià)的）之類(lèi)的最 高級形容詞。
科學(xué)術(shù)語(yǔ)的變化是隨著(zhù)時(shí)間推移而發(fā)生的--包括伴隨重大事件而出現的顯著(zhù)變化，比如始于 2020 年的新冠疫情。2021 年新增了 190 個(gè)詞匯，它們大多是與研究?jì)热菹嚓P(guān)的名詞，比如"口罩"（mask）。但自從 ChatGPT 等大語(yǔ)言模型流行以來(lái)所發(fā)生的詞匯變化更為顯著(zhù)，且主要是詞匯風(fēng)格上變化的。
該研究還顯示，論文寫(xiě)作中使用大語(yǔ)言模型輔助的比例，在不同學(xué)科、國家和期刊之間存在差異，例如，在中國、韓國等國家；在計算機和生物信息學(xué)等領(lǐng)域；以及 MDPI、Frontiers 系列期刊，超過(guò)五分之一的論文摘要使用了大語(yǔ)言模型輔助寫(xiě)作。
實(shí)際上，大語(yǔ)言模型輔助寫(xiě)作的比例可能比這篇論文中發(fā)現的還要高，今年 2 月份發(fā)表在預印本平臺 arXiv 的一項研究顯示，AI 生成文本中的一個(gè)標志性詞匯"delves"（探究）在 2024 年底開(kāi)始變得不那么常見(jiàn)了，這可能是因為許多論文作者知道這個(gè)詞匯被作為 AI 生成文本的標志性詞匯，于是在寫(xiě)作中刪除了這些詞匯。這意味著(zhù)，隨著(zhù)寫(xiě)作者的不斷適應和調整，評估 AI 對學(xué)術(shù)寫(xiě)作影響的變得越來(lái)越困難。
需要指出的是，在學(xué)術(shù)寫(xiě)作中使用 AI 并非是不合理的，利用 AI 進(jìn)行文本潤色或輔助翻譯顯然是合理的用途，但在缺乏監督的情況下，使用 AI 生成大篇幅的文本，則可能涉嫌科研誠信問(wèn)題。
論文鏈接：https://www.science.org/doi/10.1126/sciadv.adt3813
合作咨詢(xún)
肖女士
021-33392297
Kelly.Xiao@imsinoexpo.com
2006-2025 上海博華國際展覽有限公司版權所有（保留一切權利）
滬ICP備05034851號-57
