當(dāng)前位置：首頁(yè)>新聞 > 正文

環(huán)球視點(diǎn)！算法讀心，僅用fMRI即可讀取你的所聽所想？

2023-01-07 01:50:20來(lái)源：

(相關(guān)資料圖)

9 月 23 日，bioRxiv 上刊登的一篇預(yù)印論文 * 中，美國(guó)德克薩斯州大學(xué)奧斯汀分校的團(tuán)隊(duì)詳細(xì)介紹了一種 " 解碼器 "（算法）。它可以通過(guò) " 讀取 " 被試在功能性磁共振成像（fMRI）掃描期間所聽所想到的詞語(yǔ)。雖然此前也有其他科學(xué)團(tuán)隊(duì)基于腦植入物傳出的信號(hào)完成過(guò)語(yǔ)言或者圖像的重構(gòu)，但通過(guò)這種新型解碼器，科學(xué)家們首次在無(wú)創(chuàng)的情況下也能達(dá)到相同目的。

* 譯者注

預(yù)印論文，指未經(jīng)同行評(píng)審、沒有正式發(fā)表在科學(xué)期刊上的文章。

Tang, Jerry, et al. "Semantic reconstruction of continuous language from non-invasive brain recordings." bioRxiv ( 2022 ) .

https://doi.org/10.1101/2022.09.29.509744

德州大學(xué)奧斯汀分校的神經(jīng)科學(xué)家、該論文的合著者亞歷山大 · 休斯（Alexander Huth）說(shuō)道：" 如果你去問二十年前的神經(jīng)科學(xué)家們能不能這樣解碼大腦活動(dòng)，他們絕對(duì)會(huì)笑掉大牙的！"

日本京都大學(xué)的神經(jīng)科學(xué)家神谷之康（Yukiyasu Kamitani）雖然并未參與實(shí)驗(yàn)，但他在給《科學(xué)家》（The Scientist）發(fā)來(lái)的郵件里寫道，這種非侵入式解碼器能產(chǎn)生可以讓人理解的語(yǔ)言序列，這讓他感到 " 非常興奮 "。他說(shuō)：" 這一研究 ...... 為（腦機(jī)接口）的應(yīng)用打下了堅(jiān)實(shí)的基礎(chǔ)。"

事實(shí)上，fMRI 產(chǎn)出數(shù)據(jù)的速度比人類思維的速度要慢很多，因此 fMRI 并不是很適用于這種研究。大腦活動(dòng)往往伴隨著腦內(nèi)血流量的變化 *，fMRI 的原理就是通過(guò)檢測(cè)這些血流的變化成像、對(duì)大腦活動(dòng)作近似，而非直接探測(cè)神經(jīng)元活動(dòng)。但是相對(duì)于發(fā)生于毫秒之間的神經(jīng)元放電，以秒為單位的血流量變化還是較慢。對(duì)此，休斯表示能在該研究中使用 fMRI 的原因在于，他們的實(shí)驗(yàn)系統(tǒng)并非逐字解碼大腦中的語(yǔ)言，而是辨別句子或者想法這些更高層次結(jié)構(gòu)的意義。

血液會(huì)流向大腦里更為活躍的區(qū)域以供氧。

休斯和同事們?cè)谟?xùn)練算法時(shí)用到了三名被試的 fMRI 大腦數(shù)據(jù)。被試者均在 20 到 30 歲之間，其中有一名女性以及兩名男性。在實(shí)驗(yàn)過(guò)程中，三名被試收聽了播客和廣播故事，總計(jì) 16 小時(shí)。他們聽到的內(nèi)容包括 " 飛蛾電臺(tái) "（The Moth Radio Hour）、TED 演講以及約翰 · 格林（John Green）的《人類史回顧》（The Anthropocene Reviewed）。休斯說(shuō)，讓被試收聽不同種類的媒體對(duì)于提升算法的準(zhǔn)確性和廣適性，是很有必要的。他提到，雖然他的研究中被試樣本很小，但他們?cè)趯?shí)驗(yàn)中收集的 fMRI 數(shù)據(jù)和其他用 fMRI 收集數(shù)據(jù)的實(shí)驗(yàn)數(shù)量相當(dāng)。

解碼器通過(guò)學(xué)習(xí)被試長(zhǎng)達(dá) 16 個(gè)小時(shí)的 fMRI 數(shù)據(jù)，對(duì)于 fMRI 數(shù)據(jù)的走向做出了一系列預(yù)測(cè)。據(jù)休斯所說(shuō)，解碼器運(yùn)用 " 猜測(cè) " 的能力，是它翻譯與訓(xùn)練所用音頻內(nèi)容無(wú)關(guān)想法的關(guān)鍵。然后，解碼器會(huì)將 " 猜測(cè) " 出來(lái)的 fMRI 數(shù)據(jù)走向與實(shí)際 fMRI 數(shù)據(jù)進(jìn)行對(duì)比，與實(shí)際最相符的預(yù)測(cè)決定了解碼器最終產(chǎn)生的語(yǔ)詞。

研究人員對(duì)解碼器的產(chǎn)出與被試者感知到的刺激之間的相似性打分，以此判斷解碼器是否成功。此外，研究人員還給沒有比對(duì)過(guò) fMRI 數(shù)據(jù)的解碼器生成的語(yǔ)言打分。接下來(lái)，他們對(duì)比了這兩項(xiàng)得分，并對(duì)二者的差別做統(tǒng)計(jì)學(xué)上的顯著性測(cè)試。

結(jié)果顯示，該算法通過(guò)猜測(cè) - 比對(duì)的程序最終從 fMRI 數(shù)據(jù)中生成了一個(gè)完整的故事。對(duì)此，休斯評(píng)價(jià)道，算法還原的內(nèi)容與錄音中實(shí)際講述的故事已經(jīng) " 相差無(wú)幾 " 了。不過(guò)，解碼器也有自己的不足之處。比如它不太擅長(zhǎng)解析人稱指代，還經(jīng)常搞混第一人稱和第三人稱。休斯說(shuō)，解碼器 " 可以相對(duì)準(zhǔn)確地知道發(fā)生了什么事，但它不太清楚是誰(shuí)在做這件事。"

并未參與研究的普林斯頓神經(jīng)科學(xué)研究中心研究員以及講師山姆 · 納斯塔瑟（Sam Nastase）認(rèn)為將 fMRI 應(yīng)用于解碼大腦 " 令人興奮不已 "，因?yàn)橛?fMRI 提取數(shù)據(jù)的過(guò)程通常又緩慢雜音又多。納斯塔瑟還說(shuō)道：" 從這篇論文看來(lái)，只要我們擁有一個(gè)足夠智能的模型就可以從 fMRI 數(shù)據(jù)中得出數(shù)量可觀的信息。"

休斯認(rèn)為，解碼器最令人興奮的成就在于它對(duì)大腦運(yùn)作的洞察力。比如，我們可以從解碼器的解析中看出大腦的哪些部分負(fù)責(zé)建立語(yǔ)義。通過(guò)使用解碼器記錄特定腦區(qū)，像前額葉皮層或者頂葉 - 顳葉皮層，休斯的科學(xué)團(tuán)隊(duì)能夠確定各個(gè)區(qū)域?qū)?yīng)的語(yǔ)義信息。休斯的團(tuán)隊(duì)就是這樣發(fā)現(xiàn)了前額葉皮層和頂葉 - 顳葉皮層對(duì)解碼器表征了相同信息的。不管解碼器使用來(lái)自其中哪一個(gè)區(qū)域的測(cè)量數(shù)據(jù)都能夠很好地完成解析。

休斯還補(bǔ)充道，最令人驚喜的是雖然訓(xùn)練解碼器使用的是被試在聽取口頭語(yǔ)言時(shí)的數(shù)據(jù)，但它卻可以重構(gòu)非語(yǔ)義類別的刺激信號(hào)。舉例來(lái)說(shuō)，在經(jīng)過(guò)訓(xùn)練后，解碼器算法成功重構(gòu)出了被試在看默劇、或想象自己講故事的場(chǎng)景時(shí)的信息。休斯對(duì)此評(píng)價(jià)道：" 這些內(nèi)容可以被解碼器重構(gòu)出來(lái)就證明它們（在大腦中的表征）之間是存在某些共性的。這為我們提供了一個(gè)非常新穎的角度。"

神谷和納斯塔瑟對(duì)休斯實(shí)驗(yàn)室還未經(jīng)同行評(píng)審的結(jié)論提出了這樣的疑惑：" 解碼器在處理潛在含義與處理文本或語(yǔ)音的過(guò)程有何不同？" 由于休斯實(shí)驗(yàn)室的解碼器解析的是語(yǔ)義，而非逐個(gè)詞語(yǔ)，我們難以衡量它成功與否。用納斯塔瑟的話來(lái)說(shuō)，這是因?yàn)橛泻芏喾N語(yǔ)詞的組合都能算作是 " 好 " 的輸出。" 不過(guò)他們引入的問題很有意思。" 納斯塔瑟說(shuō)。

休斯承認(rèn)，對(duì)于一部分人來(lái)說(shuō)，能有效 " 讀心 " 的技術(shù)聽起來(lái)有些讓人毛骨悚然。不過(guò)他的團(tuán)隊(duì)對(duì)研究的現(xiàn)實(shí)意義進(jìn)行了深入的思考。而且考慮到精神隱私的保護(hù)問題，他們還研究了解碼器是否會(huì)在被試不愿意合作的情況下解析信息。在部分實(shí)驗(yàn)中，研究人員要求被試者在聽取音頻時(shí)進(jìn)行其他心理活動(dòng)來(lái)分散自己的注意，比如數(shù)數(shù)、命名和想象動(dòng)物、以及在腦子里編一個(gè)跟音頻內(nèi)容不一樣的故事。最后他們發(fā)現(xiàn)，想象動(dòng)物是最能夠降低解碼準(zhǔn)確率的操作。

從信息隱私的角度來(lái)看，用一個(gè)人的大腦數(shù)據(jù)訓(xùn)練出來(lái)的解碼器是無(wú)法被應(yīng)用到另一個(gè)人身上的，用休斯的話說(shuō)，這 " 基本上沒有提供任何可用的信息。" 也就是說(shuō)，我們只能解析出大量參與了解碼器訓(xùn)練的人的想法。

對(duì)于納斯塔瑟而言，研究人員特意關(guān)注了是否有精神隱私受到保護(hù)的證據(jù)是令人贊許的。他說(shuō)：" 如果不做精神隱私相關(guān)的實(shí)驗(yàn)測(cè)試，他們完全可以早六個(gè)月就發(fā)表這篇論文。" 不過(guò)，納斯塔瑟并沒有完全被研究者提供的隱私保護(hù)相關(guān)證據(jù)說(shuō)服，因?yàn)槲磥?lái)這個(gè)方向的其他研究很可能會(huì)突破他們?cè)O(shè)置的精神隱私保護(hù)的權(quán)宜之計(jì)。納斯塔瑟補(bǔ)充道：" 這關(guān)乎到我們是否將科技帶來(lái)的益處看得比這些潛在（道德）陷阱更重要。"

作者：Grace van Deelen

譯者：Blue Froid l 校對(duì)：M.W.

標(biāo)簽：