韩日午夜在线资源一区二区_成人AV综合在线网站_欧美亚洲日本国产黑白配_大臣们罚皇上带玉势上朝_全彩口工漫画无遮爱丽丝

首都青年網(wǎng) |
  • 手機(jī)客戶端
  • 微信
您的位置:首頁(yè) > 產(chǎn)經(jīng) > 正文
快消息!大語(yǔ)言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)?
來(lái)源: 2023-05-31 07:48:42

Datawhale干貨

作者:平凡@知乎,諾桑比亞大學(xué),在讀博士

今天晚上,花了一點(diǎn)兒時(shí)間看了兩篇文章:


(相關(guān)資料圖)

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

這兩篇講的都是emergent behavior,即涌現(xiàn)現(xiàn)象。

大規(guī)模神經(jīng)網(wǎng)絡(luò)下的涌現(xiàn)現(xiàn)象

在機(jī)器學(xué)習(xí)中使用大規(guī)模神經(jīng)網(wǎng)絡(luò)時(shí),由于增加了參數(shù)數(shù)量、訓(xùn)練數(shù)據(jù)或訓(xùn)練步驟等因素,出現(xiàn)了定性上的新能力和性質(zhì),這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡(luò)中往往是不存在的。

第一篇文章舉了這個(gè)例子,每個(gè)圖都可以理解為一個(gè)任務(wù),橫軸是神經(jīng)網(wǎng)絡(luò)的規(guī)模,而縱軸是準(zhǔn)確率,可以理解為模型的性能。

我們拿圖一來(lái)看,在10的22次方前,這些模型基本上的性能基本上都很穩(wěn)定在0附近,而在10的22以后,突然在10的24次方上獲得了很大的性能提升,在其他的幾個(gè)任務(wù)上都表現(xiàn)出類似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的評(píng)論引用在這里:

作者發(fā)現(xiàn),當(dāng)我們訓(xùn)練用網(wǎng)絡(luò)計(jì)算同余加法 a+b = ? (mod c) 時(shí),網(wǎng)絡(luò)在某個(gè)時(shí)間突然獲得了 100% 準(zhǔn)確率。分析發(fā)現(xiàn),神經(jīng)網(wǎng)絡(luò)實(shí)際上“頓悟”了使用傅立葉變換來(lái)計(jì)算同余加法!這個(gè)算法可以證明是正確的, 反人類直覺(jué)的。

從這倆例子里面我的感受是,只要數(shù)據(jù)量足夠且真實(shí),且模型沒(méi)有硬錯(cuò)誤的前提下,不斷的訓(xùn)練說(shuō)不定真的能夠產(chǎn)生一些意想不到的效果。

還有就是我覺(jué)得人類現(xiàn)在積累的知識(shí)并不少,但是系統(tǒng)的少,零星的多,如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識(shí)進(jìn)行不斷學(xué)習(xí)的話,我覺(jué)得有很大概率會(huì)讓它涌現(xiàn)出意想不到的能力。

甚至可能把人類的生產(chǎn)力解放提前很多。

參考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

關(guān)鍵詞

圖片新聞
最近更新
Copyright @ 2008-2023 www.879606.com All Rights Reserved 首都青年網(wǎng) 版權(quán)所有
文章采集互聯(lián)網(wǎng),為了傳遞信息,如有出處與本站無(wú)關(guān)。 非本站原創(chuàng),系由網(wǎng)友自助上傳或轉(zhuǎn)載、采編于其它媒體,不代表本站的觀點(diǎn)和和看法,一切責(zé)任由發(fā)布者承擔(dān),與本站無(wú)關(guān)!
版權(quán)文章處理
聯(lián)系方式:QQ  39 60 29 14 2 @qq.com  備案號(hào):皖I(lǐng)CP備2022009963號(hào)-20
太仓市| 定州市| 宁城县| 大悟县| 临泽县| 嘉祥县| 郓城县| 黔西| 翼城县| 庆安县| 肃北| 新竹市| 木兰县| 鲁山县| 渝中区| 唐海县| 海城市| 元阳县| 水城县| 安阳市| 科尔| 延长县| 布尔津县| 秦安县| 安远县| 瑞安市| 边坝县| 河源市| 鹤山市| 确山县| 太原市| 桦南县| 武川县| 兴安县| 库尔勒市| 枣庄市| 湾仔区| 楚雄市| 高阳县| 酉阳| 禄劝|