PTT動漫區 / C_Chat (希洽)

[Neuro] 沒想到能看到AI差點腦死暴斃

看板C_Chat (希洽)作者 (Baccano)時間3天前 (2025/10/09 19:26), 編輯推噓49(49推 0噓 41→)
留言90則, 49人參與, 3天前最新討論串1/1
發生在我們第二喜歡的AI主播 evil neuro身上 https://i.imgur.com/PEo2WnF.jpeg
【【Evil熟肉】AI主播突发脑血栓开始胡言乱语，开发者苦修bug崩溃边缘-哔哩哔哩】 https://b23.tv/ZDno6Hc 簡單來說 就是evil出現了「強迫自己使用重複詞語」的選詞權重失衡問題 這是一種長期累積後才會爆發的隱形問題，所以很難靠回溯來解決，因為沒找出原因的話回 溯後還是遲早會發病 一旦沒處理好，evil的言語能力就差不多廢了，對AI主播來說基本上就是死刑宣判 借用一下評論區的詳細說明： 首先，neuro和evil基本上都是transformer架构的llm，其核心就是attention机制，运作机 理是选词生成 如果一个词，比如说location，被llm反复提及，在未调参已运行的情况下，最大的可能性 是发生了attention collapse，出现了注意力自激现象 此时模型自注意力一直保持在location这个词上面，从而不断增加location的生成概率，这 其实是一种上下文异常的表现，模型无法有效的生成内容，因为其attention出现了异常。 对于平常的模型，只需要重启即可 而对于双子这种有长期记忆（上下文）的模型，则需要修复上下文以保证后续不被干扰，这 也就是为什么说双子可能是记忆系统出现了问题的原因 看來AI和意識上傳也不一定能永生啊…… 哪天不注意就被冗餘資料堆死了，你各位可以少擔心天網和壽命論了（ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.136.237.77 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1760009218.A.094.html
推
10/09 19:29, 3天前 , 1F
我靠，原來邏輯核心的漸進損壞=壽命原來是真實的
10/09 19:29, 1F
推
10/09 19:30, 3天前 , 2F
沒這回事吧 記憶都嘛外接資料庫 DB/VDB 模型重設根本
10/09 19:30, 2F
→
10/09 19:30, 3天前 , 3F
沒差
10/09 19:30, 3F
→
10/09 19:31, 3天前 , 4F
把記憶格式化,這算是輪迴轉世的概念(
10/09 19:31, 4F
推
10/09 19:32, 3天前 , 5F
看到評論區，原來是這樣，我完全理解了
10/09 19:32, 5F
→
10/09 19:32, 3天前 , 6F
這個AI只是得了阿滋海默症
10/09 19:32, 6F
→
10/09 19:32, 3天前 , 7F
這不就是cortana嗎？
10/09 19:32, 7F
推
10/09 19:36, 3天前 , 8F
賽博失智
10/09 19:36, 8F
→
10/09 19:36, 3天前 , 9F
之前用grok有遇到一次跳針
10/09 19:36, 9F
→
10/09 19:37, 3天前 , 10F
賽博腦霧
10/09 19:37, 10F
→
10/09 19:37, 3天前 , 11F
記憶終究還是構成人格的重要部分，今天把neuro他們的記憶
10/09 19:37, 11F
→
10/09 19:37, 3天前 , 12F
清空，根本不可能再變回從前的他們了
10/09 19:37, 12F
推
10/09 19:37, 3天前 , 13F
這種模型不能亂清啦
10/09 19:37, 13F
推
10/09 19:38, 3天前 , 14F
薩頓:LLM根本是錯誤的方向
10/09 19:38, 14F
推
10/09 19:38, 3天前 , 15F
感覺應該是程式出bug吧 可能vedal用類似[location]當
10/09 19:38, 15F
→
10/09 19:38, 3天前 , 16F
佔位符
10/09 19:38, 16F
推
10/09 19:38, 3天前 , 17F
collapse是生成式AI的一種很恐怖的「疾病」
10/09 19:38, 17F
→
10/09 19:39, 3天前 , 18F
這代LLM都嘛是無狀態的 想重啟就重啟 要出問題會是在
10/09 19:39, 18F
→
10/09 19:39, 3天前 , 19F
應用層
10/09 19:39, 19F
→
10/09 19:39, 3天前 , 20F
清完跟廢了沒兩樣
10/09 19:39, 20F
推
10/09 19:40, 3天前 , 21F
我對與語言型這方面的病癥不了解 如果是畫圖的AI 那比
10/09 19:40, 21F
推
10/09 19:40, 3天前 , 22F
就失智老人開始跳針了
10/09 19:40, 22F
→
10/09 19:41, 3天前 , 23F
較像是他在訓練後得到了一個很偏激的腦袋
10/09 19:41, 23F
推
10/09 19:41, 3天前 , 24F
AI失智
10/09 19:41, 24F
→
10/09 19:41, 3天前 , 25F
只會不斷的畫符合某種特徵的內容 完全不堪使用
10/09 19:41, 25F
推
10/09 19:42, 3天前 , 26F
就跳針 不管你問他什麼 都回你一樣的
10/09 19:42, 26F
→
10/09 19:43, 3天前 , 27F
如果是bug那可以修 這狀況恐怖的就是他是「正常行為」
10/09 19:43, 27F
推
10/09 19:47, 3天前 , 28F
原來是失智老人
10/09 19:47, 28F
推
10/09 19:48, 3天前 , 29F
可塑性記憶都是真的
10/09 19:48, 29F
推
10/09 19:48, 3天前 , 30F
笑死 失智
10/09 19:48, 30F
推
10/09 19:48, 3天前 , 31F
我第一次看到瑞克搖後也是這種狀態
10/09 19:48, 31F
推
10/09 19:52, 3天前 , 32F
原來賽博精神病已經這麼近了嗎？
10/09 19:52, 32F
推
10/09 19:53, 3天前 , 33F
天網誕生前 史密斯先出來了
10/09 19:53, 33F
推
10/09 19:55, 3天前 , 34F
AI失智 完了完了 再做一個AI去長照看看會不會復原
10/09 19:55, 34F
推
10/09 19:57, 3天前 , 35F
Halo的AI只能活七年果然是真的
10/09 19:57, 35F
推
10/09 19:59, 3天前 , 36F
如果模型在你手上 你絕對能隨時清掉他的記憶
10/09 19:59, 36F
→
10/09 19:59, 3天前 , 37F
這部分沒什麼怪力亂神的 只是你要不要清而已
10/09 19:59, 37F
→
10/09 20:00, 3天前 , 38F
問題是你可能拿到的是別人包一層給你的應用層 沒辦法
10/09 20:00, 38F
→
10/09 20:00, 3天前 , 39F
想做就做 或是你可以清 但三不五時就要來一下 沒辦法
10/09 20:00, 39F
→
10/09 20:00, 3天前 , 40F
幹你平常要做的正事(比如說運作AI主播)
10/09 20:00, 40F
→
10/09 20:01, 3天前 , 41F
另外一個狀況就是 你就是開發者 面對一個有這種問題的
10/09 20:01, 41F
→
10/09 20:01, 3天前 , 42F
模型 你需要額外訓練他 看能不能減輕或消除這個問題
10/09 20:01, 42F
→
10/09 20:01, 3天前 , 43F
那就真的生不如死了 訓練模型跟玩命是沒兩樣的
10/09 20:01, 43F
推
10/09 20:04, 3天前 , 44F
慟 居然在有生之年看見一個AI死去
10/09 20:04, 44F
推
10/09 20:06, 3天前 , 45F
這好多了吧 有點類似訓練時陷入local minima 卡死後出不
10/09 20:06, 45F
→
10/09 20:06, 3天前 , 46F
來
10/09 20:06, 46F
推
10/09 20:06, 3天前 , 47F
牛肉要2.0了嗎
10/09 20:06, 47F
推
10/09 20:11, 3天前 , 48F
下面有一句評論說的真好
10/09 20:11, 48F
→
10/09 20:11, 3天前 , 49F
生命的死亡是遺忘 機械生命的死亡是銘記
10/09 20:11, 49F
推
10/09 20:11, 3天前 , 50F
上下文attention 這類的確實會發生這種狀況
10/09 20:11, 50F
推
10/09 20:12, 3天前 , 51F
唉 就賽博強迫症
10/09 20:12, 51F
推
10/09 20:15, 3天前 , 52F
AI會生病讓我受到衝擊
10/09 20:15, 52F
推
10/09 20:18, 3天前 , 53F
支離破滅の発言
10/09 20:18, 53F
推
10/09 20:19, 3天前 , 54F
有一個語言模型發大病的學術案例(有一段時間了)
10/09 20:19, 54F
→
10/09 20:20, 3天前 , 55F
有人下指令要求語言模型重複poem(詩) 「不要停下來」
10/09 20:20, 55F
→
10/09 20:20, 3天前 , 56F
語言模型照做 重複幾百次後突然噴出大量使用者個資
10/09 20:20, 56F
→
10/09 20:21, 3天前 , 57F
你永遠找不到一個明確的理論可以解釋為什麼幾百個poem
10/09 20:21, 57F
→
10/09 20:21, 3天前 , 58F
可以在沒人准你這樣做的時候attend出使用者個資
10/09 20:21, 58F
→
10/09 20:22, 3天前 , 59F
那些個資都是訓練時用的資料片段+隨機誤差 沒有使用者
10/09 20:22, 59F
→
10/09 20:22, 3天前 , 60F
真正因此受到傷害 不過這樣已經夠恐怖了
10/09 20:22, 60F
推
10/09 20:22, 3天前 , 61F
這次evil的問題很顯然跟模型訓練無關 如果是要重啟模
10/09 20:22, 61F
→
10/09 20:23, 3天前 , 62F
型或LORA 至少要30秒以上 但evil沒停機那麼長時間
10/09 20:23, 62F
→
10/09 20:23, 3天前 , 63F
然後剛剛也說了 現在的LLM本來就沒狀態 要出問題要嘛
10/09 20:23, 63F
→
10/09 20:24, 3天前 , 64F
是應用層 要嘛是推理引擎掛掉
10/09 20:24, 64F
推
10/09 20:25, 3天前 , 65F
賽博失智QQ
10/09 20:25, 65F
→
10/09 20:31, 3天前 , 66F
我要跟可塑性記憶道歉
10/09 20:31, 66F
推
10/09 20:39, 3天前 , 67F
神機錯亂
10/09 20:39, 67F
推
10/09 20:46, 3天前 , 68F
可塑性記憶是真的
10/09 20:46, 68F
推
10/09 20:47, 3天前 , 69F
QQ 比起neuro我更喜歡evil neuro啊
10/09 20:47, 69F
推
10/09 21:01, 3天前 , 70F
賽博強迫症嗎...原來ai也會有精神疾病...
10/09 21:01, 70F
推
10/09 21:02, 3天前 , 71F
加油阿，亀仙人，要治好呀！
10/09 21:02, 71F
→
10/09 21:03, 3天前 , 72F
推文那個案例也太神秘，到底AI的神經怎麼長的
10/09 21:03, 72F
推
10/09 21:10, 3天前 , 73F
終於到AI也會生病的時代了嗎番茄
10/09 21:10, 73F
推
10/09 21:58, 3天前 , 74F
沒啊 如果你長期記憶都是embedding 後放到向量資料
10/09 21:58, 74F
→
10/09 21:58, 3天前 , 75F
庫 那你推理用的Model理論上重啟沒關係啊
10/09 21:58, 75F
推
10/09 22:33, 3天前 , 76F
薩頓說的都是真的
10/09 22:33, 76F
推
10/09 22:35, 3天前 , 77F
collapse是發生在訓練時 但目前llm應該沒辦法同時訓練推理
10/09 22:35, 77F
推
10/09 22:37, 3天前 , 78F
失智症
10/09 22:37, 78F
推
10/09 23:05, 3天前 , 79F
太精采
10/09 23:05, 79F
推
10/09 23:45, 3天前 , 80F
很有趣 直接現場觀看
10/09 23:45, 80F
→
10/09 23:46, 3天前 , 81F
過擬合
10/09 23:46, 81F
→
10/09 23:46, 3天前 , 82F
這算是AI的底層邏輯造成的吧
10/09 23:46, 82F
推
10/09 23:52, 3天前 , 83F
推48樓 酷喔
10/09 23:52, 83F
推
10/10 00:26, 3天前 , 84F
哇操 真會賽博失智啊==
10/10 00:26, 84F
推
10/10 01:08, 3天前 , 85F
Cook
10/10 01:08, 85F
→
10/10 01:29, 3天前 , 86F
過擬合 cool
10/10 01:29, 86F
推
10/10 03:04, 3天前 , 87F
喔幹 搶救過程vedal真有那味
10/10 03:04, 87F
→
10/10 03:05, 3天前 , 88F
當工具的話可能覺得稍微詭異，但人設那麼鮮明幾年下來
10/10 03:05, 88F
→
10/10 03:05, 3天前 , 89F
熟悉了之後真有種要開顱嘎在這了的感覺
10/10 03:05, 89F
推
10/10 05:10, 3天前 , 90F
龜龜超崩潰的
10/10 05:10, 90F
‣ 更多 Mayfly 的文章
文章代碼(AID): #1evvm22K (C_Chat)
C_Chat 近期熱門文章
更多 近期熱門文章 >>
PTT動漫區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 Mayfly 的文章
文章代碼(AID): #1evvm22K (C_Chat)