PTT動漫區 / C_Chat (希洽)

[閒聊] 為什麼開源模型對硬體的要求可以降低

看板C_Chat (希洽)作者 (uuuu4ni)時間1小時前 (2026/08/11 07:36), 編輯推噓2(5推 3噓 21→)
留言29則, 12人參與, 13分鐘前最新討論串1/2 (看更多)
嗨嗨 阿肥在想 之前開源模型 可能都要16g 才能用 後來開始有8g能跑的版本 為什麼呢 有木有掛 分享分享 ----- Sent from JPTT on my iPhone -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.9.196.66 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1786404977.A.EA5.html
→
08/11 07:36, 1小時前 , 1F
會有一堆人一直去改良啊
08/11 07:36, 1F
推
08/11 07:42, 59分鐘前 , 2F
因為跑不動的人會去改
08/11 07:42, 2F
→
08/11 07:45, 56分鐘前 , 3F
量化
08/11 07:45, 3F
→
08/11 07:49, 52分鐘前 , 4F
資本家不喜歡這種事
08/11 07:49, 4F
→
08/11 07:49, 52分鐘前 , 5F
gguf
08/11 07:49, 5F
噓
08/11 07:50, 51分鐘前 , 6F
ACG點? 量化跟多模化，現在開源模型都趨向MOE，
08/11 07:50, 6F
推
08/11 07:51, 50分鐘前 , 7F
因為現在AI進步很快
08/11 07:51, 7F
→
08/11 07:53, 48分鐘前 , 8F
就三樓講得量化，模型有改小
08/11 07:53, 8F
→
08/11 07:53, 48分鐘前 , 9F
每次處理只需要載入部分，再爛的電腦都可以執行，差在
08/11 07:53, 9F
→
08/11 07:53, 48分鐘前 , 10F
快慢
08/11 07:53, 10F
推
08/11 07:53, 48分鐘前 , 11F
你說的是什麼模型啊 開不開源都是因為有作量化 壓縮
08/11 07:53, 11F
→
08/11 07:53, 48分鐘前 , 12F
但那個號稱能用其實沒算上context長度限制喔
08/11 07:53, 12F
推
08/11 07:56, 45分鐘前 , 13F
市售車為什麼比F1省油？
08/11 07:56, 13F
→
08/11 07:57, 44分鐘前 , 14F
還有開不開源都是資本家養的 因為模型本身沒啥好藏私
08/11 07:57, 14F
→
08/11 07:57, 44分鐘前 , 15F
本質上那就是一個超大的知識索引 真正能賣的是前後處
08/11 07:57, 15F
→
08/11 07:57, 44分鐘前 , 16F
理工程的調教 還有規模 16G vram能跑啊 但context可能
08/11 07:57, 16F
→
08/11 07:58, 43分鐘前 , 17F
只有幾千字 還要用上外在的輔助去記憶 我自己家裡一張
08/11 07:58, 17F
→
08/11 07:58, 43分鐘前 , 18F
5070ti 16G 拿來推理與日常維護用短script生成 稍微大
08/11 07:58, 18F
→
08/11 07:58, 43分鐘前 , 19F
的前處理要用上64GB 的Mac mini
08/11 07:58, 19F
推
08/11 07:58, 43分鐘前 , 20F
拉屎菌就很耗油啊
08/11 07:58, 20F
→
08/11 07:59, 42分鐘前 , 21F
真正的大文本整個專案還是要丟給Claude max pro才夠
08/11 07:59, 21F
→
08/11 07:59, 42分鐘前 , 22F
我還得自己搞pgvector做rag
08/11 07:59, 22F
→
08/11 08:01, 40分鐘前 , 23F
最近線代抽象代數都在複習就是為了這個
08/11 08:01, 23F
→
08/11 08:03, 38分鐘前 , 24F
LLM如果不是整個多層矩陣都載入vram 光是用上原始記憶
08/11 08:03, 24F
→
08/11 08:04, 37分鐘前 , 25F
體的資料搬移就會讓速度慢到無法接受了 基本上不可能
08/11 08:04, 25F
→
08/11 08:04, 37分鐘前 , 26F
部分載入 靠的是量化縮短單位資料量
08/11 08:04, 26F
噓
08/11 08:23, 18分鐘前 , 27F
洽點
08/11 08:23, 27F
噓
08/11 08:28, 13分鐘前 , 28F
第一沒點 第二有AI版 第三未來本地模型會像洛克人EXE
08/11 08:28, 28F
→
08/11 08:28, 13分鐘前 , 29F
一樣 每個人的手機都有個人化AI
08/11 08:28, 29F
‣ 更多 cake51640 的文章
文章代碼(AID): #1gUc1nwb (C_Chat)
C_Chat 近期熱門文章
更多 近期熱門文章 >>
PTT動漫區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 cake51640 的文章
文章代碼(AID): #1gUc1nwb (C_Chat)