PTT動漫區 / C_Chat (希洽)

Re: [閒聊] 為什麼開源模型對硬體的要求可以降低

看板C_Chat (希洽)作者 (第三方程式)時間1小時前 (2026/08/11 08:15), 52分鐘前編輯推噓3(3推 0噓 30→)
留言33則, 8人參與, 9分鐘前最新討論串2/2 (看更多)
本宅理解是這樣: 1. 模型越大越聰明 模型越小運行越快 但隨著技術進步 小模型也會變聰明 2. "量化"是指把大模型刪減為小模型 仍盡量維持模型智能的技術 量化技術也不斷改善 3. 這兩年有一個新技術叫MOE 他原始的意義 其實主要是為了讓大模型運算加速 (讓大模型跟小模型一樣快) 但因為其特性(稀疏) 讓很多採用MOE架構的模型 在"量化"時也可以更保留模型智能 (這段關聯我也不是太懂) 所以結果小模型更快 效果更好 4. 但量化其實也會讓模型運行變慢（有點像是要unzip) 5. 然後其實是開源和閉源模型一起進步 只是我們一般用戶只能看到閉源模型尺寸變小 發現首篇好像沒點 補一下 所以結論就是像2樓說的 以後每個人手機都可以養chobits -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.167.67.11 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1786407342.A.E6F.html ※ 編輯: attacksoil (223.137.21.73 臺灣), 08/11/2026 08:18:36
→
08/11 08:20, 1小時前 , 1F
因為開源只要有人想做就能做，所以你只關心特定功能，開
08/11 08:20, 1F
→
08/11 08:20, 1小時前 , 2F
源的進度可能會比較快
08/11 08:20, 2F
→
08/11 08:21, 1小時前 , 3F
沒開的就只能看維護的人選擇怎麼做
08/11 08:21, 3F
→
08/11 08:30, 55分鐘前 , 4F
再過5年 手機可能都能安裝大型本地模型了
08/11 08:30, 4F
※ 編輯: attacksoil (223.137.21.73 臺灣), 08/11/2026 08:33:01
→
08/11 08:37, 48分鐘前 , 5F
應該說手機上跑的模型會越來越聰明，知識純量還是會受限
08/11 08:37, 5F
→
08/11 08:51, 34分鐘前 , 6F
弄出超強大模型 再用它做小模型
08/11 08:51, 6F
→
08/11 08:51, 34分鐘前 , 7F
Qwen gemma4 還有最近祖克伯出的都是這樣
08/11 08:51, 7F
推
08/11 08:54, 31分鐘前 , 8F
手機有聯網能力幹嘛本地跑模型？ 這個需求應該會更傾向於在
08/11 08:54, 8F
→
08/11 08:54, 31分鐘前 , 9F
車載或無人機這種無法保證聯網穩定又有即時需求的終端上
08/11 08:54, 9F
→
08/11 08:57, 28分鐘前 , 10F
總是有些私人需求 對阿
08/11 08:57, 10F
→
08/11 09:00, 25分鐘前 , 11F
8F.....你這問題天真到不知道該如何回答
08/11 09:00, 11F
→
08/11 09:01, 24分鐘前 , 12F
我覺得與其發展手機跑的本地模型 應該會發展成廠商直接提
08/11 09:01, 12F
→
08/11 09:01, 24分鐘前 , 13F
供線上的高隱私模型
08/11 09:01, 13F
→
08/11 09:01, 24分鐘前 , 14F
連回自家本地比較合理就是了
08/11 09:01, 14F
→
08/11 09:02, 23分鐘前 , 15F
你這問題把手機換成電腦就能得到答案了
08/11 09:02, 15F
→
08/11 09:02, 23分鐘前 , 16F
真的能在手機本地部署大概也割了蠻多能力的
08/11 09:02, 16F
→
08/11 09:04, 21分鐘前 , 17F
線上服務目前就一個問題你有沒有比較敏感的需求
08/11 09:04, 17F
→
08/11 09:05, 20分鐘前 , 18F
手機AI修圖已經落後了，影片銳利化也是，現在是AI助理
08/11 09:05, 18F
推
08/11 09:06, 19分鐘前 , 19F
至少本地能省錢 等這一波AI大逃殺結束 活下來的可以任
08/11 09:06, 19F
→
08/11 09:06, 19分鐘前 , 20F
意漲價 想了就可怕
08/11 09:06, 20F
→
08/11 09:06, 19分鐘前 , 21F
不討論犯刑法的，有版權議題的就很難保證穩定
08/11 09:06, 21F
→
08/11 09:08, 17分鐘前 , 22F
就算有敏感需求 也能靠保密契約或是加密技術保證敏感資訊
08/11 09:08, 22F
→
08/11 09:08, 17分鐘前 , 23F
的安全 因為這個需求去閹割性能不划算
08/11 09:08, 23F
推
08/11 09:08, 17分鐘前 , 24F
你手機不發展本地模型，在攝影、拍照、翻譯等對即時性
08/11 09:08, 24F
→
08/11 09:08, 17分鐘前 , 25F
要求極高的需求時要怎辦？你等的起那幾秒？在網路未普
08/11 09:08, 25F
→
08/11 09:08, 17分鐘前 , 26F
及的國家、或根本沒訊號，或因為人太多網路壅擠的地區
08/11 09:08, 26F
→
08/11 09:08, 17分鐘前 , 27F
怎辦？
08/11 09:08, 27F
→
08/11 09:12, 13分鐘前 , 28F
本地省錢就完全看你性能要求跟不跟的上時代了 人家數據中
08/11 09:12, 28F
→
08/11 09:12, 13分鐘前 , 29F
心的成本攤提比你本地架有優勢多了 跟著時代浪潮的性能需求
08/11 09:12, 29F
→
08/11 09:12, 13分鐘前 , 30F
你拼不過那些巨頭
08/11 09:12, 30F
→
08/11 09:16, 9分鐘前 , 31F
手機還是先解決電池的問題吧，還沒用模型就已經不夠用了，
08/11 09:16, 31F
→
08/11 09:16, 9分鐘前 , 32F
一堆人說什麼他可以手機用兩天，那根本沒在用吧，以後跑模
08/11 09:16, 32F
→
08/11 09:16, 9分鐘前 , 33F
型，幹什麼都像玩手遊的，能用半天就偷笑了
08/11 09:16, 33F
‣ 更多 attacksoil 的文章
文章代碼(AID): #1gUcckvl (C_Chat)
C_Chat 近期熱門文章
更多 近期熱門文章 >>
PTT動漫區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 attacksoil 的文章
文章代碼(AID): #1gUcckvl (C_Chat)