PTT動漫區 / C_Chat (希洽)

Re: [閒聊] Deepseek加Project Digi=AI的大海賊時代?

看板C_Chat (希洽)作者 (最是清楚哇她咩)時間4周前 (2025/01/28 12:29), 4周前編輯推噓15(15推 0噓 16→)
留言31則, 11人參與, 4周前最新討論串1/2 (看更多)
※ 引述《litsix (Altwort)》之銘言： : 回頭看看老黃在CES端出來的Project Digi，你要說他事前沒收到Deepseek的相關消 : 息，我是不信的。 : 這次的Deepseek事件不亞於當年NovelAI v1流出，個體戶或中小型公司也有機會拿到 : 門票了，AI的大海賊時代來臨啦!! : 誰會先找到大秘寶呢，有洽否? 我看板上的討論，好像對於「免費爽用的模型」非常的驚喜！？ 那我分享一下好了 網路上有不少有名的軟體都可以免費使用開源的語言模型 Ollama 應該是最自由的， 不過我目前覺得第一次使用的話，LM Studio 比較容易。 步驟非常簡單： 1. 到 https://lmstudio.ai/ 下載 LM Studio，然後安裝 2. 安裝完之後點開程式，他會引導你下載一個比較陽春的語言模型， 把語言模型載入之後，就可以開始玩了 https://i.imgur.com/nrg2nZx.jpg
3. 如果對於陽春的模型不喜歡， 還有一堆語言模型可以隨意下載使用 https://lmstudio.ai/models VRAM 12GB 的話大概可以用到 14B 的模型 就算沒有GPU也可以跑啦，就只是出結果的速度會比較慢而已 -- 角卷綿芽 五周年紀念套組 https://i.imgur.com/k9SZ73Z.jpg
預購時間：預購開放至 2025/02/03 下午五點 預購連結：https://bit.ly/4j6AXIg -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 98.45.195.96 (美國) ※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1738038595.A.369.html
推
01/28 12:31, 4周前 , 1F
ollama要設定安裝路徑竟然是打指令的 他那個gui做好看的
01/28 12:31, 1F
其實 Ollama 那個指令也就是一行文，然後就可以開始了。 只是CLI的界面對一般人來說實在不太討喜XD
推
01/28 12:37, 4周前 , 2F
ollama沒有gui吧 就是純文字 只是載入有點麻煩...
01/28 12:37, 2F
我記得應該搭配 openai-gui 使用？
推
01/28 12:38, 4周前 , 3F
又鬼轉綿芽
01/28 12:38, 3F
※ 編輯: arrenwu (98.45.195.96 美國), 01/28/2025 12:39:19
推
01/28 12:40, 4周前 , 4F
lmstudio能用A卡加速嗎? GPT4ALL可以
01/28 12:40, 4F
→
01/28 12:40, 4周前 , 5F
但只有官方處理過的模型可以 但後來它都沒更新新的模型
01/28 12:40, 5F
→
01/28 12:41, 4周前 , 6F
ollama目前只支援6800以上 可是我用的是6600XT阿
01/28 12:41, 6F
推
01/28 12:42, 4周前 , 7F
ollama是工具不是模型
01/28 12:42, 7F
推
01/28 12:42, 4周前 , 8F
Ollama有chrome外掛
01/28 12:42, 8F
推
01/28 12:46, 4周前 , 9F
然後不要期待本地模型的效果 應該說一般家用電腦能跑的
01/28 12:46, 9F
→
01/28 12:47, 4周前 , 10F
網頁版還是適合大眾使用 電腦小白不會用就是不會用
01/28 12:47, 10F
→
01/28 12:47, 4周前 , 11F
像是7B 14B這種等級 基本上都蠻蠢的 除了限制少
01/28 12:47, 11F
→
01/28 12:48, 4周前 , 12F
完全被線上的吊起來打 除非有特殊需求不然用線上的就好
01/28 12:48, 12F
推
01/28 12:50, 4周前 , 13F
01/28 12:50, 13F
→
01/28 12:50, 4周前 , 14F
要免錢 不用登入的可以去鴨鴨走玩
01/28 12:50, 14F
→
01/28 12:50, 4周前 , 15F
我有色情相關內容要翻譯都是去找鴨鴨走
01/28 12:50, 15F
推
01/28 12:54, 4周前 , 16F
也是找鴨鴨+1
01/28 12:54, 16F
推
01/28 13:08, 4周前 , 17F
7B 14B這種就相關行業會玩的在特定情境下好用
01/28 13:08, 17F
推
01/28 13:13, 4周前 , 18F
Ollama 是用來讀取模型的吧，本地小模型目前好像沒什麼
01/28 13:13, 18F
→
01/28 13:13, 4周前 , 19F
能讓人驚艷的應用吧，除了拿來跑翻譯跟聊天之類的
01/28 13:13, 19F
推
01/28 13:22, 4周前 , 20F
嗯 像是聊天AI那種基本都是7B 8B左右
01/28 13:22, 20F
→
01/28 14:05, 4周前 , 21F
現在AMD的AI MAX 也搞統一記憶體了 最大可以吃到96G 已經可
01/28 14:05, 21F
→
01/28 14:05, 4周前 , 22F
以跑70B了 #相信AMD
01/28 14:05, 22F
推
01/28 14:10, 4周前 , 23F
老黃不是要推一個AI盒子 #相信老黃
01/28 14:10, 23F
→
01/28 14:12, 4周前 , 24F
Project Digits要3000美金起 MAX395+128G的ROG Z13 2025
01/28 14:12, 24F
→
01/28 14:13, 4周前 , 25F
也才不到台幣8萬 對預算比較拮据的人還是有差
01/28 14:13, 25F
推
01/28 14:47, 4周前 , 26F
自問自答 lmstudio應該是可以用A卡加速
01/28 14:47, 26F
→
01/28 14:48, 4周前 , 27F
跑7B模型大概是27token/sec
01/28 14:48, 27F
→
01/28 15:48, 4周前 , 28F
local模型都不怎麼樣 除非自架R1 不然還是線上的好用
01/28 15:48, 28F
→
01/28 15:49, 4周前 , 29F
純GUI我是用Cherry Studio
01/28 15:49, 29F
推
01/28 18:17, 4周前 , 30F
自架要到線上等級大概有難度 看B站討論
01/28 18:17, 30F
→
01/28 18:19, 4周前 , 31F
線上版本是698B 這等級少說也要個300GB的記憶體吧
01/28 18:19, 31F
‣ 更多 arrenwu 的文章
文章代碼(AID): #1dc5r3Df (C_Chat)
C_Chat 近期熱門文章
更多 近期熱門文章 >>
PTT動漫區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 arrenwu 的文章
文章代碼(AID): #1dc5r3Df (C_Chat)