Re: [洽特] RisuAI的簡易上手指南

看板AC_In (裏洽 18+動漫)作者 (一..一)時間7小時前 (2025/02/05 15:00), 2小時前編輯推噓3(300)
留言3則, 3人參與, 1小時前最新討論串8/8 (看更多)
※ 引述《driftcreator (貓爹)》之銘言: : 1. 新手安裝操作 : 更新於2025/02/04 : 4. 聊天機器人 -> 模型 : API模型 : 離線運算模型(用你自己的設備跑) : 初學者建議使用Kobold或Ollama作為後端去運行,操作相對不複雜 : 模型上huggingface去找。7B ~ 13B的模型,差不多就是多數線上AI聊天平台的水準了 : 安裝細節不詳述,因為你如果真的很在意隱私,我相信能自己想辦法跨過這個技術檻的 小小反饋一下,順便問個問題。 我原本有用LM Studio作後端,想說直接串API進去應該也可以。 我的模型是用deepseek-r1-distill-qwen-14b-abliterated-v2-q6_k.gguf 若按照原始設定,填完API,跑對話會跳以下錯誤。 TypeError: Cannot read properties of undefined (reading 'data') 解決辦法是要勾選聊天機器人中的"Response 即時串流傳輸",即可正常。 但現在問題出在他會把整個推理過程完整描述,我嘗試在LM Studio的系統提示詞裡, 撰寫"不要給推理流程僅給我對話",但沒有任何效果。 不知道是模型的限制還是有甚麼設定我可以做嘗試。 https://i.imgur.com/Wnkj5Zy.png
-- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.169.232.87 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/AC_In/M.1738738854.A.063.html

02/05 17:23, 4小時前 , 1F
deepseek r1是推理模型,用v3或是看一下api有沒有開關
02/05 17:23, 1F
了解,原來是我模型挑選錯誤,我再嘗試看看。 ※ 編輯: chann (1.169.232.87 臺灣), 02/05/2025 19:27:56

02/05 19:48, 2小時前 , 2F
可是deepseek精隨就在推理啊 沒推理隨便用一個就好吧
02/05 19:48, 2F

02/05 20:08, 1小時前 , 3F
推理模型都會生成思維鏈,Gemini也一樣
02/05 20:08, 3F
文章代碼(AID): #1democ1Z (AC_In)
文章代碼(AID): #1democ1Z (AC_In)