Re: [洽特] RisuAI的簡易上手指南
※ 引述《driftcreator (貓爹)》之銘言:
: 1. 新手安裝操作
: 更新於2025/02/04
: 4. 聊天機器人 -> 模型
: API模型
: 離線運算模型(用你自己的設備跑)
: 初學者建議使用Kobold或Ollama作為後端去運行,操作相對不複雜
: 模型上huggingface去找。7B ~ 13B的模型,差不多就是多數線上AI聊天平台的水準了
: 安裝細節不詳述,因為你如果真的很在意隱私,我相信能自己想辦法跨過這個技術檻的
小小反饋一下,順便問個問題。
我原本有用LM Studio作後端,想說直接串API進去應該也可以。
我的模型是用deepseek-r1-distill-qwen-14b-abliterated-v2-q6_k.gguf
若按照原始設定,填完API,跑對話會跳以下錯誤。
TypeError: Cannot read properties of undefined (reading 'data')
解決辦法是要勾選聊天機器人中的"Response 即時串流傳輸",即可正常。
但現在問題出在他會把整個推理過程完整描述,我嘗試在LM Studio的系統提示詞裡,
撰寫"不要給推理流程僅給我對話",但沒有任何效果。
不知道是模型的限制還是有甚麼設定我可以做嘗試。
https://i.imgur.com/Wnkj5Zy.png
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.169.232.87 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/AC_In/M.1738738854.A.063.html
推
02/05 17:23,
4小時前
, 1F
02/05 17:23, 1F
了解,原來是我模型挑選錯誤,我再嘗試看看。
※ 編輯: chann (1.169.232.87 臺灣), 02/05/2025 19:27:56
推
02/05 19:48,
2小時前
, 2F
02/05 19:48, 2F
推
02/05 20:08,
1小時前
, 3F
02/05 20:08, 3F
討論串 (同標題文章)
完整討論串 (本文為第 8 之 8 篇):
4
10
AC_In 近期熱門文章
19
22
PTT動漫區 即時熱門文章