[問題] 要多少GPU ram才能自己養一個neuro

看板C_Chat (希洽)作者 (第三方程式)時間6小時前 (2024/10/09 20:07), 3小時前編輯推噓2(312)
留言6則, 5人參與, 4小時前最新討論串1/1
語音轉文字應該whisper就無敵了 文字轉文字有llama3.2 文字轉語音選擇很多 延遲是個問題 還有中間的檢索資料庫要怎麼架 但假設對延遲有一定容忍 就看她一個人在那裡嘴 需要多少RAM才能自己養一個neuro??? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.137.137.64 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1728475641.A.E15.html

10/09 20:08, 6小時前 , 1F
vedal好像是用租的
10/09 20:08, 1F
有在靠ai賺錢的租可以 自己玩玩感覺還是自己組划算

10/09 20:21, 5小時前 , 2F
問就是4090
10/09 20:21, 2F
24GB 不確定夠不夠 ※ 編輯: attacksoil (223.137.137.64 臺灣), 10/09/2024 20:27:04

10/09 20:40, 5小時前 , 3F
租個A100
10/09 20:40, 3F

10/09 20:59, 5小時前 , 4F
租GPT API
10/09 20:59, 4F

10/09 21:50, 4小時前 , 5F
llama其實是dram benchmark, 記憶體需求就是版本號,7B=7G
10/09 21:50, 5F

10/09 21:50, 4小時前 , 6F
B以此類推
10/09 21:50, 6F
7b 實際跑通常要10到16gb不等 ※ 編輯: attacksoil (223.137.137.64 臺灣), 10/09/2024 22:49:38
文章代碼(AID): #1d1d7vuL (C_Chat)
文章代碼(AID): #1d1d7vuL (C_Chat)