Fw: [AIGC] Video Processor using dghs-imgutils

看板C_Chat (希洽)作者avans (阿緯)時間4天前 (2025/05/10 14:30)推噓0(0推 0噓 0→)

留言0則, 0人參與討論串1/1

※ [本文轉錄自 AI_Art 看板 #1e7l78xk ] 作者: avans (阿緯) 看板: AI_Art 標題: [AIGC] Video Processor using dghs-imgutils 時間: Sat May 10 14:27:15 2025 這裡要介紹的是Video Processor using dghs-imgutils專案他是一個可處理多個動畫影片並依據UI介面設定的檢測與分析方式產出各角色圖片的工具經過人工篩選圖片並加上tag後可再用於訓練SD LoRA模型 https://huggingface.co/spaces/avans06/ImgutilsVideoProcessor 因為專案放在huggingface免費空間，線上應該是無法直接執行建議git clone到本機執行，python需要安裝gradio與dghs-imgutils[gpu] 一部23分的影片依電腦等級不同，處理時間約350秒~1000秒之間以香格里拉動畫做測試，其執行結果例子如下 https://i.imgur.com/yQVWShF.png

https://i.imgur.com/610d1rn.png

___ 底下說明下UI中各參數的用途 * 取樣間隔 (毫秒) (Sample Interval (ms)) 設定從影片中擷取影格進行分析的時間間隔，單位是毫秒 (ms)。 ___ *人物偵測選項 (Person Detection Options) 啟用人物偵測 (Enable Person Detection): 勾選後，程式會嘗試在每個取樣影格中偵測人物。最小目標寬度 (影格寬度的百分比) (Min Target Width (% of Frame Width)): 設定被偵測到的人物必須達到的最小寬度（相對於完整影格寬度的百分比），才會被視為有效目標進行後續處理。例如，0.25 代表人物寬度至少需達到影格寬度的 25%。人物偵測模型 (PD Model): 選擇用於人物偵測的預訓練模型。不同的模型在速度和準確度上可能有所差異。人物偵測信心度閾值 (PD Conf): 設定人物偵測的信心度閾值。只有當模型的預測信心度高於此值時，偵測結果才被接受人物偵測 IoU 閾值 (PD IoU): 設定人物偵測中用於非極大值抑制 (NMS) 的交並比 (Intersection over Union) 閾值，用來過濾重疊的偵測框。 ___ *半身偵測選項 (Half-Body Detection Options) 啟用半身偵測 (Enable Half-Body Detection): 勾選後，若「人物偵測」未啟用或未偵測到人物，程式會在完整影格上嘗試偵測半身像。使用半身像作為目標 (Use Half-Bodies as Targets): 若啟用半身偵測，勾選此項會將偵測到的半身像裁切下來作為主要處理目標。最小目標寬度 (影格寬度的百分比) (Min Target Width (% of Frame Width)): 設定被偵測到的半身像必須達到的最小寬度（相對於完整影格寬度的百分比），才會被視為有效目標。半身偵測模型 (HBD Model): 選擇用於半身偵測的預訓練模型。半身偵測信心度閾值 (HBD Conf): 設定半身偵測的信心度閾值。半身偵測 IoU 閾值 (HBD IoU): 設定半身偵測中用於 NMS 的 IoU 閾值。 ___ *臉部偵測選項 (Face Detection Options) 啟用臉部偵測 (Enable Face Detection): 勾選後，程式會在已識別的主要目標（如人物或半身像）上進行臉部偵測。裁切偵測到的臉部 (Crop Detected Faces): 若啟用臉部偵測，勾選此項會將偵測到的臉部裁切下來並單獨儲存。最小裁切寬度 (父影像寬度的百分比) (Min Crop Width (% of Parent Width)): 設定臉部裁切的最小寬度，此百分比是相對於其父影像（即人物或半身像的裁切圖）的寬度。臉部偵測信心度閾值 (FD Conf): 設定臉部偵測的信心度閾值。臉部偵測 IoU 閾值 (FD IoU): 設定臉部偵測中用於 NMS 的 IoU 閾值。過濾未偵測到臉部的目標 (Filter Targets Without Detected Faces): 若勾選，則主要目標（如人物、半身像）如果未能在其上偵測到任何臉部，則該主要目標將被過濾掉，不進行後續處理和儲存。 ___ *頭部偵測選項 (Head Detection Options) 啟用頭部偵測 (Enable Head Detection): 勾選後，程式會在已識別的主要目標上進行頭部偵測。裁切偵測到的頭部 (Crop Detected Heads): 若啟用頭部偵測，勾選此項會將偵測到的頭部裁切下來並單獨儲存（需滿足最小寬度）最小裁切寬度 (父影像寬度的百分比) (Min Crop Width (% of Parent Width)): 設定頭部裁切的最小寬度，此百分比是相對於其父影像的寬度。頭部偵測模型 (HD Model): 選擇用於頭部偵測的預訓練模型。頭部偵測信心度閾值 (HD Conf): 設定頭部偵測的信心度閾值。頭部偵測 IoU 閾值 (HD IoU): 設定頭部偵測中用於 NMS 的 IoU 閾值。過濾未偵測到頭部的目標 (Filter Targets Without Heads): 若勾選，則主要目標如果未能在其上偵測到任何頭部，則該主要目標將被過濾掉。 ___ *CCIP 分類選項 (CCIP Classification Options) 啟用 CCIP 分類 (Enable CCIP Classification): 勾選此項以啟用 CCIP 特徵提取與分類。程式會根據圖片內容的相似性將圖片分到不同的叢集（資料夾）中。資料夾會根據內部圖片數量排序命名。 CCIP 模型 (CCIP Model): 選擇用於 CCIP 特徵提取的模型。 CCIP 相似度閾值 (CCIP Similarity Threshold): 設定 CCIP 分類的相似度閾值。兩張圖片的 CCIP 特徵向量差異小於此閾值時，被認為屬於同一個叢集。值越小，代表對相似度的要求越高。 ___ *LPIPS 聚類選項 (LPIPS Clustering Options) 啟用 LPIPS 聚類 (Enable LPIPS Clustering): 勾選此項以啟用 LPIPS 聚類。LPIPS 是一種衡量圖片感知相似度的指標，用於將視覺上相似的圖片分組。如果 CCIP 分類已啟用，LPIPS 聚類會在每個 CCIP 叢集內部進行；否則，會在所有收集到的圖片上進行全域聚類。 LPIPS 相似度閾值 (LPIPS Similarity Threshold): 設定 LPIPS 聚類的相似度閾值。兩張圖片的 LPIPS 距離小於此閾值時，被認為屬於同一個叢集。值越小，代表對相似度的要求越高。 ___ *美學分析選項 (Aesthetic Analysis Options) 啟用美學分析 (動漫風格) (Enable Aesthetic Analysis (Anime)): 勾選此項以啟用基於動漫風格的美學評分模型。分析結果（如 great, good, normal, low, worst）會作為標籤加到圖片檔名的最前面。分析結果僅供參考不一定準確。美學模型 (Aesthetic Model): 選擇用於美學分析的預訓練模型。 ___ 本專案有使用Gemini補助開發且功能設計概念參考了 cybermeow作者製作的anime_screenshot_pipeline專案 #1ZrgoSI5 (AI_Art) [AI] 練了個怕痛的模型 https://github.com/cyber-meow/anime_screenshot_pipeline anime_screenshot_pipeline是使用waifuc套件的command-line介面程式 ImgutilsVideoProcessor 是使用dghs-imgutils具有UI介面程式上述兩個專案核心套件(waifuc、dghs-imgutils)皆為DeepGHS團隊開發設計的 https://github.com/deepghs PS. waifuc專案的核心套件是dghs-imgutils並重新包裝改寫 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.140.7.212 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1746858440.A.EEE.html ※ 發信站: 批踢踢實業坊(ptt.cc) ※ 轉錄者: avans (223.140.7.212 臺灣), 05/10/2025 14:30:11