造物森林 · 像素風素材生成流水線

小蛙劍客 · 實驗紀錄(2026-11-06~08)。核心想法:AI 只畫高解析度、線條明確、色彩飽和的卡通圖;像素化由腳本完成。整條流水線只用 labs 本地模型+腳本,可批次執行。
① 四視圖定裝照 Qwen-Image-2.1(文字 + 真實道具照片當參考圖)→ 2×2 一張 → 腳本切成 4 個視角 ② 動作草稿 VACE(參考圖→影片)→ 影片幀 ③ 挑關鍵幀 腳本挑幀、裁切放大 ④ 逐張精修 Edit 模型:每張關鍵幀各自重畫,每張附定裝照視角圖當參考 ⑤ 像素化 腳本:去背 → 共用裁切框/調色盤/對齊 → 32 或 64 ⑥ 動畫輸出 逐幀 PNG、並排預覽、GIF(微小動作直接用腳本改像素圖)
① 四視圖定裝照② 動作草稿③ 挑關鍵幀④ 逐張精修⑤ 腳本像素化⑥ 動畫輸出已淘汰的做法✗ 試過失敗的路

①四視圖定裝照(Qwen-Image-2.1,本機)部分可用

一次生成 2×2 四視圖(正面/側面/背面/斜上),再用腳本切成四張。文字 prompt 描述角色與風格(粗黑輪廓、平塗、高飽和、少而寬的條紋),並把真實的道具照片(美工刀片、瓶蓋)當參考圖餵進去(模型支援最多 10 張參考圖)。
純文字(沒餵參考圖)seed 1:四視角造型一致、斜上視角畫出來了;但刀片畫成帶護手的短劍
純文字 seed 2:背面沒有刀片
餵刀片照+瓶蓋照當參考圖 seed 2:刀片的外形(折斷線、圓孔、膠帶)變對了,但整體仍有嚴重問題:①刀片沒有被手握住,像從肩膀長出來;②瓶蓋沒有綁在前臂,飄在身體側面;③背面是橫過兩側的長條(像兩把刀),與正面不一致;④斜上視角完全沒有刀片
餵參考圖 seed 1:同樣刀片沒被握住;背面也是橫過兩側的長條;斜上視角頭頂多了一個紅瓶蓋像帽子,瓶蓋壓印字被抄進來;披風條紋在各視角不一致
參考:美工刀片(Wikimedia Commons,OLFA;授權待確認)
參考:紅色瓶蓋(Wikimedia Commons;授權待確認)

②動作草稿(影片模型 VACE,本機)部分可用

Wan2.1-VACE-14B,參考圖→影片:餵側面圖,生成 49 幀走路。肢體結構與步態對、左右腳交替有出現;但畫風漂移、眼睛閃爍、腳的細節模糊,所以只當「動作草稿」。約 5.5 分鐘一段。只試過 1 個 seed。
49 幀中每隔 4 幀取樣
VACE 原始輸出(12 fps)

③挑關鍵幀(腳本)進行中/未驗證

從 VACE 影片挑一個步態循環的幀(目前是肉眼挑第 28、32、36、40 幀),裁成方形放大。尚無自動挑選方法。
第 28/32/36/40 幀

④逐張精修(Edit 模型,本機)部分可用

一次修一張,每個關鍵幀各自生成,每張都附定裝照當造型參考。下圖是舊模型(Qwen-Image-Edit-2509)的結果:上排=VACE 關鍵幀;中排=單張精修(只給關鍵幀);下排=多圖精修(定裝照+關鍵幀)。單張版風格很好但角色不一致;多圖版刀片細節保住、眼睛較穩,但風格沒修好,且 4 張裡 1 張原樣複製、1 張雜訊壞掉。
三排對照:關鍵幀/單張精修/多圖精修(2509)

⑤腳本像素化可用

AI 不畫像素風;腳本做:去背(含洋紅色相的陰影)→ 各幀共用裁切框/縮放/調色盤 → 腳底與重心對齊 → 限定尺寸與色數。64×64 尚可辨認;32×32 眼睛消失、披風糊成雜點。
32×32、24 色(單張精修的四幀):臉、披風、刀片都糊了
64×64、24 色(早期版本:張開/併攏的走路)

⑥動畫輸出部分可用

呼吸、上下起伏這類微小動作用腳本直接改像素圖(插入/刪除一行像素,腳底不動),有效;走路目前還不合格——張開/併攏有做到,但左右腳沒有交替。
idle 呼吸起伏(腳本改像素,64×64)
走路(張開/併攏,左右腳未交替,不合格)
VACE 關鍵幀精修後 32×32(4 幀)

⌫已淘汰的做法(不再使用)已淘汰

流程改成「全部用 labs 本地模型+腳本、可批次」之後,這些做法不再使用;留著當對照。
Gemini 產的 T pose 定裝照:效果好,但每張都要人工複製貼上,無法批次,改用本機 Qwen-Image-2.1
Qwen-Image-Edit 從定裝照轉面(側面):可用,但已被四視圖一次生成取代
轉面(背面):沒有刀片
轉面(背面):刀片穿過手、重複出現

✗試過但不要走的路失敗紀錄

這些是實測失敗的做法;留在這裡是為了不再重複踩。
整張 2×2 sheet 一次生成走路:四格的腿都一樣,沒有邁步
(對照)單張精修丟失刀片折斷線與圓孔
多圖精修(2509)seed 1 的第 32 幀:背景雜訊壞掉
把多張參考圖拼成一張板丟給單張輸入的 Edit:模型只是把整張板重畫一遍
要求「近側腿在前」
要求「遠側腿在前」:與左圖幾乎一樣,模型分不出近遠腿
狀態標籤是依實測肉眼判斷,不是量化指標。新流程(本機 Qwen-Image-2.1 為主)中,標「進行中/未驗證」或「部分可用」的環節仍待驗證。
由 web/build_pipeline_page.py 自動生成;素材來源於 art/。細節文件:docs/像素風遊戲素材生成工作流.md。