[UE5] 使用Plask將影片轉成UE5小灰人動畫
Plask是一個最近公開的免費服務,利用AI技術分析影片中人物的動作,並且轉化為動作。也就是說只要有一個視訊鏡頭,任何人都能自己做出任意人物動畫,對沒有動態捕捉設備的人來說是夢寐以求的服務。簡單介紹可以看以下官方影片。
這篇文章分為兩大部分,第一部分展示Plask中將影像轉化為動作,以及將動畫匯入UE5內部的操作流程。第二部份示範了將動畫Retarget到UE小灰人的步驟。以下是最後完成的結果。
這次演示中創建的專案的可以到我的GitHub直接下載,引擎使用UE5EA版,有需要歡迎參考使用。
使用Plask將影片輸出動畫匯入UE5
首先進入Plask網站,操作都是在網頁上進行。首先用社群帳號做個簡單的註冊後,點選Get Started就可以開始操作。
接著進來就會看到我們主畫面,現在看起來什麼都沒有。
第一件事要做的是匯入影片當作素材。若點擊右上角的相機按鈕可以直接用webcam拍攝影片,但是影片最好是要有全身動作,由於我家拍攝環境實在不好,所以是用現成的影片。以下示範現成影片輸入的操作步驟。
由於需要一個影片當作素材,因此我先在網路上任意找了一個影片。
這個影片中帥哥看起來挺賞心悅目,動作也挺複雜的,讓我們用這個影片看看Plask的能耐。
在主畫面中,按下左上角Library的加號,選擇我們準備的影片後,系統將會花點時間開始轉換影片,結束後會出現以下畫面。
此時可以從下面影片的時間軸調整想要結束的片段,選取完後點選Extract Motion按鈕後就會開始轉換。根據影片長度會有不同轉換時間。這次約36秒的影片大概需要三分鐘。
等待跑完處理後就會看到我們Library多了一個動畫,接著把這個動畫拖拉到上面的Mannequin,再雙擊拖拉後的動畫後,轉化後的動畫就會開始播放。
動作非常順暢!如果沒有問題我們就可以把動畫匯出了。在Mannequin下選擇bindPose和剛剛生成的動畫,都點選Export,以FBX格式匯出。分別命名為Plask_Mannequin.fbx和Plask_Mannequin_HandsomeDance.fbx。bindPose是T-pose動作,之後retargeting會用到。
接著打開我們的UE5,這邊我們先創個資料夾PlaskMannequin。之後在下面的Mesh資料夾匯入Plask_Mannequin。
匯入設定如上,點選Import之後會出現以下四個基本骨架。
接著匯入動畫部分。新增Animation資料夾後匯入 Plask_Mannequin_Handsomedance.fbx。紅框是要改的部分,骨架設定為剛剛匯入的骨架。
匯入後會看到我們動畫了,但是動作好像有點奇怪,人物貼在地上?
這是匯入常有的座標轉換問題,如下圖稍微改變設定旋轉一下重新匯入就好了。
沒問題的話就會看到我們的動畫了。第一部分完成!
將動畫Retarget為UE小灰人動畫
雖然動畫成功的匯入了,但是使用的是Plask自己的Mannequin,要怎麼讓自己的角色也能使用呢?這時候就要使用UE的Retarget Manager。以下以UE小灰人為例,示範如何使用Retargeting Manager。
首先我們先來看看這兩個骨架。我們會發現兩個骨架的基本動作分別是T-pose和A-pose,如果直接轉換會有問題,因此要先修改基本動作。網路搜尋一下之後,在Answer Hub這篇文章找到了UE小灰人的T-pose動作,就直接借來用了。
匯入小灰人T-pose
首先把找到的小灰人T-pose匯入,右鍵選擇Create PoseAsset,之後會生成一個PoseAsset,這邊先放著,等等在Retarget Manager會用到。
Retarget Manager設定
開啟PlaskMannequin,選擇Retarget Manager,之後在Set up rig中選擇Select Humanoid Rig。
接著就是最麻煩的部分了,要設定骨骼的轉換。不過我已經找到適合的設定了,請直接照著下圖設定就好。
按下Show Advanced之後,繼續做以下的設定。
剩下的部分都用None就可以了。此時可以先選擇Save把這個對應設定給存起來,以後可以重複使用。
接著來到SK_Mannequin,同樣使用Set up rig後選擇Humanoid。骨骼的部分會自動設定因此不用特別修改。不同的是這次要選擇Manage retarget base pose中的Notify按鈕,更改基本姿勢為剛剛匯入的T-pose後選擇Import。
至此Retarget的Mapping設定已經完成。在這裡把先專案全部存檔。接著可以來轉換動畫了。
首先在SK_Mannequin的T-pose動作上選擇
Retarget Anim Assets->Duplicate Anim Assets and Retarget 。
選擇對象為Plask_Mannequin_Skeleton後點擊Retarget。
接著在要轉換的Plask動作上同樣選擇選擇Retarget Anim Assets->Duplicate Anim Assets and Retarget,骨架選擇UE4_Mannaquin_Skeleton。
接著就會在Content底下看到我們轉換後的動作了。
最後把兩個不同骨架的動畫拖到場景上並排,結果如下。
大功告成!使用以上的步驟,要轉到其他的骨架也不是什麼難事。
以上動畫只用了一個影片就完成了這麼精緻的動作,有需要的請務必好好利用。