Yung-Sheng Hsu ,instructor

Yung-Sheng Hsu ,instructor 專業CG知識工作者,中國科技大學數位多媒體設計系專任副教授。主要研究方向為動作捕捉技術教學與推廣應用、無形文化資產動作表演數位保存、虛擬實境敘事體驗等方向。

慶祝母親節,來交本周   的功課。這次把之前的   進化成   工具包─除了將原有在Mobu中生成基礎HIK骨架,並且能一鍵將骨骼調整到指定HIK角色的身形比例外。更加入了自動/與手動選擇來源骨架的命名系統,一鍵完成HIK角色定義的功能,支...
10/05/2026

慶祝母親節,來交本周 的功課。

這次把之前的 進化成 工具包─除了將原有在Mobu中生成基礎HIK骨架,並且能一鍵將骨骼調整到指定HIK角色的身形比例外。

更加入了自動/與手動選擇來源骨架的命名系統,一鍵完成HIK角色定義的功能,支援了目前常見包括HIK、UE、AccuRig、AutoRigPro、Vroid.....等,可以大幅加快工作流程(目前實測Mobu2023、2026可用)
---------------------------------------------------------------------
如果剛好用得到請不用客氣~在創用CC (CC BY-SA) 授權下使用(但使用上也請自負責任),若有什麼問題或是有什麼建議,也歡迎提出一起討論。


Generate a standard T-Pose skeleton (VMC, HIK, or UE naming) and match its proportions to any HIK character for precise retargeting. Workflow: Generate Skeleton: Create a standard T-Pose skeleton ...

08/05/2026

VMC receiver for armature and shape keys

雖然市面上已經有很多走   的VT臉部表情捕捉軟體或 APP可以用,但為了上課與學生使用的方便性------畢竟不是每位同學都有iphone,以及電腦教室的無線網路問題,所以和AI玩著玩著就"組裝"出一個網頁版的輕量臉部捕捉工具,啟動Mob...
08/05/2026

雖然市面上已經有很多走 的VT臉部表情捕捉軟體或 APP可以用,但為了上課與學生使用的方便性------畢竟不是每位同學都有iphone,以及電腦教室的無線網路問題,所以和AI玩著玩著就"組裝"出一個網頁版的輕量臉部捕捉工具,啟動MobuVMC-Bridge後就可以透過VMC協定發送BS數據,再配合之前的 ,就得到在Mobu中的簡易臉部捕捉工具嘍~(走VMC要傳到warudo也行)。

https://hysaint3d.github.io/SaintMobu_Tools/MobuFacial_WebTracker/MobuFacial_WebTracker.html
P.S 為了方便修改且懶得打包執行檔,請先安裝個python吧

慶祝5/4星戰日,身為與星戰同年的老粉,運用原力(誤)把之前的OSC2MOBU進化成OSC工具包,可以在Mobu接收與發送OSC數據,這樣應該會有很多可玩性-----例如將光學式捕捉的骨骼或剛體運動轉送到TD作互動控制(目前實測Mobu20...
04/05/2026

慶祝5/4星戰日,身為與星戰同年的老粉,運用原力(誤)把之前的OSC2MOBU進化成OSC工具包,可以在Mobu接收與發送OSC數據,這樣應該會有很多可玩性-----例如將光學式捕捉的骨骼或剛體運動轉送到TD作互動控制(目前實測Mobu2023、2026可用)
---------------------------------------------------------------------
如果剛好用得到請不用客氣~在創用CC (CC BY-SA) 授權下使用(但使用上也請自負責任),若有什麼問題或是有什麼建議,也歡迎提出一起討論。



Bidirectional OSC Manager for MotionBuilder — receive arbitrary OSC data (exposed as animatable properties on OSC_Data null) and send selected scene objects' TRS + animated properties as OSC messag...

01/05/2026

慶祝5/1勞動節讓老師撿到一天假,釋出一個小工具。
--------------------------------------------------------------------
這其實是在做另一個項目(測試中尚未公開)時,另外獨立出來的功能,用來在Mobu中生成基礎的HIK骨架(命名規則可選擇 、 ( )、 ),最重要的是能一鍵將骨骼調整到指定HIK角色的身形比例,節省時間方便後續使用。
(目前實測Mobu2023、2026可用)
---------------------------------------------------------------------
如果剛好用得到,請不用客氣~在創用CC (CC BY-SA) 授權下使用(但使用上也請自負責任),若有什麼問題或是有什麼建議,也歡迎提出一起討論呀。



https://github.com/hysaint3d/SaintMobu_Tools/releases/tag/Skeleton_Generator_V.1.0.0

26/04/2026

真的是玩 上癮了------繼續生出一個可以將 Epic Games Live Link Face iOS App 捕捉到的臉部 52 組 ARKit 表情及頭部/眼睛旋轉數據,串流到MotionBuilder,並一鍵連接的 臉部捕捉解決方案。

---------------------------------------------------------------------
右邊是LivelinkFace捕捉表情動作並發送數據出來(預設Port:11111)
左邊是Mobu,可以接受LivelinkFace的表情數據(頭、眼與Blendshape),如果目標角色具備ARKit規格的Blendshape可以自動連接表情。
---------------------------------------------------------------------
不同於VMC使用的OSC格式,LiveLinkFace 使用的是Epic自定義的二進制封包,但既然都能接收得到數據,就應該能搞出來,之前也有介紹過PylivelinkFace_osc,可以將Livelink轉成OSC,所以就用 的基礎繼續特化了這個版本,而用PythonScript的好處是不用編譯不太受版本限制(其實只是我更不會C++),效能可能不是很好,但最少讓Mobu有方便的臉部捕捉可用。

程式是 操刀的,我只負責出主意,提出需求設計流程然後試錯驗證-----坦白說,這些功能在技術層面對於會寫程式的開發者應該不算難關,只是缺乏主客觀因素去做這件事。然而進入 AI 時代後,許多在專案執行與教學實戰中的瓶頸,現在程式苦手如我只要願意跨出開發的那一步,也有機會突破能力限制,讓工作流前進一大步。

也就順便分享這些成果,希望能為正在探索動捕技術的創作者提供一點幫助,歡迎按讚訂閱開啟小鈴鐺(好老派)!



https://github.com/hysaint3d/SaintMobu_Tools/releases/tag/LivelinkFace2Mobu_V.1.0.0

續前文之既然VMC Protocol是基於OSC協定所衍伸,剛好這學期有教一點   ,所以就順道搞了一個OSC的版本,可以將OSC數據串流到MotionBuilder,並且抓出custom properties放到Relation cons...
23/04/2026

續前文之既然VMC Protocol是基於OSC協定所衍伸,剛好這學期有教一點 ,所以就順道搞了一個OSC的版本,可以將OSC數據串流到MotionBuilder,並且抓出custom properties放到Relation constraint中。

至於可以幹什麼?大概就是接TD做朋友吧~~

串流OSC數據到Motionbuilder(目前實測從TouchDesigner到Mobu2023、2026可用)

20/04/2026

總而言之,就是我用 搞出來一個可以將VMC數據串流到MotionBuilder建立骨架與表情的 小工具。
---------------------------------------------------------------------
右邊是warudo用mediaPipe捕捉動作,然後用VMC sender發送數據出來(只要是有支援OSC/VMC的理論上都可以)

左邊是Mobu,可以接受VMC數據(骨架與表情),一鍵生成骨架和HIK綁定,如果來源與目標角色具備相同的Blendshape可以自動連接表情(但隨手抓的這個原廠範例角色沒有BS)。

總而言之,就是我用   搞出來一個可以將VMC數據串流到MotionBuilder建立骨架與表情的   小工具。----------------------------------------------------------------...
20/04/2026

總而言之,就是我用 搞出來一個可以將VMC數據串流到MotionBuilder建立骨架與表情的 小工具。
---------------------------------------------------------------------
VMC Protocol是基於OSC協定所衍伸,現在Warudo、Vseeface這類VT系軟體通用的傳輸管道,但自動桌一直都不加入支援(包括OSC),讓很多以VMC為標準的輕量級動捕方案都與Mobu無緣,其實是很可惜的一件事情。

可能是沒什麼商業價值,Mobu也不是什麼熱門的東西,心理覺得應該不難的東西,等了幾年就是等不到人開發VMC到Mobu的解決方案(更可能有in house的沒釋出)。

個人身為程式能力僅止於簡單script的小白,就當作樂趣自己用AI搓搓看,在Chatgpt、Gemini失敗了好多次後,直到這次換用Anitgravity居然成功搞定了。

可能效能不是很好,不過加減可用,懂的就知道這釋放了一些OSC的封印(菸),有興趣的就試試看吧,但有出什麼狀況我不負責呀。

串流VMC動作與表情到Motionbuilder的功能

但我也講白了,這樣的動作品質離專業要求還是有最後一哩沒有攻克
20/04/2026

但我也講白了,這樣的動作品質離專業要求還是有最後一哩沒有攻克

AI-powered 3D motion capture from video. Upload a clip, get an interactive skeleton.

17/04/2026

2.2K likes, 12 comments. "When a Mocap Actor Shrinks… Do Their Moves Reset?! "

Address

Taipei

Website

Alerts

Be the first to know and let us send you an email when Yung-Sheng Hsu ,instructor posts news and promotions. Your email address will not be used for any other purpose, and you can unsubscribe at any time.

Contact The University

Send a message to Yung-Sheng Hsu ,instructor:

Share