User Tools

Site Tools


lllc專研組

專研重要文件

  1. 畢業專題研究計畫書 (2010.04.30)
  2. 國科會校內提案 (2010.10.09)
  3. 微軟創意盃 ImagineCup 2011 (2011.01.05)
  4. 國科會計畫書 (2011.03.01)
  5. EndNote參考文獻資料庫 (2011.04.20)
  6. 專研初審文件 (2011.05.05)
  7. 專研初審意見表 (2011.06.02)
  8. 初審審查意見回覆表 (2011.09.30)
  9. 專研總審文件 (2011.10.07)
  10. 專研總審投影片 (2011.10.15)
  11. 2011數位內容學術研討會 (2011.10.24)
  12. 專研總審意見表 (2011.11.08)
  13. 資訊專刊文稿 (2011.11.11)
  14. 總審審查意見回覆表 (2011.11.15)
  15. 銘傳大學國際學術研討會 (2011.12.09)
  16. 2011數位內容學術研討會 完稿 (2011.12.11)
  17. 專研精裝文件 (2012.01.02)
  18. 國科會結案報告 (2012.02.28)

專研Demo影片

專研說明文件

一、設備說明

硬體:Kinect一台 (需有USB轉接線)
系統:Windows 7 
驅動:Kinect for Windows SDK Beta 
程式:Microsoft Visual C# 2010 Express
檔案:「開發程式」資料夾中

=========================================================

二、安裝說明

1. Windows 7
2. 開發程式→vcs_web.exe
3. Microsoft Visual C# 2010 Express
4. 開發程式→XNAGS40_setup.exe
5. XNA Game Studio 4.0
6. 開發程式\Kinect SDK→KinectSDK32.msi or KinectSDK64.msi

=========================================================

三、操作說明

1. 專研程式\LLLC→SkinningSample (Windows).sln
2. 專研程式\LLLC\SkinningSample\Content→hitman10.fbx
3. 修改貼圖路徑(絕對路徑)
4. Property: "Path", "KString", "", "E:/color3.png"
5. Filename: "E:/color3.png"
6. RelativeFilename: "D:\color3.png"
7. Property: "Path", "KString", "", "E:/color2.png"
8. Filename: "E:/color2.png"
9. RelativeFilename: "D:\color2.png"
10.Property: "Path", "KString", "", "E:/color4.png"
11.Filename: "E:/color4.png"
12.RelativeFilename: "D:\color4.png"
13.Property: "Path", "KString", "", "E:/color6.png"
14.Filename: "E:/color6.png"
15.RelativeFilename: "D:\color6.png"
16.Property: "Path", "KString", "", "E:/color6.png"
17.Filename: "E:/color6.png"
18.RelativeFilename: "D:\color6.png"
19.Property: "Path", "KString", "", "E:/color1.png"
20.Filename: "E:/color1.png"
21.RelativeFilename: "D:\color1.png"
22.FileName: "E:/color3.png"
23.RelativeFilename: "D:\color3.png"
24.FileName: "E:/color2.png"
25.RelativeFilename: "D:\color2.png"
26.FileName: "E:/color4.png"
27.RelativeFilename: "D:\color4.png"
28.FileName: "E:/color6.png"
29.RelativeFilename: "D:\color6.png"
30.FileName: "E:/color6.png"
31.RelativeFilename: "D:\color6.png"
32.FileName: "E:/color1.png"
33.RelativeFilename: "D:\color1.png"
34.依序檢查模型用到的圖檔路徑是否正確
35.圖檔位置:專研程式\LLLC→color1.png~color6.png

=========================================================

四、按鍵說明

1. 【L】切換投打(左上顯示 1投球;-1打擊)
2. 【C】球回原點
3. 【X】投球
4. 【Z】打擊
5. 【V】AVG歸1
6. 【1】切換視角
7. 【2】切換視角
8. 【3】切換視角
9. 【4】切換視角
10.【5】切換視角
11.【6】切換視角
12.【A】微調視角
13.【S】微調視角
14.【W】微調視角
15.【D】微調視角

=========================================================

五、遊戲說明

1. 【F5】執行程式
2. 【1】切換視角
3. 【2】切換視角
4. 【L】切換投打
5. combo:為連續擊中球數
6. total:為總球數
7. hit:為成功擊出的球數
8. AVG:表示打擊率
9. 當combo超過5時就會有歡呼聲
10.【V】AVG歸1

銘傳資訊展

  • 時間:11/30~12/02 三~五
  • 地點:體育一館 籃球場
  • 準備:11/29(二) 中午過後可進場布置
  • 擺攤:9~16 點
  • 公假:11/29(二)中午~12/02(五)中午 全組公假
  • 位置:如下表&圖
    • 04.HTTP-Based殭屍網路之設計與建置
    • 10.多人線上華語遊戲式學習平台之建置
    • 12.虛擬婚紗禮服試穿系統
    • 17.擬真棒球-Kinect體感辨識
    • 21.以M2M定位技術為基礎建構智慧型住宅系統
  • 佈置:
    1. 可用經費5000~6000元
    2. 攤位大小 3*3*2.33(M長寬高)
    3. 會場提供長桌*1 椅子*2
    4. 海報板(減少干擾,資訊學院借用?)
    5. 綠色地毯(虛擬攝影棚借用?)
    6. 壘包三個(體育器材室借用)
    7. 球棒、手套、棒球數個(體育器材室借用)
    8. 壘球校隊球衣、褲子、帽子四套(問田鎧維)
    9. 氣球球棒10支(買)
    10. 攤位牆面貼上球場大圖輸出?

2011數位內容學術研討會

  • 2011 ICDC 數位內容學術研討會
  • 論文完稿及報名繳費截止日期:2011年12月11日
  • 研討會日期:12月27.28日
  • 研討會地點:桃園龍潭渴望園區
  • 論文錄取說明↓
    • Short Paper 完稿頁數:3~5頁 發表時間:10 min
    • 需準備資料:完稿論文、著作權授書、當日簡報(10min)
    • 完稿論文著作權授書於12月11日前mail至大會信箱 icdcservice@gmail.com
寄件者: 2011 ICDC (icdcservice@gmail.com)  
寄件日期: 2011年11月25日 上午 11:33:47 
收件者: 李 宗樺 (tim410177@hotmail.com) 

投稿者 好:
歡迎您參與2011數位內容學術研討會!
很高興在此通知您,您的論文已錄取。
審查結果詳細如下,
也敬請您注意完稿日期及著作授權書,謝謝。

【審查結果】
 論文編號:A-08
 論文標題:擬真棒球-Kinect體感辨識
 錄取結果:Accept, Short paper
 審查意見:
 審查委員A:1.在文獻探討中,請擇要就Kinect特性及其性能作說明,刪除其他與本文無關其他軟、硬體的比較說明。
       2.請加入新版Kinect SDKBeta2的測試實驗。

 審查委員B:此PAPER主要目的為利用 XBox360 的 Kinect 裝置搭配 Microsoft Kinect  SDK  
		製作出一套可以偵測骨架與動作姿勢的辨識系統。此研究的貢獻乃解決  Kinect  相對於動作捕捉器
		精細度較差的部分,且做出一套具有可偵測骨架與動作的辨識系統,而預期成果將透過 Kinect 硬體裝置
		來呈現出可對使用者的揮棒及打擊動作加以辨識的系統。
       針對此PAPER有如下問題並建議加以修正:
        1.主要問題 (major issues):
          1.1實驗過程描述詳細,建議提供相關實驗資料蒐集之數據(即辨識數據尚未量化,例如辨識率的評量表格等)。
          1.2根據實驗分析的數據提供資料分析作為系統未來修正的參考,並據此修訂結論部分的敘述。
        2.次要問題 (minor issues):
          2.1文章中使用之軟硬體種類相當多元,與此研究相關(實際使用)之軟硬體設備,
             是否能有一簡易清單說明,俾便讀者快速搜尋。
          2.2第五章實作方法部分,操作流程建議輔以流程圖說明,俾便讀者了解。
          2.3第五章第2節內容中之文字有錯誤,"其陣列是由左上角開始先從左到右再從上到下,在取得深度資訊後…"。

【提醒】
 1.論文完稿日期:12月11日
         相關資訊請見http://csdc2011.ncu.edu.tw/paper.html之【論文完稿】
         請於期限內以mail寄回完稿論文及著作授權書        
 2.論文格式:請投稿者確認論文格式是否符合大會規定,謝謝!!
      (論文範本http://csdc2011.ncu.edu.tw/document/paper_c.doc)
****************************************
數位內容學術研討會秘書處
http://csdc2011.ncu.edu.tw/
Tel: 03-4227151 #35800
Fax:03-4260120
Address: 32001 桃園縣中壢市中大路300號
     國立中央大學
     數位典藏與數位學習國家型科技計畫辦公室
****************************************

銘傳大學國際學術研討會

  • 銘傳大學國際學術研討會-資訊學院組
  • 重 要 事 項 & 時 間
  • 論文徵稿 100/12/20截止收件
  • 論文審查 100/12/21-100/12/31
  • 公告審查結果 101/01/15前公告審查結果
  • 2012國際學術研討會 101/03/16

資傳展排班

資傳展 11/16~11/17 三四
11/16~11/18  (三四五) 9:00~16:00
李宗樺	劉孝皇	劉健興	陳柏榮
A	B	C	D
節	三	四	五
1	A+B	A+B	A+B+C	
2	A+B	A+B+C+D	A+B+C
3	C+D	A+D	D
4	C+D	C+D	D
5	B+C	A+B	A+B+C+D
6	B+C	A+B	A+B+C+D
7	A+D	A+B	A+B+C+D
8	A+D	A+B	A+B+C+D
公假
A(11節)	四3(英文)
B(10節)	三6(多媒體)
C(6節)	三34(網安)6(多媒體)	四4(英文)
D(7節)	三34(網安)	四34(英文)

Floor Plan

初審意見表

2011.06.20
審查老師1
Q1:3D-depth map 找使用者區域
Q2:OpenNI校正姿勢與棒球姿勢有何關係?
Q3:執行流暢性
Q4:使用者介面

審查老師2
Q1:動作辨識? 動作偵測?
Q2:文章段落調整(CH3移至CH4,CH5併入CH2)
2011.08.22
初審意見表第一次回覆
審查老師1
Q1:如何由3D-depth map 找出使用者的區域?
A1:藉由相近的深度值區域並可做出移動,與較遠且不會改變位置的背景做區別。
Q2:OpenNI校正姿勢限制與棒球姿勢有何關係?
A2:校正姿勢是為了正確找到關節位置,在OpenNI中是有限制特定動作。
   校正與棒球姿勢無關,但棒球是全身性運動,因此會需要抓到使用者的骨架比例。
   目前我們改用的Kinect SDK是不需用特定校正姿勢且具有更快的即時性。
Q3:計算操作者的動作速度?球軌跡計算及模擬?
A3:動作速度我們會透過FPS來做計算,目前硬體規格約為30FPS。
   球軌跡計算及模擬,因為手指變化太細微不容易判斷,
   考慮會以手掌的關節落點來產生棒球運動軌跡。
Q4:使用者的視覺畫面為何?
A4:介面會由四個畫面組成,左邊占整體三分之二的比例為主畫面(包含動作辨識,棒球攻守互動)
   右邊為一欄三列的畫面組成,由上到下分別為:
   彩色Webcam影像、全身骨架連接圖、區分人物的畫面(前景背景分割)
   
審查老師2
Q1:動作辨識? 動作偵測?
A1:動作偵測主要是硬體上傳回的資訊,我們藉由程式回傳可以清楚知道全身20個Joint的三維座標。
   在動作辨識上我們主題為擬真棒球,會有棒球攻守互動的主要流程,並透過這些的Joint座標來區
   分出目前是打擊動作或是投球動作,透過座標範圍與移動速度來定義不同的動作與力道。
Q2:文章段落調整(CH3移至CH4,CH5併入CH2)
A2:下次調整順序並回報頁碼,來完成"專研初審修正說明與審查意見回覆表"的修改說明表格
2011.08.31
初審意見表第二次回覆
Q1:第三章之目前實作成果移到第四章可能較妥?
A1:第三章原來規劃在介紹我們預計會用到的技術,以及目前有在這些工具上的測試結果,包含軟硬體測
    試。與第四章的實作方法有些出入,所以我們將這兩部分分開為兩個段落,主要是在工具測試的結果
    與預計使用的方法上做區隔。
Q2:第五章宜併入第二章
A2:第五章我們想針對目前市面上的體感裝置做比較,最後我們由各項分析欄位來選擇使用Kinect裝置。
    第二章的部分是文獻探討,根據幾項關鍵的辨識技術來作分析與相關論文探討,在這章節中只有少部
    分提到Kinect的硬體技術,主要是做各項論文技術的分析。第五章的部分是單純硬體比較,且合併
    後的段落會明顯比其他段落長很多,因此維持目前的段落比重。
◎增加原頁次欄位資料
◎文件在暑期工作Week 11-1
2011.09.23
初審意見表第三次回覆
三、整體說明與答辯
1.文件章節與內容之修正
  (1)整套方法都換掉
   OpenNI/NITE → Kinect SDK
   因為初審後微軟有釋出官方版的Kinect SDK,經過我們實測之後發現
   他改善了之前我們在OpenNI/NITE需要擺出「Psi (Ψ)」的限制校正
   動作,所以我們決定換新一套硬體驅動程式。
  (2)工作分配表更新
   使用新的Kinect SDK部分技術與之前規劃的不盡相同,因此增加幾項
   分配欄位。「專案音效」、「介面設計」、「動作辨識」、「展示規劃」。
  (3)Floor Plan展示場地規劃
   根據我們的研究結果,設計展示時的區域規劃,包含觀眾區、淨空辨
   識區、硬體架設區、畫面方向、審查老師區。

2.系統程式修改方向與功能展現
  (1)打擊動作辨識
   使用者呈現半蹲與手部持棒
   預備打擊出現後,在好球帶方框中呈現「打擊準心」
   準心位置由兩手向上延伸至球棒上方位置
  (2)投球動作辨識
   因為投手沒有固定的預備動作
   假設兩手靠近時為預備動作 (模擬右手持球藏入手套的預備)
   預備投球出現後,在打者前呈現「好球帶方框」
   直到投球動作完成,棒球進壘後,好球帶方框消失
  (3)使用者介面設計
   上方要有「局數」、「上壘狀況」、「好壞球數」、「出局數」
  (4)玩家雙打設計
   玩家A以Kinect進行遊戲,玩家B以Keyboard進行遊戲。
   可分成單純投打對決與正式比賽類型,在比賽模式中規劃每一局
   交換玩家AB的遊戲方式,最後第九局為上下半局交換遊戲方式。
  (5)使用Kinect進行遊戲的玩家,打擊時會站在我們規劃的本壘兩側
   打擊區進行,可選擇空手進行或是使用球棒造型氣球道具進行,
   道具有無並不影響程式辨識效果,純粹增加遊戲趣味性。
◎文件在四上Week 3-3

暑假工作紀錄

Week 1

  • Week 1-1 (2011.06.20)
    • Maya模型調整
    • 初審意見表討論
    • 專研筆電重灌Win7(使用Kinect SDK)
  • Week 1-2 (2011.06.22)
    • 安裝VC++ VC# 2010
    • 使用Kinect SDK抓關節點範例(新增Joint OK)
    • 測試Kinect SDK-ShapeGame、SkeletalViewer
  • Week 1-3 (2011.06.24)
    • 更新WIKI課表資料(班會時段”三5”需要調整)
    • Kinect 語音辨識測試(ShapeGame聲控互動)
    • 提供的範例都為20個Joint,位置與名稱同投影片介紹

Week 2

  • Week 2-1 (2011.06.27)
    • Joint 修改出三維座標
    • 使用Joint 移動至特定範圍,作文字變化互動
    • Joint 移動控制Kinect上下擺動
  • Week 2-2 (2011.06.29)
    • 註冊CGW2011(全組)
    • 測試固定5秒Timer做出停留確認
    • 手勢停留更換image.Source
  • Week 2-3 (2011.07.01)
    • 使用image做出選單效果
    • 移入範圍內變色,停留為選取
    • 排除多點同時停留在不同選項(使用Joint's Name ellipse)

Week 3

  • Week 3-1 (2011.07.04)
    • 停留確認後播放音效 Sound.Play();
    • 背景音樂連續播放 SoundBGM.PlayLooping();
    • 停止背景音樂 SoundBGM.Stop();
    • 沒找到暫停音樂 pause ?
  • Week 3-2 (2011.07.05)
    • C# 使用CsGL - OpenGL .NET
    • 直接用C#的Kinect SDK 或 CsGL再重寫一份SDK?
  • Week 3-3 (2011.07.08)
    • 線上Meeting-CsGL Demo
    • Model-View-Control 軟體工程技巧
    • C#讀FBX多為套用XNA架構
    • XNA是否能開啟目前的Joint偵測範例?
    • C# Process.Start 方法 開啟執行檔+傳參數

Week 4

  • Week 4-1 (2011.07.11)
    • C# 2010 套用 XNA 4.0 讀FBX很麻煩…
    • C# 2008 套用 XNA 3.1 讀FBX較容易(但是和C# 2010衝突…)
    • 目前暫定用XNA寫好一份讀FBX的執行檔,再用C#呼叫執行檔
    • 32位元檔案轉64位元
      • 移除專案參考csgl
      • 專案資料夾bin\Debug中 加入csgl.dll、csgl.native.dll
      • 專案參考再選擇一次csgl (交換不同位元的dll檔)
  • Week 4-3 (2011.07.13)
    • 線上Meeting:Pattern Recognition 分為三大流派
      1. Rule-based:列出一堆規則,剛好可以把東西分出來
      2. Syntex-based (文法)
      3. 統計
    • 多開FBX檔案+Key 0713-fbx_key.rar
    • Process.Start(“執行檔路徑”,”參數”); 開檔成功,傳參數失敗
    • 可由Joint呼叫FBX執行檔(但還不能由參數控制顯示不同的FBX)
    • 寫多個FBX執行檔,直接用不同檔名來控制預設顯示的FBX(執行檔會有很多,占空間)

Week 5

  • Week 5-1 (2011.07.18)
    • 讀人物模型完成(轉動時會多一個殘影?)
    • 模型轉成FBX檔會看不到Joint與Skeleton資訊(X)
      • Notepad開啟會有Joint與Skeleton數據 (7/22)
    • 使用Kinect SDK來控制FBX模型的Joint ?
    • C#有控制FBX動態人物關節的方法(待查)
  • Week 5-2 (2011.07.20)
    • XNA匯入OBJ格式可以抓出Joint與Skeleton資訊?
      • XNA直接匯入失敗,OBJ格式不認識
    • C#直接匯入(?)打散四肢的OBJ檔案,再分開做階層轉動
    • XNA動畫範例(骨架操作) simpleanimation_4_0.zip
    • XNA動畫範例(Kinect骨架操作) simpleanimation_4_0v2.rar

葉正聖老師: 你們成果驚人,真的很了不起! (2011-07-20 18:40)

  • Week 5-2.5 (2011.07.21)
    • 如果model各部分分開作,Kinect的X、Y、Z值要同時處理物體移動和旋轉,比一個完整的模型難處理。
    • 關節移動路徑雜訊處理解決方式:Kalman filter,研究中。
    • FBX移動轉動處理(半成品) modeltest1.rar
  • Week 5-3 (2011.07.22)
    • 修正專案建置錯誤
      • 專案→”project”屬性→XNA Game Studio
      • Game profile:”Use HiDef…” 改成 “Use Reach…”
      • 不是每一台電腦都用固定的設定,差異處待查
    • 找出Joint的轉動向量,之前在用Joint的Ellipse只有回傳移動量
    • 每一個Joint在做旋轉時,都會有鄰近的Joint在移動,唯有Head是獨立的Joint
    • 在”點頭”時可以判斷Joint有Y方向位移,”轉頭”時Joint的X方向位移趨近於0
    • 微軟官方在做”轉頭”時有加入人臉辨識,判斷”面向哪一邊”來做轉頭
    • FBX移動轉動處理(2) modeltest2.rar
      • 須在”tank2.fbx”中修改”turret_alt_diff_tex.tga”引用的絕對路徑
      • test.cs修改Matrix.CreateScale(1)世界矩陣大小 1~5(過大會穿過模型)
      • Matrix.CreateTranslation 移動矩陣、Matrix.CreateRotation 旋轉矩陣
    • 斜位移(同時位移三軸),需求解”矩陣開根號:A^(1/2)”
      • A=P^(-1)*D*P 、 A^(1/2)=P^(-1)*D^(1/2)*P
      • A^(1/2)為求解、P為可逆矩陣、D為對角矩陣

Week 6

  • Week 6-2 (2011.07.27)
    • Kinect 控制滑鼠座標移動+左鍵 kinect_use_mouse.zip
    • Kinect Paint kinectpaint_v101.zip
    • 下週全休分工:Kinect(部位打散、關節骨架)、資料蒐集(可用的程式碼)、Maya場景製作(吸引人的介面風格)
  • Week 6-3 (2011.07.29)
    • 找適合的模型檔案,嘗試利用關節骨架測試動作破碎
    • 權重完整的人物模型 mayamodel.rar
    • SkinningSample(model) xna4model.rar
    • xna4model套用Kinect 0729.rar
    • SkinningSample+Kinect(model) xna4modelv2.rar
    • 修改FBX預設屬性
      • 方案總管→參考→點選FBX
      • 下方屬性 Content Processor
      • 預設屬性”Model-XNA Framework” 改成 “SkinnedModelProcessor”

Week 7

2011.08.01~2011.08.07 (暑假全休)

  • 李宗樺 (Kinect-部位打散)
  • 劉孝皇 (資料蒐集-程式&模型)
    • 08/02 找到先前kinect paint的code載點已放下方,目前可能因為下載不完全導致檔案無法開啟,明天會再重新嘗試。
    • skelecton viewer for cpp(change)kinect_sv_cpp.rar
  • 劉健興 (Kinect-關節骨架)
    • 在關節控制fbx模型骨架上,因為translate會導致模型本身的扭曲(寄生獸?),所以嘗試只以rotate來控制。
    • 嘗試使用C#的Matrix.CreateFromQuaternion,但此向量函式還是需要旋轉角度所以放棄。
    • 先前想到以兩點連線後,以移動路徑的夾角的角度來判斷旋轉度數,但考慮joint的階層關係和畫面更新時間所以放棄。
    • 但以三點連線的夾角的角度來處理會輕鬆很多,實作後發現是個可行的方法。
    • 問題點:1.各個joint在C#的3維空間裡坐標軸的方向都不一致。 2.旋轉要考慮到負值。 3.現在點的雜訊還是很嚴重,要研究是在計算角度還是joint資料本身出的問題。

Week 8

  • Week 8-1 (2011.08.08)
    • 旋轉角度超過180度的判斷
      • 目前利用三角函數來求角度,所以不能超過180度
      • 由三個Joint來當三角形三點,求三邊長並計算角度
      • 考慮超過180度發生的瞬間
        • 三點Joint呈現一直線時 A-B-C (AC=AB+BC)
        • 外側兩個Joint趨近於重合時 (AC 趨近於0)
        • 若AB與BC不等長,則不能用AC=0的條件
        • 只能確定AC會是最小邊長,在AC的Min值時為AB和BC發生重疊
    • 判斷順時針與逆時針旋轉
      • 需要用new與old狀態來偵測連續變化
      • 預計以0.5秒更新一次,約15fps做一次記錄
      • 每15個fps,old=new、new=now
      • 兩種狀態紀錄的資料(Joint座標? 向量?)
      • 座標需要判斷三軸變化量
        if((newX > oldX) || (newY > oldY) || (newZ > oldZ)) 
      • 使用球面線性插補,在表示為 Quaternion 的方向間進行插補。
      • Quaternion newstate,oldstate; Quaternion 結構
      • Quaternion qq= Quaternion.Slerp(oldstate,newstate,0); Quaternion.Slerp 方法
    • 360度旋轉完成,乘上負號的轉向條件待修正
  • Week 8-2 (2011.08.10)
    • 球場模型上色(漸層草地色球,盡量不用材質圖)
    • 美觀性討論,加入照明燈模型
    • 修改觀眾席模型(內場形狀為扇形,周圍牆面調整高度)

Week 9

  • Week 9-1 (2011.08.15)
    • 加入左右腳的動作變化
    • 修改原參數確定各部位中心座標
    • 左右腳容易扭曲變形,不像手部一樣穩定
    • 不穩定為Kinect視角不容易拍到下半身
    • 需要加入之前基本秀骨架的畫面來做比對
  • Week 9-2 (2011.08.17)
    • 雙手座標校正(可擺完整的T-pose) bendY[0] -= 0.5f;
      • 原模型手臂沒有貼齊腳部
      • 兩手向量要為同方向,所以會是bendY[2] += 0.5f; 剛好相反
    • 雙手方向校正(順時針與逆時針同步) bendY[0] *= -1;
    • 腳部暫時拿掉Kneejoint→Footjoint
      • Footjoint太下面,不容易抓到資訊
      • 先測試上半部帶動下半部
    • 雙腳座標校正(解決抓到Joint時的偏移)
      • bendY[4] -= 1.6f; bendY[6] -= 1.6f;
      • 估計參數是360度為2PI=6.28,因為初始化偏移90度,所以約為1.6f
    • skinningsample_4_0v5.rar手會一上一下是因為沒注意到雙手向量反方向
  • Week 9-3 (2011.08.19)
    • 申請國科會校內人事費核銷
    • V5:bendY[2] & bendY[3] 內的 Rotationjoint2 兩座標須交換
    • 左右手向量方向相反,在做旋轉時兩個Joint座標相反
    • 先測試XY平面的動作變化,可以接近八成的相似度
    • 加入Z的深度值之後,容易讓動作扭曲
    • 腳部最下方的JointID.Foot不容易抓到資料
    • 下次加入自製人物模型 & 定義各點Joint移動座標範圍

Week 10

  • Week 10-1 (2011.08.22)
    • 我們需要三種輔助畫面在主介面旁邊
      • 彩色Webcam影像
      • 全身骨架連接圖
      • 區分人物的畫面(前景背景分割)
    • 目前看過這些效果的程式實作方法都不盡相同
      • 主介面為SkinningSample (XNA .cs檔實作)
      • 需要加入的三個畫面在SkeletalViewer 裡都有
      • 不過SkeletalViewer底層是 (C# WPF 中的 .xaml實作)
      • 程式架構不同,兩者的using會有衝突
    • Imagine Cup 複賽獎狀,個人資料回覆
    • 初審意見表第一次回覆
      • 回覆內容在本頁至頂
      • 主要為敘述目前更換的實作方法
      • 下次回覆調整文章架構順序與文件頁碼
      • 下次完成頁碼調整與”專研初審修正說明與審查意見回覆表-V1”
  • Week 10-2 (2011.08.24)
    • Kinect初始化只能執行一次
      • 多開視窗需要呼叫程式讀取資料
      • 需要有多執行緒的程式設計方法
    • 合併SkinningSample & SkeletalViewer
      • 定義名稱不同
      • Joint id 定義不同
      • 專案using引用檔衝突
      • skeleton 架構定義不同
    • 模型檔匯出缺少骨架權重
      • 匯入新模型都需要修改FBX預設屬性
      • 在Maya的.ma或.mb中是有綁定的效果
      • 匯出成fbx就少了綁定的資訊
      • 經過測試是模型中只匯出身體的綁定資訊
    • skinningsample v5 修正手部
      • bendY[0]:R_Shoulderjoin→R_Elbowjoint
      • bendY[1]:R_Elbowjoint→R_Handjoint
      • bendY[2]:L_Elbowjoint→L_Shoulderjoint
      • bendY[3]:L_Handjoint→L_Elbowjoint
  • Week 10-3 (2011.08.26)
    • 程式中的currentModel.Bones[“Right_Shoulter”].Index 參數還沒找到
    • 之前的模型都用Index-2,表示從Bone往外兩層能找到skin,再做skin變形
    • 目前編譯沒過的原因是”索引在陣列的界限之外”
    • 這裡不確定是模型的skin資訊沒有匯出到fbx,或是程式的參數問題?
    • 單純.Index不加減任何參數應該要可以執行,只是動作不見得能對到
    • 參數0~14為Skin,參數15~29為Bone,Joint共有15個
      • Bone參數順序同Maya中的Outliner
      • Torso→15、Right_Hip→16、Right_Knee→17、Right_Foot→18、Left_Hip→19
      • Left_Knee→20、Left_Foot→21、Neck→22、Right_Shoulter→23、Right_Elbow→24
      • Right_Hand→25、Left_Shoulter→26、Left_Elbow→27、Left_Hand→28、Head→29
    • 自製模型匯入成功(能轉動但位置方向還不能控制)

Week 11

  • Week 11-1 (2011.08.31)
    • 模型還有問題沒解決,需要借書找資料
    • 程式部分先不考慮輔助畫面,以主要模型場景優先
    • FBX模型+骨架 bigman.rar
      • Maya中調整好權重,匯出成fbx,Joint權重位置會跑掉(但值不變)
      • Maya中匯入fbx,再調整一次權重,並再匯出fbx就能正常
      • Maya建模型關節骨架→匯出fbx→Maya匯入fbx→調整fbx骨架權重→匯出fbx
    • 初審回覆: 初審回覆.doc
  • Week 11-2 (2011.09.02)
    • 自製模型動作順暢版 skinningsample_4_0v7.rar
    • 打擊動作辨識
      • 使用者呈現半蹲與手部持棒
      • 定義幾個Joint座標範圍
      • 當座標被判斷式接受後,辨識為預備打擊動作
      • 預備打擊出現後,在好球帶方框中呈現”打擊準心”
      • 準心位置由兩手Joint座標向上延伸至球棒上方位置
    • 投球動作辨識
      • 因為投手沒有固定的預備動作
      • 假設兩手靠近時為預備動作 (模擬右手持球藏入手套的預備)
      • 定義兩手Joint座標靠近時,ex:xyz兩座標相減小於10
      • 預備投球出現後,在打者前呈現”好球帶方框”
      • 直到投球動作完成,棒球進壘後,好球帶方框消失
    • 使用者介面設計
      • 參考之前”電腦遊戲” & “網路程式設計”期末棒球專題的介面
      • 上方要有”局數”、”上壘狀況”、”好壞球數”、”出局數”
      • 各數據排版,參考各電視台實況轉播方式
      • Kinect捕捉輔助畫面 (考慮綁定硬體問題,先以主畫面優先)
    • 總審文件修改
      • 修改明細須寫在”初審意見回覆”
      • 整套方法都換掉,OpenNI/NITE → Kinect SDK
      • 工作分配表須重新寫過
      • 文件樣式修正 (圖表目錄)
      • 專研實作步驟 (要全部修改 或 新增目前方法)

四上Week 3

  • Week 3-1 (2011.09.20)
    • Pitchers ready.
      • (HandX < 0.05 && HandX > -0.05) && (HandY < 0.01 && HandY > -0.01) && (HandZ < 0.01 && HandZ > -0.01)
    • Batters ready.
      • (HandX < 0.01 && HandX > -0.01) && (HandY < 0.05 && HandY > -0.05) && (HandZ < 0.01 && HandZ > -0.01)
    • V8動作辨識
    • 上色的長手長腳怪人+上色球場(球場的FBX在壓縮檔內….壓縮後的大小為4.59M)
    • 以demo為導向
      • 增加場地劃線,定義使用者區域
      • 本壘板&打擊區圖示海報(鋪地上)
      • 手上多拿氣球球棒,增加臨場感
    • Floor Plan
    • 旋轉矩陣(CreateFromYawPitchRoll)三個參數調整
    • 動作辨識的條件(加入顏色辨識?)
    • 動畫模型的差異調整
    • 進度分配 (週五下午 & 週日早上驗收)
      • 李宗樺:總審文件圖表目錄、初審意見表(修正頁數&更新回饋)
      • 劉孝皇:程式加入人物與場景、Kinect SDK相關參考文獻
      • 劉健興:程式修正轉動矩陣、EndNote重新安裝測試
      • 陳柏榮:人物手套&球棒更新、投手與打者模型
  • Week 3-2 (2011.09.22)
    • 研究所推甄 (10/1~10/30)
    • 專研總審 (10/15)
    • 2011數位內容學術研討會 (10/11)‏
      • 研討會網址 http://csdc2011.ncu.edu.tw
      • 徵集主題:數位遊戲與電腦動畫
      • 論文截稿日期:2011 年 10 月 11 日 
      • 審查結果公告:2011 年 11 月 15 日 
      • 註冊截止日期:2011 年 12 月 11 日
      • 研討會日期:2011 年 12 月 27 日
  • Week 3-3.5 (2011.09.24)
    • wpf結合xna,避免Kinect初始化衝突的問題,由xna先做初始化再將wpf所需要的資料傳入(成功):xna1.rar
  • Week 3-4 (2011.09.25)
    • 修改總審文件 (總審文件.doc)
      • 更新”圖” & “表”目錄
      • 加入”附錄三 展示場地示意圖”
      • “附錄四 工作分配”新增項目
      • Kinect SDK、專案音效、介面設計、動作辨識、展示規劃
      • 新增”第六章 專題研究成果” “第一節 程式輔助介面樣式”
    • 修改初審回覆 (初審回覆V3.doc)
    • 程式更新 (SkinningSample_4_0V10.rar)
      • 白板討論專研介面規劃
      • 程式增加四個輔助畫面
      • 灰階深度辨識圖、同深度範圍彩色分佈圖、關節連線骨架圖、彩色攝影機影像
      • whiteboard.jpg

四上Week 4

  • Week 4-2 (2011.09.29)
    • 更新初審回覆 (初審回覆v4.doc)
    • 一、修改說明
      • “修改後頁次” 以章節名稱處理
      • “修改說明” 增加補充說明
    • 二、答辯說明
      • “未能修改之理由” 有做部分調整,但與審查老師意見不完全相同
    • 三、整體說明與答辯
      • 修正尺規排版
  • Week 4-3 (2011.09.30)
    • 更新初審回覆第五版 (9716初審回覆_第22組.doc)
    • 一、修改說明
      • “修改說明” 修正條列段落,語意修改,針對重點
      • “答辯說明” 搬至此段,有依意見做部分調整
    • 二、答辯說明
      • 本段留白,都有照意見做微調
    • 三、整體說明與答辯
      • 語意修改
    • Kinect視力保健 結合Arduino & TV應用
      • 早上騎車看到一個很小的小孩戴眼鏡
      • 應該用科技來減少這種現象
  • Week 4-4 (2011.10.02)
    • 總審文件第二版 (總審文件_V2.doc)
      • 加入初審回覆中的意見
      • Q3:計算動作速度 & 球軌跡模擬 (未完成)
    • 總審文件第三版 (總審文件_V3.doc)
    • ICDC 2011 第一版
      • 格式完成,10668字,13頁
      • 主題:數位遊戲與電腦動畫
      • 全篇論文頁數需於10頁以內(約5000字以內)
      • 歡迎3~5頁短篇論文投稿

四上Week 5

  • Week 5-1 (2011.10.04)
    • 個別物件的球場basebuild.rar
    • 程式更新第12版
    • 已經解決Zbuffer問題:
            device.Clear(ClearOptions.Target| ClearOptions.DepthBuffer, Color.CornflowerBlue, 1.0f, 0);
            depthStencilState depthAlways = new DepthStencilState();
            depthAlways.StencilEnable = false;
            depthAlways.StencilFunction = CompareFunction.Always;
            depthAlways.StencilPass = StencilOperation.Replace;
            depthAlways.ReferenceStencil = 1;
            depthAlways.DepthBufferEnable = true;
            device.DepthStencilState = depthAlways;
            device.SetRenderTarget(null);
  • Week 5-2 (2011.10.05)
    • 總審文件第五版 (總審文件_V5.doc)
      • 摘要修改
      • 關鍵詞修改
      • 目錄、圖目錄、表目錄更新
      • 增加6-2程式完整畫面
      • 參考文獻順序修正
  • Week 5-3 (2011.10.06)
    • meeting 重點摘要:
      • 1.題目是否需要修正?(要加程式?or修改題目?
      • 2.修正摘要中的敘述!(XNA&opencv&opengl&sdk敘述
      • 3.2-5中的後半部敘述(標題與內容不太合
      • 4.動作辨識裡頭的相關文獻
      • 5.文獻探討:與前人相比是不同的
      • 6.參考文獻避免抄襲
      • 7.2-6繪圖呈現是否需要改寫or刪除?
      • 8.表一欄位有問題(搭配裝置
      • 9.遊戲比較放置的位置(3-2 or 2-1
      • 10.分配工作:找遊戲
      • 11.表二可能有問題?
      • 12.3-4需要修改
      • 13.4-3加圖
      • 14.4-3kinect有提供足夠的技術文件提供開發
      • 15.4-3加上文獻(曹祖聖
      • 16.4-4”幫助說明文件”中的幫助刪除
      • 17.4-4文字重新校正
      • 18.4-5MAYA部分需要一張場景模型截圖
      • 19.5-123合併,第5章需要調整排序及增加SDK
      • 20.參考文獻18沒出處
  • Week 5-4 (2011.10.09)
    • 總審PPT大綱
    1. Kinect軟硬體簡介
      • Kinect硬體介紹-紅外線攝影機
      • OpenNI/NITE 軟體簡介
      • OpenNI/NITE & SDK比較
    2. 程式架構
      • 模型匯入
      • WPF結合XNA顯示輔助畫面
      • 專題介面呈現
    3. 動作辨識
      • 關節座標範圍
      • 骨架相依性
      • 線性矩陣轉換
    4. 研究成果
      • 遊戲介面說明
      • 進行流程說明
      • 動作效果說明
    5. 結論
      • 論文貢獻
      • 動畫互動
      • 人體操作
    6. Demo
      • 影片
      • 實際操作
      • 評審試玩

四上Week 6

  • Week 6-1 (2011.10.11)
    • PPT_V1(目前缺:線性矩陣轉換、進行流程說明、結論與Demo部分)
    • V2預計更新
      • 放原文到備忘稿→修至口語化 (推銷我們的賣點)
      • 放幾張圖,說明效果 (看圖說故事)
      • 程式碼要貼關鍵的幾行 (說明實作技巧)
      • 圖與文字比重要相當 (以前看兩三年總審的感覺,字太多→無聊)
  • Week 6-3 (2011.10.15)
    • 專研總審審查建議
1. 程式流程、細節
2. 文件:摘要(編寫已完成的事項)
	 實驗數據(動作的準確性)、比較OpenNI&SDK、OpenNI psi、線性矩陣轉換
3. 文件跟口頭流程
4. 人臉辨識+膚色
5. 兩個Kinect:網路連線(強調即時性)
   一個Kinect:抓兩個人(強調準確度)
6. 文獻的敘述
7. 方塊人手上所持有的道具
8. 為何相對座標用頭部而不用身體,身體的誤差有較小?
9. 深度辨識人體行得通嗎?
10.Human Tracking
11.球的旋轉、速度,球棒的力道等等
12.打擊動作的膝蓋彎曲

四上Week 7

  • Week 7-1 (2011.10.18)
    • 資傳系競爭型計畫 Week 1
    • Kinect 配2投影機→移動清明上河圖
    • Kinect 抓到人的手,做出手勢
    • S203架設投影機,調整兩台畫面重疊到水平相同
    • 手勢移動停留特定位置做畫面移動與縮放
  • Week 7-2 (2011.10.19)
    • demo 測試影片 1 (小圖測試)
      • 有四個圖示位置表示(縮小、放大、左轉、右轉)
      • 測試圖為4000*200的BMP圖檔
      • 左轉右轉還算流暢
      • 放大正常,縮小會有些部分被切掉
      • 放大再做移動會有些LAG
    • demo 測試影片 2 (大圖測試)
      • 讀入OK,不過會有點LAG
      • 左右移動也是會LAG
      • 縮小有問題,沒照比例縮小
      • 可能是來不及縮小,所以只有畫面切掉變小
  • Week 7-3 (2011.10.22)
    • 2011數位內容學術研討會
    • 投稿類別:數位遊戲與電腦動畫
    • 論文標題:擬真棒球-Kinect體感辨識
    • 論文檔案:ICDC2011_V3.pdf
    • 作品影片:icdc2011.rar (36.4MB 附上連結位置)
  • Week 7-4 (2011.10.23)
    • Kinect手勢停留移動lag因電腦而異
    • 專研模型可用材質上色
    • 數位內容學術研討會論文V4

四上Week 8

  • Week 8-1 (2011.10.25)
    • 資傳展排班 11/9~11/10 三四
    • 資傳系競爭型計畫 Week 2
    • 手勢操作討論1 (飛梭式操作-靜態)
      • 左手移動→畫面左移、右手移動→畫面右移
      • 左右手距離小於N→畫面縮小、左右手距離大於M→畫面放大
      • 距離介於N~M不做畫面縮放
    • 手勢操作討論2 (連續式操作-動態)
      • 單手操作移動,由右揮向左→畫面左移、由左揮向右→畫面右移
      • 寫法1:使用timer確定手勢起點與終點
      • 寫法2:使用深度值來做click確定手勢起點與終點
      • 雙手操作縮放,左右手同時移動定義縮放
      • 縮小:兩手由外向內揮手
      • 放大:兩手由內向外揮手
      • 同移動方法,有兩種方式可嘗試
    • 縮放效果待修正
      • 放大目前畫面,而非從座標(0,0)放大→僅調整image的高度
      • 目前是整張圖一起放大,而不是局部放大
      • 紀錄目前畫面的座標(左上起始點(x1,y1)、右下結束點(x2,y2))
      • 放大時→調整image的高度+移動到之前畫面(x1'=x1*(y2'/y2))
      • 可以確定放大後,左上起始點畫面不動
    • 結合無縫投影
      • 傳出兩個座標(左上起始點+右下結束點)
      • 定義目前要顯示的畫面是在原圖中的座標範圍
      • 放大後的座標範圍會比較小(x2-x1<2048,y2-y1<768)
      • 2048要再確定,是否要扣除影像重疊區?
      • 只能確定x/y的比值為定值,避免縮放變形

四上Week 10

  • Week 10-1 (2011.11.08)
    • 資傳展建議修改方向
      • 作出有遊戲性的計分版
      • 判斷上壘以及好壞球
      • 球員造型不夠明顯
      • 為了互動性簡化成僅比賽1或3局
    • Mail資訊專刊文稿 (11/11繳交,沒有延期)
      • 在一頁篇幅中呈現我們的設計理念
      • 包含摘要段落、結論、未來展望
      • 兩三張照片(總審合照、程式畫面)
    • 資傳系競爭型計畫 Week 3(4)
      • 結合無縫投影與Kinect手勢操作
      • 目前規劃為將Kinect原程式C#修改成C++以結合無縫投影
      • 分成三組測試結合效果(無縫投影+Kinect皆有備份)
        • 李宗樺-有Kinect裝置,測試手勢移動效果
        • 劉孝皇-無Kinect裝置,測試合併後編譯是否成功
        • 馬珝皓學長-裝置齊全,可測試雙投影與手勢操作

海報

含PDF與PPT兩種檔

CGW2011論文投稿

你天生適合做研究及投稿,是不可多得的人材。可以成為了不起的 paper generator, 以後不得了。

論文徵稿時程: 
論文徵稿:2011年4月18日 (一)
截止收件:2011年6月1日(三)
接受通知:2011年6月17日(五)
論文定稿:2011年6月27日(ㄧ)
會議舉辦:2011年7月14日(四)至7 月15日(五)

投稿重點

分兩部分:
一、程式實作
程式實做流程:
1.將Maya模型座標透過Plugins傳給C做2D投影
  Maya plugins 分兩種
  (1)mel風格,用Python來寫
  (2)mll風格,用C/Visual C++來寫 
  (3)c:\progra~1\Autodesk\Maya\ 裡面會有 Visual C++ 的 project 檔可以利用
2.用投影來忽略其中一維的座標,使用2D資料做OpenCV的處理
3.用contours找輪廓線方式,定義輪廓並計算中心位置
4.中心點定義為軀幹關節,藉由比例與對稱性向外長出全身骨架
  (1)其中手肘與膝蓋不容易定義(每個模型比例不見得相同)
  (2)可考慮做半自動生成,這四點由手動產生
5.接第3點,藉由數學內接圓找出中點連線的Media Axis(中軸),來當做自動刷骨架權重的依據
6.配合第4點骨架生成與第5點權重生成,來做跨模型的基本動畫設定
7.自動產生的關節是否會影響衣服?
  (1)中軸的權重能不能減少衣服被影響的部分
  (2)若衣服不對稱  中軸好像又會失敗...
8.衣服的問題是否要處理?
  (1)有衣服:使用條件判斷,通常會有"直角"的衣服皺折,用之前SIFT找強特徵點的方式來忽略
  (2)沒衣服:可以減少誤判,但模型數量會少很多
  
PS1:Fu-Che Wu吳賦哲的博士論文:3D model的可動畫中軸
PS2:不叫中軸,而改叫 Domain points (有控制領域的點, 每個點掌管一些領域)
PS3:陳鼎勻博士,曾經用類似的作法,做出全世界第一的 3D Model Search Engine
     把3D model 在不同的視角中投影,然後改做一堆2D image 處理,成功了

二、文字寫作
論文格式:ACM會議論文(兩欄式)
1.題目:Kinect動作捕捉模擬模型動畫
2.賣點:
 (1)模擬model的動作 animation
 (2)改良以前 MoCap很貴,使用普偏的硬體Kinect
 (3)有Kinect便可以做出你們的動畫
 (4)不同的模型,可以做一樣的動作
 (5)錄製動作腳本(關節點移動的數據)

 Innovation 創新:使用便宜的Kinect裝置
 Contribution 貢獻:低成本的系統、加速動畫開發、跨模型的動作合成
 
 小品的論文,裡面程式有兩塊都不是自己寫的
 a. Maya
 b. Kinect-OpenNI-to_Maya- (proxy server + plugins)
 只有 raw data
 x,y,z
 raw data 的移動 (from kinect)

 手工 bind controller
 joint/bone

 問題在: 建模的身材比例 vs. kinect 裡面的演員,根本不能一對一對映

寫作重點:
 1.5-6page論文
 2.參考文獻列英文網址
 3.只看圖,只看影片→找相關問題研究
 4.從某篇 2006中文碩士論文看起(因為是中文)
 5.只看看得懂的 introduction摘要、related works相關研究、圖片
 6.看 reference 比較 related works→來決定,如果你要再看一兩篇論文時,要看那一篇
 7.看不懂(數學/演算法/原理)是他那篇論文獨到的特色,不要看
 8.可以有價值的,通用的部分→who did which works誰做了什麼研究

相關文獻:

實作細節

  • c:\progra~1\Autodesk\Maya2010\devkit\plug-ins\template\helloTemplateWorld.sln
    • 可以看到怎麼使用 Visual C++ 來寫 Maya plug-ins, 並且產生 mll 檔供 Maya Plugin Managers 使用

ABSTRACT

摘要

Categories and Subject Descriptors

分類與主題描述
Animation 動畫類別
透過Kinect讀入人體運動資訊,並使用自動生成骨架與權重操作人物模型

General Terms

一般條款?

Keywords

關鍵詞
Kinect、Motion Capture、OpenNI、OpenCV、OpenGL

INTRODUCTION

簡介
相關研究
Skeleton-driven Animation Transfer based on Consistent Volume Parameterization

EXPERIMENT PROCESS

研究過程
1.Plugins傳給C做2D投影
  (1)如何使用Plugins傳出MODEL頂點座標?
  (2)MODEL的座標傳給OpenGL作2D投影?

APPLICATION

應用
加速動畫開發,使用Kinect捕捉人體動作,套用在不具有骨架的人體模型上,
使用自動產生骨架與權重來操作模型,簡化傳統製作人物動畫拉關節的步驟。
可直接以人體操作來改變模型動作,並有跨模型生成骨架的擴充性。

CONCLUSION

結論

Restart

你們的優勢(與眾不同):

  • 你們學過一年的Maya vs. 別的研究學者都沒學過
  • 你們是從可以普遍的 Kinect下手 vs. MoCap, Database
  • 有快速的實作/學習/模仿的能力 (很團結,不要命也要把東西做好)!!!

老師的優勢: (Coding/Programmming)

  • 10年前寫過 Maya Plugins
  • 學門規劃及下手的目標
  • Kinect/OpenNI/NITE/OpenCV,etc

目前成果: (有些模組是別人的,有些架構與想法也是別人的) (但是架構微調可能就是自己的,就有優勢)

  • Kinect-OpenNI-NITE-ProxyServer-MayaPlugins-MayaBoneSkinPaintWeight
  • 1. 成功嘗試 Kinect (CL+OpenCV vs. OpenNI+NITE)
  • 2. 試出 OpenNI 及 proxy 的程式轉接,讓Maya可以使用
  • 3. MayaOpenNIServer source 可下載 (可以改)
  • 4. Maya Plugins 可以接 proxy
  • 5. ????? (問主任但失敗)(joint/控制器bind起來)
  • 6. 試過 Miku Miku Dance

最終的方向: 補齊某一塊(挑好model,就可以在maya裡面直接以人用kinect來動) (model少了陳主任所不知道的那個東西)

方向: 人物動畫、Retrieval檢索辨識、做出對映的完美棒球動作
方向: 很多 Maya model 怎麼解決跨model間的對映(bone-skin)
(cf. 台大CML-G 裡有 mocap(digimation,CMU),model-bank, models
方向: MoCap (醫療?復健!) vs. Kinect當成 MoCap
拿Kinect做Golf

  • 動手試試某model(劉孝皇正在投入)
  • 熟悉Maya傳統作法(分工)
  • 如何生出骨架(有點難,有論文在做,或者是讓使用者簡單地做general 骨架去做套用,etc) (有學術價值,有人做過了)
  • 以後的夢想: Maya 期末專題,根本不用努力地拉動作,直接演,就成功了
  • 以後的夢想: 大家在自己的房間裡面玩Kinect,就可以合作拍出電影動畫了 (因為proxy是網路的嘛,可以很多server)
1. 關於辨識,其實還是用關節座標
1.1. 使用(得到)絕對座標的困境 -> 使用頭做座標原點
1.2. 再用頭、肩的向量,算出三個(參考)座標軸
1.3. 座標校正 (matrix.xxxx(...);) (10行)
1.4. 辨識有道理 (學術價值) vs. 以前湊答案
1.5. 劉有在論壇問(白老鼠),建議:用頭(類似上面)

2. 上週問題: 湊idx來動關節,9/27修正(老師要查看)
2.1. TODO: 雖然好很多了,但是還是要確認
2.2. 用 T 時,手臂會偏後
2.3. 動的方向對,但是量值(距離)不對(bone vs. pose)
2.4. (圖學)專業角度: 手要能拍手,要準
2.5. smooth(joint不要抖)(劉建興:沒有效果)
2.5.1. 追問題: 原來的smooth範例抖動的狀況
2.5.2. 應該是使用方法有誤,回到前一步,細看範例
2.6. 測看看 T偏後的問題在哪裡,用下面兩步,捉問題
2.6.1. 測 Shoulder 的幾個軸轉動的量正確度
2.6.2. 測 Elbow 幾個軸轉動的量正確度

3. 使用者介面設計 9/25 (中華職棒CBL線上轉播)
4. 專研修改見week3-4的wiki
5. 審查老師: 辨識怎麼做?
5.1. 列出有哪幾種動作? (轉正是必要的)
5.2. 制式: 統計(histogram)一些動作的微數值 HoG (OpenCV 天生就有)
5.3. 創新作法: Kinect +辨識 (微數值,用Kinect的值)

6. 買 demo 的作法

7. 劉: 把demo範例 (joint+line,配在彩色身體上, x+68, y+48)
7.1. 3D 轉 2D 
7.2. http://msdn.microsoft.com/zh-tw/hh367958
7.3. 曹祖聖(jimycao) 的講解及投影片, 值得看

8. 有很多不錯的進展 (weekly report 中的 feedback)
8.1. 

9. ICDC2011 論文 (進展很不錯), 
9.1. 建議有些資料必須刪除,因為沒有圖的使用權 (圖12之前),最多擇要留一張必要的
9.2. 著重在與你們的賣點 (Kinect打棒球)
9.3. 把論文當成wiki,放一些你們新的想法、進展及成果進去即可!

文件修改紀錄

待解決事項:
OK 1. 摘要的第二段看起來單薄,而且沒有成功地將第一段及第三段串起來。
OK 1.1. 可以思考要怎麼改寫,想好再開始找材料並放進去。
OK 改為"追蹤系統" 5. p9. 自動追焦系統校正。
OK 修改表格內容為"能以函式庫找出" 8.2. Kinect的骨架其實也不是直接有的,而是軟體(NITE或微軟相關函式庫所算出來的)。
OK 移除此欄比較 8.3. 聲音的部分雖然好像是對的,但是強調這個比較,反而會混淆不清。
OK 修正表格內容 9.1. 請好好地思考檢討一下,到底想要比什麼? 還是只是想要有個"比較表"而已?
OK 9.2. 這決定了,到底要比的項目有哪些。
10.1. 所以p.32 的說明(PS3與Wii的比較)就有點問題了。
最新版本:初審-20110505.doc
1.內文文意修正
2.新增附錄二 實作關係示意圖
3.更新第五章標題 Kienct優勢分析與結論
4.新增5-5結論(實作成果、呈現效果、未來展望)
5.更新表格名稱與比較細項

=>目前發現按預覽列印後,頁碼會跑掉(不確定是否是我電腦的問題)
最新版本:初審-20110503.doc
1.題目更改為"擬真棒球-Kinect體感辨識"
2.參考文獻段落做凸排格式(與空格修正)
3.修改兩個參考文獻為英文網頁(目前Wikipedia都為英文頁面)
  [7] Wii Remote
  [9] Augmented reality
4.OpenGL合併於OpenCV中
  3-1 OpenGL/OpenCV
5.參考文獻引用順序修正
6.圖片順序更新(因為GL合併CV中)

結論與架構圖(用顏色區別完成項目)→討論中...
最新版本:初審-20110501.doc
1.題目暫時變更為"○○○○-Kinect體感辨識"
2.摘要段落不用貼齊格線 
3.原題目加進"摘要"裡
4.原三四章合併為"工具介紹及目前實作成果"
5.軟硬體比較拉到最末章-Kinect優勢分析
6.4-4 maya將部分段落放在附錄一 Maya人物建模細節
  骨架部分留在3-4、純建模部分放於附錄一
7.Wii Remote與Kinect的硬體圖  改為原長寬比例
  藍色Wii Remote? 若非正版則需換圖
8."銘傳大學"大標中央對齊"資訊傳播工程學系"
9.(R)上標更新為4個(前一版有漏2個)
10.3-5標題更新"動作捕捉器 & Kinect"→"Motion Capture & Kinect"
   因為中英空格寬度不同,所以統一用英文

問題一:因為原三四章合併,現3-2 OpenGL篇幅過短
       考慮並在OpenCV中?
問題二:因為章節順序調整→引用順序要更新
       我手邊沒有文獻資料庫,還沒修正
最新版本:初審-20110430-v2.doc
1.簡短又帥氣的名稱
  (1)基於Kinect深度骨架辨識原理之動作系統
  (2)Kinect體感動作辨識
  (3)Kinect人體偵測之動作辨識
  (4)自由自在的體感系統
  (5)由你舞動-Kinect體感辨識
  組員投票之喜好順序: 5  2  4  3  1
2.左邊界3.17修正
3.中英文字體皆改為14號大小
4.刪除兩張不需要的公式圖
5.修改2-5運動辨識內文,刪除提到公式的部分
6.修改文件年份為"一百"
7.對齊段落目錄頁碼
8.全文-左右對齊
9.刪除文件引導模式中多餘的跳行
10.拼字及文法檢查完成
11.兩個(R)修改為上標字型®

9716LLLC組 初審文件V15.doc 的問題 
1.上下左右都應是2.54cm, 不過現在左是3.17cm,
=>依照paper-rule1000301.pdf格式,左邊的確是要3.17 
2.程式碼交雜的地方就會因太窄而亂跳行 (ex. xn::SkeletonCapability)
=>已修改
3.GetSkeletonJoint前面有個小圓圈,請整個字刪掉後重打字即可
=>已修改

簡短又帥氣的名稱

1.基於Kinect深度骨架辨識原理之動作系統
2.Kinect體感動作辨識
3.Kinect人體偵測之動作辨識
4.自由自在的體感系統
5.由你舞動-Kinect體感辨識

組員投票之喜好順序: 5  2  4  3  1

由以下主標類型再決定一次
可在此提出其他適合的名稱
由你打擊-Kinect體感辨識
擬真棒球-Kinect體感辨識>>劉孝皇~陳柏榮

文件大綱

A李宗樺  B劉孝皇  C劉健興  D陳柏榮
摘要(4段+關鍵詞3~5個)佔1頁 =>C

1.緒論
1-1研究動機與目的 =>C
1-2遊戲介紹 =>A

2.文獻探討 =>A
2-1類似遊戲探討
2-2硬體技術(Kinect優勢:紅外線+價錢便宜+市售普及)
2-3骨架
2-4深度
2-5運動辨識
2-6繪圖呈現(CV GL)

3.工具介紹 =>C
3-1OpenCV
3-2OpenNI
3-3NITE
3-4Autodesk Maya =>D

4.軟硬體測試 =>B
4-1OpenCV演練
4-2OpenNI
4-3NITE
4-4Maya =>D
4-5動作捕捉器&Kinect 優缺點

5.比較同類型產品(優缺點) =>D
5-1Wii的軟體/硬體比較 
5-2PS3的軟體/硬體比較
5-3XBOX360現有軟體比較

6.實作方法 =>B
細節很多(關鍵段落)
6-1深度變化找出三維資訊
6-2偵測運動時的骨架變化
6-3人體操作虛擬角色動作
6-4打擊動作辨識
6-5投球動作辨識
6-6系統分析運動姿勢
6-7繪製畫面呈現動作辨識的效果
6-8效能提升增加即時性

7.預期成果 =>A
7-1遊戲流程(遊戲表現)
7-2遊戲畫面功能
7-3遊戲流程畫面及硬體介紹

參考文獻 =>C D
附錄一 工作分配 =>A
附錄二 專案進度 =>A

文件附錄

 工作分配 
    李宗樺 劉孝皇 劉健興 陳柏榮
審定文件  ●    ●    ●    ●  
3D模型          ●    ●  
專案企劃  ●            ●  
OpenCV/GL      ●    ●     
OpenNI/NITE  ●    ●         
 專案進度 
時間(月) 04 05 06 07 08 09 10 11
文獻探討
軟體測試
專案實做
3D模型製作
總審報告

網頁資源

lllc專研組.txt · Last modified: 2012/06/22 11:35 by 118.161.189.189