Initial snapshot: hand motion pipeline (Dyn-HaMR + dex-retargeting + SPIDER)
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
+3061
File diff suppressed because it is too large
Load Diff
Vendored
+2382
File diff suppressed because it is too large
Load Diff
Vendored
Executable
+762
@@ -0,0 +1,762 @@
|
||||
{
|
||||
"categories": [
|
||||
{
|
||||
"supercategory": "person",
|
||||
"id": 1,
|
||||
"name": "person",
|
||||
"keypoints": [
|
||||
"nose",
|
||||
"head_bottom",
|
||||
"head_top",
|
||||
"left_ear",
|
||||
"right_ear",
|
||||
"left_shoulder",
|
||||
"right_shoulder",
|
||||
"left_elbow",
|
||||
"right_elbow",
|
||||
"left_wrist",
|
||||
"right_wrist",
|
||||
"left_hip",
|
||||
"right_hip",
|
||||
"left_knee",
|
||||
"right_knee",
|
||||
"left_ankle",
|
||||
"right_ankle"
|
||||
],
|
||||
"skeleton": [
|
||||
[
|
||||
16,
|
||||
14
|
||||
],
|
||||
[
|
||||
14,
|
||||
12
|
||||
],
|
||||
[
|
||||
17,
|
||||
15
|
||||
],
|
||||
[
|
||||
15,
|
||||
13
|
||||
],
|
||||
[
|
||||
12,
|
||||
13
|
||||
],
|
||||
[
|
||||
6,
|
||||
12
|
||||
],
|
||||
[
|
||||
7,
|
||||
13
|
||||
],
|
||||
[
|
||||
6,
|
||||
7
|
||||
],
|
||||
[
|
||||
6,
|
||||
8
|
||||
],
|
||||
[
|
||||
7,
|
||||
9
|
||||
],
|
||||
[
|
||||
8,
|
||||
10
|
||||
],
|
||||
[
|
||||
9,
|
||||
11
|
||||
],
|
||||
[
|
||||
2,
|
||||
3
|
||||
],
|
||||
[
|
||||
1,
|
||||
2
|
||||
],
|
||||
[
|
||||
1,
|
||||
3
|
||||
],
|
||||
[
|
||||
2,
|
||||
4
|
||||
],
|
||||
[
|
||||
3,
|
||||
5
|
||||
],
|
||||
[
|
||||
4,
|
||||
6
|
||||
],
|
||||
[
|
||||
5,
|
||||
7
|
||||
]
|
||||
]
|
||||
}
|
||||
],
|
||||
"images": [
|
||||
{
|
||||
"has_no_densepose": true,
|
||||
"is_labeled": true,
|
||||
"file_name": "images/val/003418_mpii_test/000000.jpg",
|
||||
"nframes": 149,
|
||||
"frame_id": 10034180000,
|
||||
"vid_id": "003418",
|
||||
"ignore_regions_y": [
|
||||
[
|
||||
639,
|
||||
647,
|
||||
635,
|
||||
618,
|
||||
590,
|
||||
547,
|
||||
501,
|
||||
499,
|
||||
515,
|
||||
518,
|
||||
526,
|
||||
528,
|
||||
509,
|
||||
473,
|
||||
450,
|
||||
407,
|
||||
352,
|
||||
339,
|
||||
309,
|
||||
271,
|
||||
262,
|
||||
252,
|
||||
211,
|
||||
211,
|
||||
183,
|
||||
175,
|
||||
139,
|
||||
105,
|
||||
94,
|
||||
62,
|
||||
45,
|
||||
22,
|
||||
22,
|
||||
30,
|
||||
52,
|
||||
66,
|
||||
86,
|
||||
92,
|
||||
101,
|
||||
109,
|
||||
162,
|
||||
158,
|
||||
135,
|
||||
103,
|
||||
94,
|
||||
75,
|
||||
60,
|
||||
37,
|
||||
18,
|
||||
9,
|
||||
1,
|
||||
0,
|
||||
79,
|
||||
75,
|
||||
88,
|
||||
103,
|
||||
156,
|
||||
164,
|
||||
167,
|
||||
201,
|
||||
196,
|
||||
194,
|
||||
207,
|
||||
237,
|
||||
262,
|
||||
256
|
||||
],
|
||||
[
|
||||
94,
|
||||
71,
|
||||
62,
|
||||
41,
|
||||
28,
|
||||
30,
|
||||
43,
|
||||
64,
|
||||
88,
|
||||
96,
|
||||
120,
|
||||
115,
|
||||
98
|
||||
],
|
||||
[
|
||||
235,
|
||||
215,
|
||||
211,
|
||||
224,
|
||||
252,
|
||||
239,
|
||||
207,
|
||||
196,
|
||||
211,
|
||||
228,
|
||||
218,
|
||||
198,
|
||||
181,
|
||||
186,
|
||||
198,
|
||||
218,
|
||||
233,
|
||||
252,
|
||||
277,
|
||||
279,
|
||||
292,
|
||||
318,
|
||||
347,
|
||||
354,
|
||||
392,
|
||||
430,
|
||||
439,
|
||||
447,
|
||||
462,
|
||||
477,
|
||||
496,
|
||||
539,
|
||||
515,
|
||||
464,
|
||||
426,
|
||||
398,
|
||||
366,
|
||||
333,
|
||||
322,
|
||||
315,
|
||||
318,
|
||||
303,
|
||||
298,
|
||||
294,
|
||||
266,
|
||||
245
|
||||
],
|
||||
[
|
||||
207,
|
||||
213,
|
||||
239,
|
||||
237,
|
||||
215,
|
||||
179,
|
||||
179,
|
||||
184,
|
||||
209,
|
||||
222,
|
||||
239,
|
||||
264,
|
||||
279,
|
||||
271,
|
||||
269,
|
||||
290,
|
||||
260,
|
||||
226
|
||||
],
|
||||
[
|
||||
194,
|
||||
175,
|
||||
160,
|
||||
164,
|
||||
179,
|
||||
167,
|
||||
160,
|
||||
216,
|
||||
266,
|
||||
262,
|
||||
266,
|
||||
269,
|
||||
281,
|
||||
298,
|
||||
309,
|
||||
318,
|
||||
332,
|
||||
341,
|
||||
345,
|
||||
345,
|
||||
290,
|
||||
262,
|
||||
226
|
||||
],
|
||||
[
|
||||
424,
|
||||
442,
|
||||
432,
|
||||
432,
|
||||
455,
|
||||
469,
|
||||
474,
|
||||
505,
|
||||
559,
|
||||
555,
|
||||
465,
|
||||
449,
|
||||
444
|
||||
],
|
||||
[
|
||||
926,
|
||||
901,
|
||||
857,
|
||||
792,
|
||||
751,
|
||||
694,
|
||||
636,
|
||||
540,
|
||||
474,
|
||||
403,
|
||||
351,
|
||||
265,
|
||||
211,
|
||||
155,
|
||||
98,
|
||||
71,
|
||||
40,
|
||||
0,
|
||||
0,
|
||||
1078,
|
||||
1078,
|
||||
1007,
|
||||
924,
|
||||
869,
|
||||
807,
|
||||
865,
|
||||
892,
|
||||
955,
|
||||
1003,
|
||||
1057,
|
||||
1078,
|
||||
1078,
|
||||
1030,
|
||||
961,
|
||||
926
|
||||
],
|
||||
[
|
||||
1050,
|
||||
1076,
|
||||
1078,
|
||||
1057,
|
||||
1032,
|
||||
1013,
|
||||
998,
|
||||
982,
|
||||
971,
|
||||
951,
|
||||
936,
|
||||
913,
|
||||
888,
|
||||
844,
|
||||
799,
|
||||
763,
|
||||
732,
|
||||
723,
|
||||
713,
|
||||
753,
|
||||
784,
|
||||
817,
|
||||
830,
|
||||
871,
|
||||
911,
|
||||
930
|
||||
],
|
||||
[
|
||||
478,
|
||||
461,
|
||||
423,
|
||||
405,
|
||||
394,
|
||||
263,
|
||||
257,
|
||||
265,
|
||||
290,
|
||||
315,
|
||||
334,
|
||||
342,
|
||||
344,
|
||||
411,
|
||||
448,
|
||||
448,
|
||||
448,
|
||||
430,
|
||||
424,
|
||||
423,
|
||||
421,
|
||||
409,
|
||||
444
|
||||
]
|
||||
],
|
||||
"ignore_regions_x": [
|
||||
[
|
||||
0,
|
||||
1,
|
||||
198,
|
||||
258,
|
||||
307,
|
||||
337,
|
||||
343,
|
||||
335,
|
||||
320,
|
||||
290,
|
||||
273,
|
||||
260,
|
||||
232,
|
||||
190,
|
||||
196,
|
||||
183,
|
||||
171,
|
||||
162,
|
||||
149,
|
||||
132,
|
||||
105,
|
||||
77,
|
||||
69,
|
||||
322,
|
||||
324,
|
||||
303,
|
||||
279,
|
||||
273,
|
||||
247,
|
||||
224,
|
||||
226,
|
||||
215,
|
||||
203,
|
||||
190,
|
||||
192,
|
||||
181,
|
||||
169,
|
||||
167,
|
||||
154,
|
||||
139,
|
||||
99,
|
||||
86,
|
||||
81,
|
||||
56,
|
||||
60,
|
||||
62,
|
||||
60,
|
||||
49,
|
||||
35,
|
||||
15,
|
||||
9,
|
||||
3,
|
||||
0,
|
||||
11,
|
||||
13,
|
||||
0,
|
||||
1,
|
||||
9,
|
||||
90,
|
||||
64,
|
||||
49,
|
||||
33,
|
||||
18,
|
||||
13,
|
||||
15,
|
||||
0
|
||||
],
|
||||
[
|
||||
341,
|
||||
347,
|
||||
352,
|
||||
356,
|
||||
371,
|
||||
383,
|
||||
388,
|
||||
392,
|
||||
403,
|
||||
392,
|
||||
398,
|
||||
377,
|
||||
375
|
||||
],
|
||||
[
|
||||
688,
|
||||
694,
|
||||
713,
|
||||
724,
|
||||
728,
|
||||
752,
|
||||
764,
|
||||
783,
|
||||
796,
|
||||
796,
|
||||
824,
|
||||
828,
|
||||
839,
|
||||
856,
|
||||
864,
|
||||
864,
|
||||
884,
|
||||
899,
|
||||
903,
|
||||
843,
|
||||
854,
|
||||
854,
|
||||
850,
|
||||
884,
|
||||
901,
|
||||
873,
|
||||
833,
|
||||
815,
|
||||
796,
|
||||
747,
|
||||
716,
|
||||
666,
|
||||
654,
|
||||
660,
|
||||
667,
|
||||
694,
|
||||
711,
|
||||
724,
|
||||
737,
|
||||
775,
|
||||
792,
|
||||
790,
|
||||
756,
|
||||
688,
|
||||
686,
|
||||
686
|
||||
],
|
||||
[
|
||||
1047,
|
||||
1079,
|
||||
1079,
|
||||
1088,
|
||||
1099,
|
||||
1103,
|
||||
1122,
|
||||
1133,
|
||||
1141,
|
||||
1164,
|
||||
1175,
|
||||
1164,
|
||||
1181,
|
||||
1126,
|
||||
1092,
|
||||
1077,
|
||||
1069,
|
||||
1047
|
||||
],
|
||||
[
|
||||
1252,
|
||||
1254,
|
||||
1258,
|
||||
1277,
|
||||
1292,
|
||||
1301,
|
||||
1322,
|
||||
1330,
|
||||
1350,
|
||||
1322,
|
||||
1296,
|
||||
1277,
|
||||
1256,
|
||||
1233,
|
||||
1213,
|
||||
1198,
|
||||
1173,
|
||||
1130,
|
||||
1098,
|
||||
1081,
|
||||
1101,
|
||||
1198,
|
||||
1232
|
||||
],
|
||||
[
|
||||
1165,
|
||||
1184,
|
||||
1226,
|
||||
1246,
|
||||
1238,
|
||||
1226,
|
||||
1209,
|
||||
1215,
|
||||
1180,
|
||||
1126,
|
||||
1057,
|
||||
1053,
|
||||
1128
|
||||
],
|
||||
[
|
||||
1455,
|
||||
1438,
|
||||
1438,
|
||||
1444,
|
||||
1442,
|
||||
1423,
|
||||
1426,
|
||||
1409,
|
||||
1399,
|
||||
1390,
|
||||
1374,
|
||||
1349,
|
||||
1330,
|
||||
1319,
|
||||
1307,
|
||||
1309,
|
||||
1324,
|
||||
1330,
|
||||
1919,
|
||||
1919,
|
||||
1884,
|
||||
1855,
|
||||
1830,
|
||||
1828,
|
||||
1776,
|
||||
1732,
|
||||
1734,
|
||||
1726,
|
||||
1728,
|
||||
1707,
|
||||
1713,
|
||||
1469,
|
||||
1461,
|
||||
1459,
|
||||
1455
|
||||
],
|
||||
[
|
||||
1463,
|
||||
1411,
|
||||
1255,
|
||||
1250,
|
||||
1246,
|
||||
1261,
|
||||
1284,
|
||||
1280,
|
||||
1271,
|
||||
1265,
|
||||
1275,
|
||||
1299,
|
||||
1299,
|
||||
1296,
|
||||
1315,
|
||||
1340,
|
||||
1365,
|
||||
1396,
|
||||
1444,
|
||||
1428,
|
||||
1434,
|
||||
1432,
|
||||
1446,
|
||||
1440,
|
||||
1453,
|
||||
1455
|
||||
],
|
||||
[
|
||||
1246,
|
||||
1271,
|
||||
1313,
|
||||
1344,
|
||||
1384,
|
||||
1346,
|
||||
1307,
|
||||
1286,
|
||||
1255,
|
||||
1203,
|
||||
1153,
|
||||
1096,
|
||||
1078,
|
||||
1061,
|
||||
1036,
|
||||
1090,
|
||||
1121,
|
||||
1148,
|
||||
1169,
|
||||
1205,
|
||||
1228,
|
||||
1265,
|
||||
1267
|
||||
]
|
||||
],
|
||||
"id": 10034180000,
|
||||
"width": 1920,
|
||||
"height": 1080,
|
||||
"mask_file": "mask/val/003418_mpii_test/000000.jpg"
|
||||
}
|
||||
],
|
||||
"annotations": [
|
||||
{
|
||||
"bbox_head": [
|
||||
346,
|
||||
337,
|
||||
296,
|
||||
237
|
||||
],
|
||||
"keypoints": [
|
||||
621,
|
||||
471,
|
||||
1,
|
||||
542.2835693,
|
||||
599.2855835,
|
||||
1,
|
||||
457.787323,
|
||||
347.6607971,
|
||||
1,
|
||||
0,
|
||||
0,
|
||||
0,
|
||||
0,
|
||||
0,
|
||||
0,
|
||||
371,
|
||||
737,
|
||||
1,
|
||||
753,
|
||||
579,
|
||||
1,
|
||||
387,
|
||||
981,
|
||||
1,
|
||||
1023,
|
||||
353,
|
||||
1,
|
||||
0,
|
||||
0,
|
||||
0,
|
||||
953,
|
||||
141,
|
||||
1,
|
||||
968,
|
||||
833,
|
||||
1,
|
||||
1152,
|
||||
843,
|
||||
1,
|
||||
0,
|
||||
0,
|
||||
0,
|
||||
1416,
|
||||
429,
|
||||
1,
|
||||
0,
|
||||
0,
|
||||
0,
|
||||
0,
|
||||
0,
|
||||
0
|
||||
],
|
||||
"track_id": 0,
|
||||
"image_id": 10034180000,
|
||||
"bbox": [
|
||||
214.25,
|
||||
15.0,
|
||||
1358.5,
|
||||
1092.0
|
||||
],
|
||||
"scores": [],
|
||||
"category_id": 1,
|
||||
"id": 1003418000000,
|
||||
"iscrowd": false,
|
||||
"num_keypoints": 11
|
||||
}
|
||||
]
|
||||
}
|
||||
Vendored
Executable
+374
@@ -0,0 +1,374 @@
|
||||
{
|
||||
"categories": [
|
||||
{
|
||||
"supercategory": "person",
|
||||
"id": 1,
|
||||
"name": "person",
|
||||
"keypoints": [
|
||||
"nose",
|
||||
"head_bottom",
|
||||
"head_top",
|
||||
"left_ear",
|
||||
"right_ear",
|
||||
"left_shoulder",
|
||||
"right_shoulder",
|
||||
"left_elbow",
|
||||
"right_elbow",
|
||||
"left_wrist",
|
||||
"right_wrist",
|
||||
"left_hip",
|
||||
"right_hip",
|
||||
"left_knee",
|
||||
"right_knee",
|
||||
"left_ankle",
|
||||
"right_ankle"
|
||||
],
|
||||
"skeleton": [
|
||||
[
|
||||
16,
|
||||
14
|
||||
],
|
||||
[
|
||||
14,
|
||||
12
|
||||
],
|
||||
[
|
||||
17,
|
||||
15
|
||||
],
|
||||
[
|
||||
15,
|
||||
13
|
||||
],
|
||||
[
|
||||
12,
|
||||
13
|
||||
],
|
||||
[
|
||||
6,
|
||||
12
|
||||
],
|
||||
[
|
||||
7,
|
||||
13
|
||||
],
|
||||
[
|
||||
6,
|
||||
7
|
||||
],
|
||||
[
|
||||
6,
|
||||
8
|
||||
],
|
||||
[
|
||||
7,
|
||||
9
|
||||
],
|
||||
[
|
||||
8,
|
||||
10
|
||||
],
|
||||
[
|
||||
9,
|
||||
11
|
||||
],
|
||||
[
|
||||
2,
|
||||
3
|
||||
],
|
||||
[
|
||||
1,
|
||||
2
|
||||
],
|
||||
[
|
||||
1,
|
||||
3
|
||||
],
|
||||
[
|
||||
2,
|
||||
4
|
||||
],
|
||||
[
|
||||
3,
|
||||
5
|
||||
],
|
||||
[
|
||||
4,
|
||||
6
|
||||
],
|
||||
[
|
||||
5,
|
||||
7
|
||||
]
|
||||
]
|
||||
}
|
||||
],
|
||||
"images": [
|
||||
{
|
||||
"has_no_densepose": true,
|
||||
"is_labeled": true,
|
||||
"file_name": "images/val/009473_mpii_test/000000.jpg",
|
||||
"nframes": 101,
|
||||
"frame_id": 10094730000,
|
||||
"vid_id": "009473",
|
||||
"ignore_regions_y": [
|
||||
[
|
||||
228,
|
||||
237,
|
||||
243,
|
||||
230,
|
||||
220,
|
||||
230,
|
||||
228,
|
||||
232,
|
||||
220,
|
||||
211,
|
||||
226,
|
||||
258,
|
||||
364,
|
||||
417,
|
||||
475,
|
||||
562,
|
||||
615,
|
||||
646,
|
||||
656,
|
||||
637,
|
||||
649,
|
||||
645,
|
||||
603,
|
||||
585,
|
||||
547
|
||||
],
|
||||
[
|
||||
0,
|
||||
1,
|
||||
137,
|
||||
130,
|
||||
166,
|
||||
235,
|
||||
309,
|
||||
384,
|
||||
452,
|
||||
526,
|
||||
583,
|
||||
658,
|
||||
694,
|
||||
709,
|
||||
599,
|
||||
684,
|
||||
707,
|
||||
733,
|
||||
660,
|
||||
679,
|
||||
762
|
||||
]
|
||||
],
|
||||
"ignore_regions_x": [
|
||||
[
|
||||
1907,
|
||||
1820,
|
||||
1758,
|
||||
1662,
|
||||
1577,
|
||||
1492,
|
||||
1375,
|
||||
1305,
|
||||
1250,
|
||||
1177,
|
||||
1111,
|
||||
1033,
|
||||
1047,
|
||||
1062,
|
||||
1056,
|
||||
1130,
|
||||
1173,
|
||||
1232,
|
||||
1282,
|
||||
1332,
|
||||
1416,
|
||||
1471,
|
||||
1515,
|
||||
1541,
|
||||
1909
|
||||
],
|
||||
[
|
||||
0,
|
||||
257,
|
||||
284,
|
||||
407,
|
||||
450,
|
||||
505,
|
||||
562,
|
||||
592,
|
||||
613,
|
||||
626,
|
||||
639,
|
||||
639,
|
||||
594,
|
||||
454,
|
||||
371,
|
||||
343,
|
||||
269,
|
||||
152,
|
||||
88,
|
||||
35,
|
||||
3
|
||||
]
|
||||
],
|
||||
"id": 10094730000,
|
||||
"width": 1920,
|
||||
"height": 1080,
|
||||
"mask_file": "mask/val/009473_mpii_test/000000.jpg"
|
||||
}
|
||||
],
|
||||
"annotations": [
|
||||
{
|
||||
"bbox_head": [
|
||||
648,
|
||||
253,
|
||||
138,
|
||||
103
|
||||
],
|
||||
"keypoints": [
|
||||
750,
|
||||
297.5,
|
||||
1,
|
||||
734.1937256,
|
||||
371.1997375,
|
||||
1,
|
||||
704.1047363,
|
||||
254.4751892,
|
||||
1,
|
||||
0,
|
||||
0,
|
||||
0,
|
||||
0,
|
||||
0,
|
||||
0,
|
||||
697,
|
||||
352.5,
|
||||
1,
|
||||
766,
|
||||
369,
|
||||
1,
|
||||
0,
|
||||
0,
|
||||
0,
|
||||
857,
|
||||
419,
|
||||
1,
|
||||
766,
|
||||
281,
|
||||
1,
|
||||
942,
|
||||
422.5,
|
||||
1,
|
||||
722,
|
||||
525,
|
||||
1,
|
||||
792,
|
||||
544,
|
||||
1,
|
||||
783,
|
||||
697,
|
||||
1,
|
||||
755,
|
||||
699,
|
||||
1,
|
||||
808.5,
|
||||
832.5,
|
||||
1,
|
||||
672,
|
||||
782.5,
|
||||
1
|
||||
],
|
||||
"track_id": 0,
|
||||
"image_id": 10094730000,
|
||||
"bbox": [
|
||||
631.5,
|
||||
167.77146757999992,
|
||||
351.0,
|
||||
751.4322540400001
|
||||
],
|
||||
"scores": [],
|
||||
"category_id": 1,
|
||||
"id": 1009473000000,
|
||||
"iscrowd": false,
|
||||
"num_keypoints": 14
|
||||
},
|
||||
{
|
||||
"bbox_head": [
|
||||
878,
|
||||
201,
|
||||
90,
|
||||
125
|
||||
],
|
||||
"keypoints": [
|
||||
900,
|
||||
272,
|
||||
1,
|
||||
905.657959,
|
||||
322.6206665,
|
||||
1,
|
||||
936.0065308,
|
||||
219.1595001,
|
||||
1,
|
||||
0,
|
||||
0,
|
||||
0,
|
||||
0,
|
||||
0,
|
||||
0,
|
||||
950,
|
||||
366,
|
||||
1,
|
||||
852,
|
||||
311,
|
||||
1,
|
||||
1021,
|
||||
428,
|
||||
1,
|
||||
759,
|
||||
303,
|
||||
1,
|
||||
986,
|
||||
422,
|
||||
1,
|
||||
704,
|
||||
374,
|
||||
1,
|
||||
912,
|
||||
516,
|
||||
1,
|
||||
856,
|
||||
524,
|
||||
1,
|
||||
876,
|
||||
663,
|
||||
1,
|
||||
908,
|
||||
680,
|
||||
1,
|
||||
849,
|
||||
828,
|
||||
1,
|
||||
959,
|
||||
804,
|
||||
1
|
||||
],
|
||||
"track_id": 1,
|
||||
"image_id": 10094730000,
|
||||
"bbox": [
|
||||
656.45,
|
||||
127.83342511500007,
|
||||
412.0999999999999,
|
||||
791.4926498699999
|
||||
],
|
||||
"scores": [],
|
||||
"category_id": 1,
|
||||
"id": 1009473000001,
|
||||
"iscrowd": false,
|
||||
"num_keypoints": 15
|
||||
}
|
||||
]
|
||||
}
|
||||
Vendored
Executable
+1466
File diff suppressed because it is too large
Load Diff
Reference in New Issue
Block a user