Skip to content

HAIV-Lab/HRNN

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

4 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

HRNN

基于骨架的动作识别中HRNN模型的实现

说明:该模型为基于骨架的动作识别(Skeleton Based Action Recognition)中HRNN模型的实现。因为初学pytorch,若存在错误或者模型细节方面存在问题请提交变更申请或者联系1378513278@qq.com

版本说明:

HRNN_2:为基础版本,在ntu_rgb+d数据集的xsub划分方式中取得了和paperwithcode给出的59.1一致的准确率

HRNN_2_nobid:没有使用双向循环的HRNN

HRNN_2_fortest:尝试合理划分成五个部分,即(左手臂部分:24、25、12、11、9、10 右手臂部分:22、23、8、7、6、5 左腿部分:20、19、18、17 右腿部分:13、14、15、16 躯干部分:4、3、21、2、1)

HRNN_2_fortest2:没有划分成五个部分,但使用了变长输入、隔帧采样、并累加作为预期结果

以及有如下对模型的改进思路:

1.调参,即调整学习率,或者隐藏层大小、维数、以及使用学习率衰减等方式对模型进行优化

2.使用变长输入,即在本模型中基础版本里使用的是固定帧长度为300,但这显然是不合理的,因为不同视频中帧的数目是完全不一致的。在原模型中是将不一致的填充0,但是这会引入大量无意义的0.可以考虑使用rnn中变长输入序列从而不用引入这么多无意义的0)

3.论文中给了一个滤波方法,可以尝试对数据进行预处理

4.怎么更合理的划分成五个部分,在hrnn_2_fortest中进行了尝试

5.在t帧上累加输出作为预期结果

6.隔帧采样 应该会提高训练速度,但因为丢失了信息,会降低准确率

7.两个身体的时候是怎么处理的 这个问题暂未解决,本模型只使用了第一个身体的骨架数据,但部分视频中会出现两个身体,在这里直接丢弃可能存在的第二个身体是不合理的

该模型是本人的第一个自己实现的模型以及第一个开源的代码,略微粗浅,请大家见谅。

如果对您有帮助,请帮忙点一下Star喔!

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published