Action Recognition Network Combining Spatio-Temporal Adaptive Graph Convolution and Transformer
-
摘要: 在一个以人为中心的智能工厂中,感知和理解工人的行为是至关重要的,不同工种类别往往与工作时间和工作内容相关。该文通过结合自适应图和Transformer两种方式使模型更关注骨架的时空信息来提高模型识别的准确率。首先,采用一个自适应的图方法去关注除人体骨架之外的连接关系。进一步,采用Transformer框架去捕捉工人骨架在时间维度上的动态变化信息。为了评估模型性能,制作了智能生产线装配任务中6种典型的工人动作数据集,并进行验证,结果表明所提模型在Top-1精度上与主流动作识别模型相当。最后,在公开的NTU-RGBD和Skeleton-Kinetics数据集上,将该文模型与一些主流方法进行对比,实验结果表明,所提模型具有良好鲁棒性。
-
关键词:
- 智能工厂 /
- 工人动作识别 /
- 深度学习 /
- 自适应图 /
- Transformer
Abstract: In a human-centered smart factory, perceiving and understanding workers’ behavior is crucial, as different job categories are often associated with work time and tasks. In this paper, the accuracy of the model’s recognition is improved by combining two approaches, namely adaptive graphs and Transformers, to focus more on the spatiotemporal information of the skeletal structure. Firstly, an adaptive graph method is employed to capture the connectivity relationships beyond the human body skeleton. Furthermore, the Transformer framework is utilized to capture the dynamic temporal variations of the worker’s skeleton. To evaluate the model’s performance, six typical worker action datasets are created for intelligent production line assembly tasks and validated. The results indicate that the model proposed in this article has a Top-1 accuracy comparable to mainstream action recognition models. Finally, the proposed model is compared with several mainstream methods on the publicly available NTU-RGBD and Skeleton-Kinetics datasets, and the experimental results demonstrate the robustness of the model proposed in this paper. -
1. 引言
海洋大数据的快速积累为海洋可持续发展起到了重要作用。传感器存储的水文、大气、生物活动等数据为海洋开发和保护提供了丰富的决策信息[1]。然而,如何有效地收集传感器的数据是一个关键性问题,尤其是在海况不可控的海域,控制中心无法直接通过无线传输进行设备数据收集[2,3]。因此,为该类型海域研究新的数据收集方法意义重大。
得益于无人机通信技术的高速发展,利用无人机前往危险区域收集设备数据成为一种有效的解决策略[4]。在无线网络中,无人机可作为移动基站,组成多层异构网络,与蜂窝网络无法覆盖的用户进行数据传输[5-7]。由于续航较差,无人机需要定时飞回基地充电,但在辽阔的海面,无人机无法像在陆地一样飞回基地进行能量补给和数据卸载,因此,在海上使用无人机收集数据需要采用新的补给方案。综合无人机的高机动性和高可控性、无人船的运载和续航能力,本文提出“无人船+多无人机”的集群形式,无人船作为移动平台,无人机从无人船起飞前往任务海域收集设备数据,并在需要时刻返回无人船进行补给。
由于无人机具有高机动性,可以为整个通信系统引入更多自由度[8],通过优化无人机的部署位置和飞行轨迹可以与用户设备建立更高质量的通信链路以实现更高速率更低误码率的数据传输。为了提高数据收集的效率,对无人机集群和无人船轨迹的设计成为关键问题。文献[9,10]研究一种基于强化学习的无人机轨迹动态优化方法,该方法侧重根据输入环境的变化动态调整轨迹,无法得到事前最优轨迹,并没有彻底解决无人机最优轨迹优化问题。为了获得无人机的最优轨迹,文献[11]提出将无人机的轨迹离散化求解的方法以实现较优的任务轨迹,但存在计算复杂度过大的问题。为了降低轨迹优化的复杂度,文献[12]忽略无人机速度限制,通过优化多个悬停点来确定无人机的轨迹,该方案只能实现一个次优解。文献[13,14]在考虑到无人机最大速度限制情况下,分别在1维和2维场景实现了低复杂度的最优轨迹设计并通过连续凸近似的方法得到了一个性能较好的次优解,但文章中的方法不能直接应用于2维协作的场景。本文将针对包含无人船和无人机在内的无人集群协同轨迹设计这一开放性问题,首次提出基于用户分组和SHF结构的低复杂度轨迹优化算法,并获得高效的联合轨迹解。
本文结构如下:第2节构建一个海上无人机集群通信模型,提出原始的联合轨迹优化问题;第3节将初始问题分解为用户分组和单无人机轨迹设计两个子问题,在解决子问题的基础上进行问题的重组,并针对重组问题的非凸性,提出连续凸近似的高效迭代求解方法;第4节仿真验证算法的有效性和相对其他算法的优势;第5节总结全文。
2. 系统模型
图1为一个海上无人机集群数据收集系统,该系统包括N架无人机,K个传感器用户以及一艘无人船。无人船在从起始点
(xα,yα) 到目标点(xβ,yβ) 航行过程中放飞无人机收集传感器的数据,并在每个无人机的飞行终点回收无人机。无人机飞行高度固定为H,最大飞行速度为V,无人船最大速度为Vp ,传感器位置已知,记第k个用户位置为(wx,k,wy,k) ,其需要卸载的数据量为Dk 。具体而言,对无人机i,其在
τi 时刻从无人船起飞收集用户数据,总飞行时间为Ti 即无人船于τi+Ti 时刻回收该无人机。在该无人机飞行过程中,考虑在有限载波资源下情况存在用户调度问题,引入对用户k的调度参数ai,k ,有ai,k={1, 无人机i 服务用户k0, 无人机i 不服务用户k N∑i=1ai,k=1 即无人机只服务特定用户,并且单个用户也只由一个无人机服务,记t时刻该无人机的位置为
(xi(t),yi(t)) ,单位距离下信道增益为β,用户的射频功率为P,噪声功率为n。基于基本传输损耗模型,t时刻第i个无人机对第k个用户的数据传输速率hi,k(xi(t),yi(t)) 为hi,k(xi(t),yi(t))=ai,k⋅log2(1+βPn((xi(t)−wx,k)2+(yi(t)−wy,k)2+H2)) (2) 本文优化目标是联合设计无人船和无人机的轨迹,在收集完所有用户数据的条件下,使无人船和无人机总任务时间最短。令无人船任务时间为
T0 ,t时刻无人船位置为(x0(t),y0(t)) ,轨迹优化问题可建立为(OP):min{xi(t),yi(t),τi,ai,k}N∑i=0Ti s.t. N∑i=1τi+Ti∫τiai,khi,k(xi(t),yi(t))dt≥Dk,k=1,2,⋯,K (xi(t),yi(t))=(x0(t),y0(t)), i=1,2,⋅⋅⋅,N;t≤τi&t≥τi+Ti (x0(t),y0(t))={(xα,yα), t=0(xβ,yβ), t=T0 (˙x0(t)2+˙y0(t)2)≤Vp2 (˙xi(t)2+˙yi(t)2)≤V2, i=1,2,⋯,N;τi≤t≤τi+Ti} 约束式(3b)表示收集完所有用户数据这一约束,约束式(3c)表示无人机起飞前和回收后与无人船位置应该相同,约束式(3d)为无人船起止点约束,约束式(3e)为无人船和无人机速度约束。注意到约束式(3b)是个非凸约束,该问题其余式子为凸,因此该问题为非凸问题。并且,该问题包含连续时间上的无穷个变量
(xi(t),yi(t)) ,这使得该问题的直接求解十分复杂。有必要对问题进行分解和重组。3. 问题分解与重组求解
原问题的求解难点在于该问题是对连续时间上无穷个位置变量求解的非凸问题,并且存在任务调度问题。因此问题的分解目标在于明确无人机的服务的用户以及实现低复杂度的无人机轨迹优化。本节将原问题分解为基于用户分布的用户分组和单无人机轨迹优化两个子问题,首先引入分组方法K-means,明确无人机的服务用户,消除无人机之间任务约束问题。然后针对单无人机的轨迹设计,通过引入连续悬停飞行结构SHF,将连续时间上无穷个位置变量的优化问题转化为有限个无人机悬停点的求解问题,降低了轨迹求解难度。最后将分解的两个子问题进行重组,针对重组问题的非凸性,采用连续凸近似的方法,最终实现复杂度较低的轨迹迭代算法。
3.1 用户分组
为解决无人机之间存在的用户调度问题,本文将用户节点进行如图2所示的分组,每个无人机只向指定分组的用户开放通信资源。
本文采用文献[15]中的K-means算法进行用户分组,使距离较近的用户分为一组。K-means采用距离作为分组的相似性指标,从而对用户进行分组。按照其核心思想将总数为K的用户分为N个用户分组,令第i类的分组中心为
ui∈C2×1 ,含义用户总数为Ki ,第i类的第k个用户的位置表示为si,k∈C2×1 ,用户分组问题的目标即最小化∑Ni=1 ∑Kik=1‖ ,该问题的迭代流程在表1中进行了描述。表 1 K-means算法流程初始化 随机选取N个用户作为初始聚类中心 迭代 (1) 计算其他点到聚类中心的距离,并按照距离最近的原则将
他们进行分类,计算目标函数值;(2) 更新聚类中心:每个分组中的用户位置的平均值作为新的
聚类中心,计算目标函数的值;(3) 如果分组结果较上次没有发生变化,则停止迭代; 否则,返回(1)。 3.2 单无人机轨迹重构
在任务分配的基础上,为获得第
i{\text{ }}(i = 1,2, \cdots ,N) 个无人机的最优轨迹,考虑如图3所示含有{K_i} 个用户的单无人机服务场景。用户k的位置为
({w_{i,x,k}},{w_{i,y,k}}),k = 1,2, \cdots ,{K_i} ,需要卸载的数据量为{D_{i,k}} 。以无人机的起飞时刻作为该无人机的计时起点, t时刻无人机位置用({x}\left({t}\right),{y}\left({t}\right)) 表示,无人机起止点为({x_i}(0),{y_i}(0)) 和({x_i}({T_i}),{y_i}({T_i})) ,任务时间内与用户k交互的数据量{Q_{i,k}} = \displaystyle\int_0^{{T_i}} {{h_{i,k}}({x_i}(t),{y_i}(t)){\rm{d}}t} 。该无人机轨迹的优化问题涉及连续时间上无限个无人机位置的计算,计算复杂度极大。通过文献[15]对连续悬停飞行SHF结构的研究可知:对于任意飞行时间T的飞行路线,无人机沿该路线下的最优轨迹为:在K个悬停点上悬停,并在悬停点间以最大速度飞行。因此本文所求的最优轨迹为如图4所示飞行时间{T_i} 内,在{K_i} 个悬停点上悬停,并在悬停点间以最大速度飞行的轨迹。令悬停时间矢量为
{{\boldsymbol{t}}_i} ,即第j个悬停点({x_{i,j}},{y_{i,j}}) 上悬停时间为{t_{i,j}} ,无人机起止点和悬停点将无人机轨迹划分为{K_i} + 1 条弧线,令第j条弧{l_{i,j}} 的长为{d_{i,j}} ,无人机在该弧上的位置矢量为({{\boldsymbol{x}}_{{{i,j}}}}{\text{,}}{{\boldsymbol{y}}_{{{i,j}}}}) ,重构轨迹下无人机的飞行时间{T_i} 为{T_i} = \sum\limits_{j = 1}^{{K_i}} {{t_{i,j}} + \frac{1}{V}\sum\limits_{j = 0}^{{K_i}} {{d_{i,j}}} } (4) 任务时间内与用户k交互的数据量
{Q_{i,k}} 为\begin{split} {Q_{i,k}} = & \sum\limits_{j = 1}^{{K_i}} {{h_{i,k}}({x_{i,j}},{y_{i,j}}){t_{i,j}} } \\ & +\sum\limits_{j = 0}^{{K_i}} {\int_{{{\text{l}}_{i,j}}} {{h_{i,k}}({x_{i,j}}(t),{y_{i,j}}(t))} } {{\rm{d}}}t \ge {D_{i,k}} \end{split} (5) 为了更好地量化飞行段轨迹
{l_{i,j}} ,本文将{l_{i,j}} 用如图5所示M个点({x_{i,j,m}},{y_{i,j,m}}),m = 1,2, \cdots ,M 量化为M+1条线段,M越大,量化越精确。为了简化表示,补充定义无人机悬停点为
({x_{i,j,0}},{y_{i,j,0}}) = ({x_{i,j}},{y_{i,j}}) ,起点和终点分别为({x_{i,0,0}},{y_{i,0,0}}) 与({x_{i,{K_i} + 1,0}},{y_{i,{K_i} + 1,0}}) 。因此,该无人机的轨迹可由起止点、悬停点、转折点的集合({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i}) 表征,其中{{\boldsymbol{x}}_i} = ({x_{i,0,0}},{x_{i,0,1}}, \cdots , {x_{i,0,M}},{x_{i,1,0}}, {x_{i,1,1}}, \cdots ,{x_{i,1,M}}, \cdots ,{x_{i,{K_i},M}},{x_{i,{K_i} + 1,0}})^{{\rm{T}}} ,{{\boldsymbol{y}}_i} 定义与之类似。({x_{i,j,m}},{y_{i,j,m}}) 与({x_{i,j,m + 1}},{y_{i,j,m + 1}}) 之间的线段长{d_{i,j,m}} = \sqrt {{{({x_{i,j,m + 1}} - {x_{i,j,m}})}^2} + {{({y_{i,j,m + 1}} - {y_{i,j,m}})}^2}} ,无人机的飞行时间为{T_i} = \sum\limits_{j = 1}^{{K_i}} {{t_{i,j}}} + \frac{1}{V}\sum\limits_{j = 0}^{{K_i}} {\sum\limits_{m = 0}^M {{d_{i,j,m}}} } (6) 以无人机从编号(j, m)轨迹点出发为计时起点,该点对应飞行段的轨迹表示为
\begin{split} ({\bar x_{i,j,m}}(t),{\bar y_{i,j,m}}(t)) =& ({x_{i,j,m}} + \frac{{({x_{i,j,m + 1}} - {x_{i,j,m}})Vt}}{{{d_{i,j,m}}}},\\ & {y_{i,j,m}} + \frac{{({y_{i,j,m + 1}} - {y_{i,j,m}})Vt}}{{{d_{i,j,m}}}}) \end{split} (7) 那么,以起飞时刻作为计时起点,无人机i的轨迹可表示为
({x_i}(t),{y_i}(t)) = \left\{ \begin{aligned} & ({x_{i,{j'}}},{y_{i,{j'}}}),{\text{ }}t \in \left[\sum\limits_{j = 1}^{{j'} - 1} {t_{i,j}} + \sum\limits_{j = 1}^{{j'} - 1} \sum\limits_{m = 0}^M \frac{{{d_{i,j,m}}}}{V},\sum\limits_{j = 1}^{{j'}} {t_{i,j}} + \sum\limits_{j = 1}^{{j'} - 1} \sum\limits_{m = 0}^M \frac{{{d_{i,j,m}}}}{V}\right] \hfill \\ & ({{\bar x}_{i,{j'},{m'}}}({\delta _{i,{j'},{m'}}}(t)),{{\bar y}_{i,{j'},{m'}}}({\delta _{i,{j'},{m'}}}(t))),\\ & \quad t \in \left[\sum\limits_{j = 1}^{{j'}} {t_{i,j}} + \sum\limits_{j = 1}^{{j'} - 1} \sum\limits_{m = 0}^M \frac{{{d_{i,j,m}}}}{V} + \sum\limits_{m = 0}^{{m'}} \frac{{{d_{i,{j'},m}}}}{V},\sum\limits_{j = 1}^{{j'}} {t_{i,j}} + \sum\limits_{j = 1}^{{j'} - 1} \sum\limits_{m = 0}^M \frac{{{d_{i,j,m}}}}{V} + \sum\limits_{m = 0}^{{m'} + 1} \frac{{{d_{i,{j'},m}}}}{V}\right] \hfill \\ & {\delta _{i,{j'},{m'}}}(t) = t - \left(\sum\limits_{j = 1}^{{j'}} {{t_{i,j}} + \sum\limits_{j = 1}^{{j'} - 1} {\sum\limits_{m = 0}^M {\frac{{{d_{i,j,m}}}}{V} + \sum\limits_{m = 0}^{{m'}} {\frac{{{d_{i,{j'},m}}}}{V}} } } } \right),{\text{ }}t \in [0,{T_i}{\text{], 1}} \le {j'} < K + 1,{\text{ }}0 \le {m'} < N \end{aligned} \right. (8) 无人机任务时间内交互的数据量量化为
\begin{split} {Q_{i,k}} =& \sum\limits_{j = 1}^{{K_i}} {{h_{i,k}}({x_{i,j}},{y_{i,j}}} ){t_{i,j}} \\ & + \sum\limits_{j = 0}^{{K_i}} {\sum\limits_{m = 0}^M {\int\limits_0^{\frac{{{d_{i,j,m}}}}{V}} {{h_{i,k}}({{\bar x}_{i,j,m}}(t),{{\bar y}_{i,j,m}}(t)){{\rm{d}}}t} } } \end{split} (9) 通过引入连续悬停飞行结构SHF和转折点,无人机的任务时间与数据交互量转化关于悬停点、转折点和悬停时间的函数,包含连续时间上的无穷个变量
({x_i}(t),{y_i}(t)) 的求解问题转化为有限个悬停点、转折点和悬停时间({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i},{{\boldsymbol{t}}_i}) 的求解问题,使得问题的求解难度大大降低。3.3 问题重组与求解
3.3.1 问题重组
上文将原问题进行分解,并对分解得到的用户分组和单无人机轨迹优化两个子问题的解决进行了论述,并得到无人机i的最优轨迹
({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i}) 以及飞行起点{{\boldsymbol{s}}_{i,0}} = ({x_{i,0,0}},{y_{i,0,0}}) 和回收点{{\boldsymbol{s}}_{i,{{\rm{end}}}}} = ({x_{i,{K_i} + 1,0}}, {y_{i,{K_i} + 1,0}}) 。令无人船起点为{{\boldsymbol{s}}_{0,0}} = ({x_\alpha },{y_\alpha }) ,无人船终点{{\boldsymbol{s}}_{0,{{\rm{end}}}}} = ({x_\beta },{y_\beta }) ,在考虑使无人船航行时间最短的情况下,无人船轨迹为({{\boldsymbol{s}}_{0,0}},{{\boldsymbol{s}}_{1,0}}, \cdots , {{\boldsymbol{s}}_{N,0}}, {{\boldsymbol{s}}_{1,{{\rm{end}}}}}, \cdots ,{{\boldsymbol{s}}_{N,{{\rm{end}}}}},{{\boldsymbol{s}}_{0,{{\rm{end}}}}})^{{\rm{T}}} 所确定的折线段,无人船在折线段上以最大速度航行,即无人船的航行时间{T_{}} 为\begin{split} {T_{}}{\text{ = }}& \frac{1}{{{V_p}}}({\sum\limits_{i = 1}^N {\left\| {{{\boldsymbol{s}}_{i,0}} - {{\boldsymbol{s}}_{i - 1,0}}} \right\|} _2} + {\left\| {{{\boldsymbol{s}}_{1,{{\rm{end}}}}} - {{\boldsymbol{s}}_{N,0}}} \right\|_2} \\ & + {\sum\limits_{i = 2}^N {\left\| {{{\boldsymbol{s}}_{i,{{\rm{end}}}}} - {{\boldsymbol{s}}_{i - 1,{{\rm{end}}}}}} \right\|} _2} + {\left\| {{{\boldsymbol{s}}_{0,{{\rm{end}}}}} - {{\boldsymbol{s}}_{N,{{\rm{end}}}}}} \right\|_2}) \end{split} (10) 考虑到无人机的回收不仅需要无人船和无人机到达同一地点,还需要无人船和无人机在该点的时间存在重合,因此无人船和无人机存在等待行为,当一方先到达无人机的回收点时即在该点等待另一方。为了在数学上表述等待行为,本文引入汇合时间
T'_i 这一概念,T'_i 表示从无人船出发到接收无人机i的时间,即\begin{split} T'_i =& \max \{ {T_i} + \frac{1}{{{V_p}}}\sum\limits_{ii = 1}^i {{{\left\| {{{\boldsymbol{s}}_{ii,0}} - {{\boldsymbol{s}}_{ii - 1,0}}} \right\|}_2}} ,{\text{ }}T_{i - 1}' \\ & + \frac{1}{{{V_p}}}({\left\| {{{\boldsymbol{s}}_{i,{{\rm{end}}}}} - {{\boldsymbol{s}}_{i - 1,{{\rm{end}}}}}} \right\|_2})\} \end{split} (11) 注意到,
T'_i = \max \{ {T_1} + \dfrac{1}{{{V_p}}}{\left\| {{{\boldsymbol{s}}_{1,0}} - {{\boldsymbol{s}}_{0,0}}} \right\|_2}, {\text{ }}\dfrac{1}{{{V_p}}}({\displaystyle\sum\limits_{i = 1}^N {\left\| {{{\boldsymbol{s}}_{i,0}} - {{\boldsymbol{s}}_{i - 1,0}}} \right\|} _2} + {\left\| {{{\boldsymbol{s}}_{1,{{\rm{end}}}}} - {{\boldsymbol{s}}_{N,0}}} \right\|_2})\} ,则无人船任务时间{T_0} 为{T_0} = T'_N + \frac{1}{{{V_p}}}{\left\| {{{\boldsymbol{s}}_{0,{{\rm{end}}}}} - {{\boldsymbol{s}}_{N,{{\rm{end}}}}}} \right\|_2} (12) 考虑到无人机等待无人船的情况下,无人机已经完成数据收集任务,其任务时间不包括等待时间。根据式(2),式(6)—式(12),联合轨迹优化问题(OP)可以重组为问题(P1):
({\text{P1}}){\text{ }}\mathop {\min }\limits_{({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i},{{\boldsymbol{t}}_i},T'_i)} {\text{ }}{T_0} + \sum\limits_{i = 1}^N {{T_{\text{i}}}} \tag{13a} \qquad\; {\rm{s.t}}.:{\text{ }}{Q_{i,k}} \ge {D_{i,k}},{\text{ }}i = 1,2, \cdots ,N;{\text{ }}k = 1,2, \cdots ,{K_i} \tag{13b} \begin{split} \qquad\qquad\quad & {T_i} + \frac{1}{{{V_p}}}\sum\limits_{ii = 1}^i {{{\left\| {{{\boldsymbol{s}}_{ii,0}} - {{\boldsymbol{s}}_{ii - 1,0}}} \right\|}_2}} \le T'_i,\\ & \quad i = 1,2, \cdots ,N \end{split} \tag{13c} \begin{split} \qquad\qquad\quad &\frac{1}{{{V_p}}}\left({\sum\limits_{i = 1}^N {\left\| {{{\boldsymbol{s}}_{i,0}} - {{\boldsymbol{s}}_{i - 1,0}}} \right\|} _2} + {\left\| {{{\boldsymbol{s}}_{1,{\rm{end}}}} - {{\boldsymbol{s}}_{N,0}}} \right\|_2}\right)\\ & \quad \le T'_1 \end{split} \tag{13d} \begin{split} \qquad\qquad\quad & \frac{1}{{{V_p}}}({\left\| {{{\boldsymbol{s}}_{i,{\rm{end}}}} - {{\boldsymbol{s}}_{i - 1,{\rm{end}}}}} \right\|_2} \le T'_i - T_{i - 1}',\\ & i = 2,3, \cdots,N \end{split} \tag{13e} \qquad\;\qquad\; {{\boldsymbol{t}}_i} \ge {{{\textit{0}}}},{\text{ }}i = 1,2, \cdots ,N \tag{13f} 注:对收集数据量
{Q_{i,k}} 的计算是以无人机i起飞时刻作为计时起点。而汇合时间T'_i 的计算则是以无人船起始时刻作为计时起点。注意到约束式(13b)为非凸约束,问题(P1)是非凸问题,这使得相关的数学优化相当复杂,为了解决问题(P1),下节介绍一种高效的凸近似方法。3.3.2 连续凸近似
本节考虑一个迭代算法,在第r次迭代中引入下界凹函数
Q_{i,k}^{(r)} ,该函数满足{Q_{i,k}} \ge Q_{i,k}^{(r)} 并在迭代的局部点({\boldsymbol{x}}_i^{(r)},{\boldsymbol{y}}_i^{(r)},{\boldsymbol{t}}_i^{(r)}) 时等式成立。参考文献[16]中的工作,函数\dfrac{{\beta P}}{{n({{({x_i}(t) - {w_{x,k}})}^2} + {{({y_i}(t) - {w_{y,k}})}^2} + {H^2})}} 对{({x_{i,j,m}} - {w_{x,i,k}})^2} + {({y_{i,j,m}} - {w_{y,i,k}})^2} 为凸函数,利用这一性质综合算术不等式,本文在悬停点和飞行段分别进行凸近似:(1)无人机在悬停点
({x_{i,j}},{y_{i,j}}) 对用户k数据卸载量的下界凹近似:\begin{split} {h_{i,k}}({x_{i,j}},{y_{i,j}}){t_{i,j}} \ge & - \frac{1}{2}A_{i,j,k}^{(r)}({({x_{i,j}} - {w_{x,i,k}})^2} \\ & + {({y_{i,j}} - {w_{y,i,k}})^2} + C_{i,j,k}^{(r)}) \\ & - \frac{1}{2}A_{i,j,k}^{(r)}{({t_{i,j}} + D_{i,j,k}^{(r)})^2} \\ &+ A_{i,j,k}^{(r)}C_{i,j,k}^{(r)}{t_{i,j}} \hfill \\ & + B_{i,j,k}^{(r)}{t_{i,j}} + A_{i,j,k}^{(r)}D_{i,j,k}^{(r)}\\ & \cdot[(x_{i.j}^{(r)} - {w_{x,i,k}})\\ & \cdot(2{x_{i,j}} - x_{i,j}^{(r)} - {w_{x,i,k}}) \\ & + ((y_{i.j}^{(r)} - {w_{y,i,k}})\\ & \cdot(2{y_{i,j}} - y_{i,j}^{(r)} - {w_{y,i,k}})] \hfill \\ =& f_{i,j,k}^{(r)}({x_{i,j}},{y_{i,j}},{t_{i,j}}) \end{split}\tag{14a} 其中:
A_{i,j,k}^{(r)} = - {({h_{i,k}}(x_{i,j}^{(r)},y_{i,j}^{(r)}))'}\tag{14b} \begin{split} \qquad\; B_{i,j,k}^{(r)} = & {h_{i,k}}(x_{i,j}^{(r)},y_{i,j}^{(r)}) \\ & + [{(x_{i,j}^{(r)} - {w_{x,i,k}})^2} + {(y_{i,j}^{(r)} - {w_{y,i,k}})^2}]A_{i,j,k}^{(r)} \end{split} \tag{14c} \begin{split} \qquad\; C_{i,j,k}^{(r)} = &\max \{ t_{i,j}^{(r)} - [{(x_{i,j}^{(r)} - {w_{x,i,k}})^2} \\ & + {(y_{i,j}^{(r)} - {w_{y,i,k}})^2}],0\} \end{split} \tag{14d} \begin{split} \qquad\; D_{i,j,k}^{(r)} =& {(x_{i,j}^{(r)} - {w_{x,i,k}})^2} + {(y_{i,j}^{(r)} - {w_{y,i,k}})^2} \\ & + C_{i,j,k}^{(r)} - t_{i,j}^{(r)} \end{split} \tag{14e} f_{i,j,k}^{(r)}({x_{i,j}},{y_{i,j}},{t_{i,j}}) 作为一个多项式,很容易得出该函数为凹函数,该函数值小于等于原函数,当且仅当在局部点(x_{i,j}^{(r)},y_{i,j}^{(r)},t_{i,j}^{(r)}) 时取等。(2)在飞行时间段
({\bar x_{i,j,m}}(t),{\bar y_{i,j,m}}(t)) 内,将该段用取值[0,1]的变量z微分化,轨迹坐标变化为({\bar x_{i,j,m}}(z),{\bar y_{i,j,m}}(z)) ,用户k数据卸载量的下界凹近似为\begin{split} & \int\limits_0^{\frac{{{d_{i,j,m}}}}{V}} {{h_{i,k}}({{\bar x}_{i,j,m}}(t),{{\bar y}_{i,j,m}}(t)} ){\rm{d}}t \\ & \ge - \frac{{E_{i,j,m,k}^{(r)}}}{2}{(h_{i,j,m,k}^{(r)}({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i},{{\boldsymbol{t}}_i}))^2} - \frac{{d_{i,j,m}^2}}{{2E_{i,j,m,k}^{(r)}}} \\ & + \frac{{F_{i,j,m,k}^{(r)}}}{{d_{i,j,m}^{(r)}}}[(x_{i,j,m + 1}^{(r)} - x_{i,j,m}^{(r)})({x_{i,j,m + 1}} - {x_{i,j,m}}) \hfill \\ & + (y_{i,j,m + 1}^{(r)} - y_{i,j,m}^{(r)})(y_{i,j,m + 1}^{} - y_{i,j,m}^{})\\ & \triangleq g_{i,j,m,k}^{(r)}({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i},{{\boldsymbol{t}}_i}) \end{split} \tag{15a} 其中:
\begin{split} h_{i,j,m,k}^{(r)}({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i},{{\boldsymbol{t}}_i}) =& - \frac{1}{V}\int\limits_0^1 {{h_{i,k}}(} \bar x_{i,j,m}^{(r)}(z),\bar y_{i,j,m}^{(r)}(z){)'}\\ & \cdot[{(\bar x_{i,j,m}^{}(z) - {w_{x,i,k}})^2} + (\bar y_{i,j,m}^{}(z) \\ &- {w_{y,i,k}})^2 + {H^2}]{\rm{d}}z \end{split} \tag{15b} E_{i,j,m,k}^{(r)} = \frac{{d_{i,j,m}^{(r)}}}{{h_{i,j,m,k}^{(r)}({\boldsymbol{x}}_i^{(r)},{\boldsymbol{y}}_i^{(r)},{\boldsymbol{t}}_i^{(r)})}} \tag{15c} \begin{split} F_{i,j,m,k}^{(r)} =& \frac{1}{V}\int\limits_0^1 {{h_{i,k}}(} \bar x_{i,j,m}^{(r)}(z),\bar y_{i,j,m}^{(r)}(z))\\ & - {({h_{i,k}}(\bar x_{i,j,m}^{(r)}(z),\bar y_{i,j,m}^{(r)}(z)))'}\\ & \cdot({(\bar x_{i,j,m}^{}(z) - {w_{x,i,k}})^2} \\ & + {(\bar y_{i,j,m}^{}(z) - {w_{y,i,k}})^2}){\rm{d}}z \end{split} \tag{15d} 因为
{(h_{i,j,m,k}^{(r)}({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i},{{\boldsymbol{t}}_i}))^2} 和d_{i,j,m}^2 对({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i},{{\boldsymbol{t}}_i}) 都为凸函数,g_{i,j,m,k}^{(r)}({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i},{{\boldsymbol{t}}_i}) 对变量({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i},{{\boldsymbol{t}}_i}) 为凹函数。通过对悬停点和飞行时间段数据传输量凸近似,在迭代局部点
({\boldsymbol{x}}_{\text{i}}^{(r)},{\boldsymbol{y}}_i^{(r)},{\boldsymbol{t}}_i^{(r)}) ,问题(P4)的可行解({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i},{{\boldsymbol{t}}_i}) 满足:\begin{split} {Q_{i,k}}({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i},{{\boldsymbol{t}}_i}) \ge& \sum\limits_{j = 1}^{{K_i}} {f_{i,j,k}^{(r)}} ({x_{i,j}},{y_{i,j}},{t_{i,j}}) \\ & + \sum\limits_{j = 0}^{{K_i}} {\sum\limits_{m = 1}^N {g_{i,j,m,k}^{(r)}} } ({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i},{{\boldsymbol{t}}_i}) \\ =& Q_{i,k}^{(r)}({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i},{{\boldsymbol{t}}_i}) \end{split} (16) 因此,问题(P1)凸近似后可表述为问题(P2)
({\text{P2}}){\text{ }}\mathop {\min }\limits_{({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i},{{\boldsymbol{t}}_i},T'_i)} {\text{ }}T + \sum\limits_{i = 1}^N {{T_{{i}}}} \tag{17a} \qquad\; {\rm{s.t}}.:{\text{ }}Q_{i,k}^{(r)} \ge {D_{i,k}},{\text{ }}i = 1,2, \cdots ,N;{\text{ }}k = 1,2, \cdots ,{K_i} \tag{17b} \begin{split} \qquad\qquad\quad& {T_i} + \frac{1}{{{V_p}}}\sum\limits_{ii = 1}^i {{{\left\| {{{\boldsymbol{s}}_{ii,0}} - {{\boldsymbol{s}}_{ii - 1,0}}} \right\|}_2}} \le T'_i,\\ & \quad i = 1,2, \cdots ,N \end{split} \tag{17c} \begin{split} \qquad\qquad\quad & \frac{1}{{{V_p}}}({\sum\limits_{i = 1}^N {\left\| {{{\boldsymbol{s}}_{i,0}} - {{\boldsymbol{s}}_{i - 1,0}}} \right\|} _2} \\ & \quad + {\left\| {{{\boldsymbol{s}}_{1,{\rm{end}}}} - {{\boldsymbol{s}}_{N,0}}} \right\|_2}) \le T'_1 \end{split} \tag{17d} \begin{split} \qquad\qquad\quad & \frac{1}{{{V_p}}}({\left\| {{{\boldsymbol{s}}_{i,{\rm{end}}}} - {{\boldsymbol{s}}_{i - 1,{\rm{end}}}}} \right\|_2} \le T'_i - T_{i - 1}',\\ & i = 2,3, \cdots ,N \end{split} \tag{17e} \qquad\qquad\quad {{\boldsymbol{t}}_i} \ge {{{\textit{0}}}},{\text{ }}i = 1,2, \cdots ,N \tag{17f} 该问题即可使用凸优化方法进行高效求解。
3.3.3 轨迹初始化和轨迹迭代算法
无人船初始轨迹为起始点到目标点的直线段,并取该线段2N个均分点作为无人机初始起止点。本文采用文献[17]中介绍的旅行商问题TSP的方法将无人机轨迹初始化为连接所有用户节点的最短路径,令初始悬停点位置为用户位置,悬停点间线段的N等分点为初始转折点,悬停点和转折点构成了初始轨迹点
({\boldsymbol{x}}_i^{(0)},{\boldsymbol{y}}_i^{(0)}) 。而初始悬停时间则通过悬停点对应的用户数据量除以无人机在该用户上方时的数据传输速率确定,由此确定了无人机初始轨迹({\boldsymbol{x}}_i^{(0)},{\boldsymbol{y}}_i^{(0)},{\boldsymbol{t}}_i^{(0)}) 。而根据式(11),初始汇合时间T_i^{(0)} = \displaystyle\sum\nolimits_{j = 1}^{{K_i}} {t_{i,j}^{(0)}} + \frac{1}{{{V_p}}}({\displaystyle\sum\nolimits_{j = 0}^{{K_i}} {\left\| {(x_{i + 1}^{(0)} - x_i^{(0)},y_{i + 1}^{(0)} - y_i^{(0)})} \right\|} _2}) ,根据初始轨迹,在表2中描述了轨迹迭代方法。表 2 轨迹迭代算法初始化 基于TSP初始化轨迹 ({\boldsymbol{x}}_i^{(0)},{\boldsymbol{y}}_i^{(0)},{\boldsymbol{t}}_i^{(0)}) 和汇合时间 T_i^{(0)} ,并设置迭代阈值Ε和迭代次数r=0。 迭代 (1) 在迭代点 ({\boldsymbol{x}}_i^{(r)},{\boldsymbol{y}}_i^{(r)},{\boldsymbol{t}}_i^{(r)}) 对传输数据量凸近似得到 Q_{i,k}^{(r)}({\boldsymbol{x}}_i^{(r)},{\boldsymbol{y}}_i^{(r)},{\boldsymbol{t}}_i^{(r)}) ; (2) 通过解问题(P2)得到优化解 ({\boldsymbol{x}}_i^*,{\boldsymbol{y}}_i^*,{\boldsymbol{t}}_i^*) ,并根据式(11)得到 T_i^* ; (3) 如果总任务时间相对于前一次迭代的时间优化小于Ε,停止迭代; 否则,令 ({\boldsymbol{x}}_i^{(r + 1)},{\boldsymbol{y}}_i^{(r + 1)},{\boldsymbol{t}}_i^{(r + 1)},T_i^{(r + 1)}) = ({\boldsymbol{x}}_i^*,{\boldsymbol{y}}_i^*,{\boldsymbol{t}}_i^*,T_i^*) ,r=r+1,回到步骤(1)。 4. 轨迹仿真
利用计算机对算法进行仿真,系统参数:无人船的出发点为(0, 0),终点为(3000, 3000) m,无人船速度5 m/s,无人机数目为3,飞行高度为30 m,飞行速度为9 m/s,转折点数目为1,用户节点射频功率10 dBW,噪声功率–60 dBW,信道增益为–30 dB,用户数目为15,数据量从0到100的均匀分布中取值,用户随机分布在任务海域中,图6展示了根据聚类算法实现的用户分组效果图。
图7展示了无人机和无人船的联合轨迹,无人船的轨迹为无人机的起止点确定的折线段,无人机轨迹由悬停点和转折点确定。注:考虑到图例数目过多问题,在表述无人机轨迹、悬停点、转折点和起止点时,图例中都用的黑色表示。但在途中用的每架无人机对应的颜色。由于离用户越近,无线传输速率越快,无人机的悬停点趋向于在用户附近分布,可以看出无人机的悬停点几乎与用户位置重合。值得注意的是,放大圈中部分可以发现,虽然悬停点与用户位置距离很近,但两者并不重合,原因如文献[12]所述,无人机的悬停点为原问题拉格朗日方程中对所有用户传输速率总和最大的点,而不是对单一用户传输速率最大的点,因此无人机的悬停点不在用户正上方。
图8比较了不同无人机速度下的轨迹。首先图8(a)和图8(b)左侧大图对两种速度下,轨迹的大致形状进行比较。无人机速度改变时,轨迹的大致形状并不发生变化,无人机的悬停点依然在用户附近,这是因为考虑对具体某个用户的数据传输速率,无人机总是倾向于在该用户附近悬停,改变无人机的速度并不会导致轨迹发生巨大变化。图8(a)和图8(b)右侧小图对不同速度下的局部轨迹进行比较。无人机速度越大,悬停点的位置越靠近用户。这是因为在一定的任务时间内,增加无人机的速度能增加无人机向用户的位移。因此,可以通过增加无人机的速度使无人机悬停点更靠近用户,在悬停点获得对该用户更大的数据传输速率,但注意,在该悬停点其他用户的数据传输速率不一定增加,因此整个任务时间不一定减小,图9体现了这一变化趋势。
图9给出本算法与TSP方法的性能对比,TSP方法通过求解旅行商问题获得通过所有用户节点的最短路径,并在此基础上优化无人机在用户上方的悬停时间。无人机和无人船任务时间分别随无人机速度变化如图9(a)所示,随着无人机速度增加,本算法下无人机和无人船的任务时间波动下降,基于TSP算法的无人机和无人船的任务时间线性下降,并且本算法无人机的任务时间小于TSP算法无人机的任务时间,而两种算法无人船的任务时间几乎一致。TSP方法优化过程中,无人机与无人船轨迹不变,只优化无人机悬停时间的情况下,问题为凸优化问题所求的即是该方案下的最优解,因此任务时间与无人机速度呈现线性关系,而由于本算法在求解过程中采用了连续凸近似的方法,最终获得的联合轨迹为该方案下的一个次优解,因此任务时间与无人机的速度并不呈现线性关系,这并非为算法稳定性差所致。由于本算法同时优化无人机轨迹和悬停时间,比TSP方法更接近于全局最优解,因此本方法下无人机的任务时间远小于TSP方法下无人机的任务时间。由于TSP方法下无人船的轨迹比本方法短,因此无人船的运动时间比本方法短,但由于TSP方法下无人机的任务时间更长,无人船的等待时间更长,因此两种方法下无人船的任务时间相差不大。图9(b)展示了总任务时间与无人机速度的关系,本算法的任务时间随无人机速度变化虽然存在波动,但明显优于TSP优化方法。
5. 结束语
本文考虑了一个无人机集群与无人船平台联合数据收集系统,在无人机最大速度限制下研究了一个旨在最小化任务时间的联合轨迹设计问题。本文首先考虑到用户任务分配问题,通过分组算法k-means进行用户分组。其次,本文描述了无人机轨迹的2维结构,在此基础上引入SHF结构,将连续时间上无限个轨迹点的优化问题转化为有限悬停点和转折点的求解问题。在此基础上,将原问题重构为一个低复杂度的问题。并引入连续凸近似的方法将非凸问题转化为可高效求解的凸问题。最后通过仿真验证了本方法的有效性。值得一提的是,虽然本文研究的是海洋数据收集场景下的无人机和无人船的轨迹,所提出的无人船(或移动补给台)与无人机的联合轨迹设计思想、问题解构和子问题求解方法都可以拓展到其他(如无线能量传输等)需要无人集群协同工作的联合轨迹设计问题。值得注意的是,在无线能量传输场景下为无人机向空间辐射射频能量,而本文考虑的无线数据收集场景为用户上行传输数据,但在轨迹设计层面两者的实质都相同,无人机的最优轨迹都满足连续悬停飞行结构。
-
表 1 工人活动任务
编号 任务 活动 1 从工具箱中拿出工具 GT 2 在板上钉4颗钉子 HN 3 使用电钻拧紧10颗螺丝 UP 4 喝水15 s DW 5 使用螺丝刀拧紧10颗螺丝 TS 6 使用卷尺 UT 表 2 工人的行为数据集样本分布
自愿者编号 GT HN UP DW TS UT 1 39 27 25 18 28 41 2 21 35 15 24 17 32 3 25 20 37 31 33 35 4 31 30 18 29 46 29 合计 116 112 95 102 124 137 表 3 在工人数据集和其他有竞争力的方法进行比较(%)
表 4 在NTU-RGBD数据集上和其他有竞争力的方法进行比较(%)
方法 X-Sub X-View Lie Group [4] 50.10 82.80 Deep LSTM [23] 60.70 67.30 ARRN-LSTM [10] 80.70 88.80 nd-RNN [11] 81.80 88.00 TCN [13] 74.30 83.10 Clips+CNN+MTLN [14] 79.60 84.80 Synthesized CNN [15] 80.00 87.20 CNN+Motion+Trans [16] 83.20 89.30 ST-GCN [18] 81.50 88.30 Shift-GCN [12] 90.70 96.50 MSST-Net [9] 86.60 92.80 DPRL+GCNN [19] 83.50 89.80 本文模型 85.95 91.85 表 5 在Skeleton-Kinetics数据上和其他有竞争力的方法进行比较(%)
表 6 比较Transformer的各个组件对工人动作识别精度(%)的影响
方法 Top-1 Top-5 MHA 38.28 40.95 MHA+FFN 54.67 62.61 MHA+FFN+PE 76.68 87.88 GCN+FFN+PE 70..53 81.37 AGCN+FFN+PE 75.42 86.68 ST-GCN+Transformer 87.61 92.91 STA-GCN+Transformer 90.91 97.21 -
[1] 石跃祥, 朱茂清. 基于骨架动作识别的协作卷积Transformer网络[J]. 电子与信息学报, 2023, 45(4): 1485–1493. doi: 10.11999/JEIT220270.SHI Yuexiang and ZHU Maoqing. Collaborative convolutional transformer network based on skeleton action recognition[J]. Journal of Electronics & Information Technology, 2023, 45(4): 1485–1493. doi: 10.11999/JEIT220270. [2] GEDAMU K, JI Yanli, GAO Lingling, et al. Relation-mining self-attention network for skeleton-based human action recognition[J]. Pattern Recognition, 2023, 139: 109455. doi: 10.1016/j.patcog.2023.109455. [3] GUO Hongling, ZHANG Zhitian, YU Run, et al. Action recognition based on 3D skeleton and LSTM for the monitoring of construction workers’ safety harness usage[J]. Journal of Construction Engineering and Management, 2023, 149(4): 04023015. doi: 10.1061/JCEMD4.COENG-12542. [4] VEMULAPALLI R, ARRATE F, and CHELLAPPA R. Human action recognition by representing 3D skeletons as points in a lie group[C]. 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014: 588–595. doi: 10.1109/CVPR.2014.82. [5] HEDEGAARD L, HEIDARI N, and IOSIFIDIS A. Continual spatio-temporal graph convolutional networks[J]. Pattern Recognition, 2023, 140: 109528. doi: 10.1016/j.patcog.2023.109528. [6] YU B X B, LIU Yan, ZHANG Xiang, et al. Mmnet: A model-based multimodal network for human action recognition in RGB-D videos[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(3): 3522–3538. doi: 10.1109/TPAMI.2022.3177813. [7] SHI Lei, ZHANG Yifan, CHENG Jian, et al. Decoupled spatial-temporal attention network for skeleton-based action-gesture recognition[C]. The 15th Asian Conference on Computer Vision, Kyoto, Japan, 2021. doi: 10.1007/978-3-030-69541-5_3. [8] 陈莹, 龚苏明. 改进通道注意力机制下的人体行为识别网络[J]. 电子与信息学报, 2021, 43(12): 3538–3545. doi: 10.11999/JEIT200431.CHEN Ying and GONG Suming. Human action recognition network based on improved channel attention mechanism[J]. Journal of Electronics & Information Technology, 2021, 43(12): 3538–3545. doi: 10.11999/JEIT200431. [9] CHENG Qin, REN Ziliang, CHENG Jun, et al. Skeleton-based action recognition with multi-scale spatial-temporal convolutional neural network[C]. 2021 IEEE International Conference on Real-time Computing and Robotics, Xining, China, 2021: 957–962. doi: 10.1109/RCAR52367.2021.9517665. [10] LI Lin, ZHANG Wu, ZHANG Zhaoxiang, et al. Skeleton-based relational modeling for action recognition[J]. arXiv preprint arXiv: 1805.02556, 2018. [11] LI Shuai, LI Wangqiang, COOK C, et al. Independently recurrent neural network (IndRNN): Building a longer and deeper RNN[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 5457–5466. doi: 10.1109/CVPR.2018.00572. [12] CHENG Ke, ZHANG Yifan, HE Xiangyu, et al. Skeleton-based action recognition with shift graph convolutional network[C]. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, USA, 2020: 183–192. doi: 10.1109/CVPR42600.2020.00026. [13] KIM T S and REITER A. Interpretable 3D human action analysis with temporal convolutional networks[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops, Honolulu, USA, 2017: 1623–1631. doi: 10.1109/CVPRW.2017.207. [14] KE Q H, BENNAMOUN M, AN S J, et al. A new representation of skeleton sequences for 3D action recognition[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 3288–3297. doi: 10.1109/CVPR.2017.486. [15] LIU Mengyuan, LIU Hong, and CHEN Chen. Enhanced skeleton visualization for view invariant human action recognition[J]. Pattern Recognition, 2017, 68: 346–362. doi: 10.1016/j.patcog.2017.02.030. [16] DU Yong, FU Yun, and WANG Liang. Skeleton based action recognition with convolutional neural network[C]. 2015 3rd IAPR Asian Conference on Pattern Recognition, Kuala Lumpur, Malaysia, 2015: 579–583. doi: 10.1109/ACPR.2015.7486569. [17] DUAN Haodong, ZHAO Yue, CHEN Kai, et al. Revisiting skeleton-based action recognition[C]. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, USA, 2022: 2969–2978. doi: 10.1109/CVPR52688.2022.00298. [18] YAN Sijie, XIONG Yuanjun, and LIN Dahua. Spatial temporal graph convolutional networks for skeleton-based action recognition[C]. The Thirty-Second AAAI Conference on Artificial Intelligence and Thirtieth Innovative Applications of Artificial Intelligence Conference and Eighth AAAI Symposium on Educational Advances in Artificial Intelligence, New Orleans, USA, 2018: 912. [19] TANG Yansong, TIAN Yi, LU Jiwen, et al. Deep progressive reinforcement learning for skeleton-based action recognition[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 5323–5332. doi: 10.1109/CVPR.2018.00558. [20] BASAK H, KUNDU R, SINGH P K, et al. A union of deep learning and swarm-based optimization for 3D human action recognition[J]. Scientific Reports, 2022, 12(1): 5494. doi: 10.1038/s41598-022-09293-8. [21] CAO Zhe, SIMON T, WEI S E, et al. Realtime multi-person 2D pose estimation using part affinity fields[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 7291–7299. doi: 10.1109/CVPR.2017.143. [22] CHEN Yuxin, ZHANG Ziqi, YUAN Chunfeng, et al. Channel-wise topology refinement graph convolution for skeleton-based action recognition[C]. 2021 IEEE/CVF International Conference on Computer Vision, Montreal, Canada, 2021: 13359–13368. doi: 10.1109/ICCV48922.2021.01311. [23] SHAHROUDY A, LIU Jun, NG T T, et al. NTU RGB+d: A large scale dataset for 3D human activity analysis[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 1010–1019. doi: 10.1109/CVPR.2016.115. [24] SEIDENARI L, VARANO V, BERRETTI S, et al. Recognizing actions from depth cameras as weakly aligned multi-part bag-of-poses[C]. 2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops, Portland, USA, 2013: 479–485. doi: 10.1109/CVPRW.2013.77. [25] SLAMA R, WANNOUS H, DAOUDI M, et al. Accurate 3D action recognition using learning on the Grassmann manifold[J]. Pattern Recognition, 2015, 48(2): 556–567. doi: 10.1016/j.patcog.2014.08.011. [26] SHI Lei, ZHANG Yifan, CHENG Jian, et al. Skeleton-based action recognition with multi-stream adaptive graph convolutional networks[J]. IEEE Transactions on Image Processing, 2020, 29: 9532–9545. doi: 10.1109/TIP.2020.3028207. [27] STIEFMEIER T, ROGGEN D, OGRIS G, et al. Wearable activity tracking in car manufacturing[J]. IEEE Pervasive Computing, 2008, 7(2): 42–50. doi: 10.1109/MPRV.2008.40. [28] WANG Limin, XIONG Yuanjun, WANG Zhe, et al. Temporal segment networks: Towards good practices for deep action recognition[C]. The 14th European Conference on Computer Vision, Amsterdam, The Netherlands, 2016: 20–36. doi: 10.1007/978-3-319-46484-8_2. [29] JIANG Wenchao and YIN Zhaozheng. Human activity recognition using wearable sensors by deep convolutional neural networks[C]. The 23rd ACM international conference on Multimedia, Brisbane, Australia, 2015: 1307–1310. doi: 10.1145/2733373.2806333. [30] TAO Wenjin, LEU M C, and YIN Zhaozheng. Multi-modal recognition of worker activity for human-centered intelligent manufacturing[J]. Engineering Applications of Artificial Intelligence, 2020, 95: 103868. doi: 10.1016/j.engappai.2020.103868. [31] SONG Yifan, ZHANG Zhang, SHAN Caifeng, et al. Constructing stronger and faster baselines for skeleton-based action recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(2): 1474–1488. doi: 10.1109/TPAMI.2022.3157033. 期刊类型引用(13)
1. 王晓路,汶建荣. 基于运动-时间感知的人体动作识别方法. 计算机工程. 2025(01): 216-224 . 百度学术
2. 宋永坤,晏天兴,张可,刘显,戴永鹏,金添. 基于点云时空特征的超宽带雷达轻量化人体行为识别方法. 雷达学报(中英文). 2025(01): 1-15 . 百度学术
3. 石东子,林宏辉,刘一江,张鑫. 面向骨架手势识别的全局时空可变形网络. 电子科技大学学报. 2024(01): 60-66 . 百度学术
4. 曹毅,吴伟官,张小勇,夏宇,高清源. 基于自校准机制的时空采样图卷积行为识别模型. 工程科学学报. 2024(03): 480-490 . 百度学术
5. 谢文武,袁婷,张海洋,李敏,李桂林,李中年. 基于智能反射表面的单站智能定位算法研究. 无线电工程. 2024(03): 557-564 . 百度学术
6. 刘斌斌,赵宏涛,王田,杨艺. 用于骨架行为识别的时空卷积Transformer网络. 电子测量技术. 2024(01): 169-177 . 百度学术
7. 陈迪,李焱芳,毕卫云,李朗,蒲珊珊. 基于视频时空特征提取分类的动作分析评估模型. 现代电子技术. 2024(08): 160-164 . 百度学术
8. 童立靖,冯金芝,英溢卓,曹楠. 基于图卷积与规则匹配的单兵动作识别. 北方工业大学学报. 2024(01): 12-19 . 百度学术
9. 卢先领,杨嘉琦. 时空关联的Transformer骨架行为识别. 信号处理. 2024(04): 766-775 . 百度学术
10. 龚成张,严云洋,卞苏阳,祝巧巧,冷志超. 基于Fast-CAANet的火焰检测方法. 南京师大学报(自然科学版). 2024(02): 109-116 . 百度学术
11. 韩宗旺,杨涵,吴世青,陈龙. 时空自适应图卷积与Transformer结合的动作识别网络. 电子与信息学报. 2024(06): 2587-2595 . 本站查看
12. 陈斌,樊飞燕,陆天易. 骨骼双流注意力增强图卷积人体姿态识别. 南京师范大学学报(工程技术版). 2024(04): 57-67 . 百度学术
13. 曹毅 ,吴伟官 ,李平 ,夏宇 ,高清源 . 基于时空特征增强图卷积网络的骨架行为识别. 电子与信息学报. 2023(08): 3022-3031 . 本站查看
其他类型引用(7)
-