一种基于深度学习的自适应医学超声图像去斑方法

付晓薇; 杨雪飞; 陈芳; 李曦

doi:10.11999/JEIT190580

一种基于深度学习的自适应医学超声图像去斑方法

doi: 10.11999/JEIT190580

付晓薇^{1, 2, 3, ,},
杨雪飞^{1, 2},
陈芳⁴,
李曦⁵

1.
武汉科技大学计算机科学与技术学院武汉 430065
2.
智能信息处理与实时工业系统湖北省重点实验室武汉 430065
3.
华中科技大学材料成形与模具技术国家重点实验室武汉 430074
4.
武汉科技大学校医院超声影像科武汉 430065
5.
华中科技大学人工智能与自动化学院武汉 430074

基金项目: 国家自然科学基金(61873323)，材料成形与模具技术国家重点实验室开放课题研究基金(P2018-016)，湖北省自然科学基金(2017CFB506)，智能信息处理与实时工业系统湖北省重点实验室开放课题项目(2016znss02A, znxx2018ZD01)，大学生科技创新基金项目(18ZRA076)

详细信息

作者简介:
付晓薇：女，1977年生，教授，研究方向为图像处理、计算机视觉、信号处理与分析

杨雪飞：女，1994年生，硕士生，研究方向为图像处理、深度学习

陈芳：女，1972年生，研究方向为肌骨超声图像的调节

李曦：男，1977年生，教授，研究方向为计算机应用，复杂非线性系统的建模和控制

通讯作者:
付晓薇　fxw_wh0409@wust.edu.cn

中图分类号: TN911.73
计量
- 文章访问数: 3682
- HTML全文浏览量: 1521
- PDF下载量: 165
- 被引次数: 8
出版历程
- 收稿日期: 2019-07-31
- 修回日期: 2020-03-18
- 网络出版日期: 2020-04-11
- 刊出日期: 2020-07-23

An Adaptive Medical Ultrasound Images Despeckling Method Based on Deep Learning

Xiaowei FU^{1, 2, 3
, ,},
Xuefei YANG^{1, 2},
Fang CHEN⁴,
Xi LI⁵

1.
College of Computer Science and Technology, Wuhan University of Science and Technology, Wuhan 430065, China
2.
Key Laboratory of Intelligent Information Processing and Real-time Industrial System, Wuhan 430065, China
3.
State Key Laboratory of Materials Processing and Die & Mould Technology, Huazhong University of Science and Technology, Wuhan 430074, China
4.
Department of Ultrasound and Imaging, Wuhan University of Science and Technology Hospital, Wuhan 430065, China
5.
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology, Wuhan 430074, China

Funds: The National Natural Science Foundation of China (61873323), The Open Fund Project of State Key Laboratory of Material Processing and Die & Mould Technology (P2018-016), The Natural Science Foundation of Hubei Provincial (2017CFB506), The Open Fund Project of Hubei Province Key Laboratory of Intelligent Information Processing and Real-time Industrial System (2016znss02A, znxx2018ZD01), The University Student Science and Technology Innovation Fund Project (18ZRA076)

摘要

摘要:
针对传统医学超声图像去斑方法的不足，该文提出一种自适应多曝光融合框架和前馈卷积神经网络模型图像去斑方法。首先，制作超声图像训练数据集；然后，提出一种自适应增强因子的多曝光融合框架，增强图像进行有效特征提取；最后，通过网络训练去斑模型并获得去斑后的图像。实验结果表明，该文较已有的方法，能更有效地滤除医学超声图像中的斑点噪声并更多的保留图像细节。
- 超声图像 /
- 深度学习 /
- 多曝光融合框架 /
- 乘性斑点噪声
Abstract:
Considering the shortage of traditional medical ultrasound image despeckle methods, an adaptive multi-exposure fusion framework and feedforward convolutional neural network model image despeckle method is proposed. Firstly, an ultrasound image training data set is produced. Then, a multi-exposure fusion framework with adaptive enhancement factors is proposed to enhance the image for effective feature extraction.Finally, a speckle model is trained through the network and a speckle image is obtained. Experimental results show that, compared with the existing methods, this paper can more effectively remove speckle noise in medical ultrasound images and retain more image details.
- Ultrasound image /
- Deep learning /
- Multi-exposure fusion framework /
- Multiplicative speckle noise

HTML全文

1. 引言

无人驾驶飞机(Unmanned Aerial Vehicle, UAV)简称无人机，在近十年内得到巨大的发展，其商业价值预计在2025年飙升到45.8亿美元^[1]。无人机自身具有高移动性、机动性、体积小以及成本低等特点，使其在无线通信方面引起了广泛的关注。无人机融入无线通信网络的方式分为以下3类。第一，无人机作为空中基站为无线蜂窝网络补充覆盖和提升容量^[2]，或者在发生大范围自然灾害时快速适应环境为地面用户提供应急通信^[3]。第二，无人机作为辅助中继改善地面无线设备的连接，极大地扩宽通信范围以及提高通信质量^[4]。第三，将无人机接入到物联网中提供可靠和节能的物联网上行通信链路，物联网网络的连通性和能源效率可以显著提高^[5]。

本文主要研究上述第1类应用方式，即无人机作为空中基站为地面用户提供无线通信服务。通常地面基站的部署建设是根据长期通信行为来统筹规划的，可能无法满足短时间人群聚集(例如演唱会等)的通信需求和无法适应未来的通信环境变化。相比于传统地面的基站，无人机基站的机动性带来明显的优势，能够灵活便捷地调整位置适应通信需求和为流量热点区域提供额外的网络负载能力^[6]。为了充分发挥无人机的机动性潜能，适当的轨迹优化可以减小无人机基站与地面用户之间的距离从而改善信道质量，这对提高通信网络的性能至关重要。文献[7]通过优化无人机的飞行轨迹以及资源分配从而实现高效节能的通信。文献[8]从多无人机的角度出发，考虑了各个无人机与多地面用户之间的干扰，通过优化多无人机的飞行轨迹实现吞吐量最大化。文献[9]研究了在无人机支持的多链路中继系统中，联合优化无人机的3维飞行轨迹和发射功率，抑制链路中的干扰以达到下界吞吐量最大化。以上文献中无人机飞行轨迹优化采用的算法都是属于离线优化算法，即根据通信环境的完美假设，在无人机起飞之前通过复杂的计算、优化设计得到无人机的飞行轨迹，并且起飞之后无法改变飞行轨迹。然而在实际中，通信环境是不断变化的，无法提前预测的，通信环境的完美假设是不切实际的。离线优化算法首先需要建立精确的通信模型，建模之后的参数配置也是难以获取的，即使模型和相关参数是已知的，大多数无线通信的优化问题都是非凸的，通常需要复杂的运算和推导将其转化成凸问题^[10]。

为了克服这些局限性，文献[11,12]分别讨论了将强化学习中的算法应用于无人机通信方面的可能性，将无人机的飞行轨迹优化看作路径规划问题，其目标是在随机的飞行环境中最大化特定的累计奖励指标^[13]。文献[11]研究了多无人机基站协作通信的场景，以最大化地面用户的通信速率之和为目标，提出了基于强化学习Q-Learning算法的多无人机飞行轨迹优化。文献[12]提出了一种基于体验质量(Quality of Experience, QoE)驱动的多无人机3维部署与飞行轨迹设计新框架。目前已有研究工作开始将强化学习算法应用于解决无人机的飞行路线优化问题，但是关注无人机基站的通信时延和能效问题的研究不多。同时多播通信方式能够在公共安全、应急响应以及智能交通等应用方面减轻无线通信网络的负载和提高通信效率，因此研究无人机基站多播通信系统很有必要^[14]。

本文研究了无人机基站多播通信系统中通信时延问题，在该系统中无人机基站向多个地面用户同时发送公共信息，其中每次通信任务中地面用户的位置是随机的。首先建立系统模型，为了保证地面用户能够接收到完整的信息以及减少无人机的能量消耗，以最小化通信任务平均完成时间为目标，对无人机基站飞行路线在线优化问题进行数学描述。然后将问题转化成马尔可夫决策过程，采用强化学习中的Q-Learning算法实现飞行路线在线优化。最后通过仿真验证本文提出的飞行路线在线优化算法的有效性。

2. 系统模型

如图1所示，本文考虑一个无人机基站多播通信系统，其中包括一个无人机和 $K$ 个地面用户^①。无人机作为空中通信基站为矩形区域内的 $K$ 个地面用户提供多播通信服务和发送公共信息。无人机地面用户可表示集合 ${\mathcal{K}} = \left\{ {1, 2,\cdots ,K} \right\}$ ，地面用户的位置可用2维坐标表示为 ${q_k} = \left( {{x_k},{y_k}} \right)$ 。假设无人机的飞行高度固定在 $H{\text{ m}}$ ，无人机在 $t$ 时刻的地面投影位置的坐标可表示为 $q\left( t \right) = \left( {x\left( t \right),y\left( t \right)} \right)$ ，无人机在飞行过程的飞行速度固定在 $V{\text{ m/s}}$ 。本文采用FDMA(Frequency Division Multiple Access)通信方式，无人机基站与地面用户的信道数量为 $J$ ，即无人机基站可同时向 $J$ 个地面用户发送公共信息，且无人机基站与各个地面用户的通信链路之间不存在干扰。同时通信的 $J$ 个地面用户可用集合表示为 $\mathcal{J} =$ $\left\{ {1,2, \cdots ,J} \right\},\mathcal{J} \in \mathcal{K}$ ，其位置坐标为 ${q_j} = \left( {{x_j},{y_j}} \right),j \in {\mathcal{J}}$ 。因此无人机基站与地面用户 $j$ 的距离可表示为

图 1 无人机基站多播通信系统

下载: 全尺寸图片幻灯片

${d_j}\left( t \right) = \sqrt {{H^2} + {{\left\| {q\left( t \right) - {q_j}} \right\|}^2}}$

(1)

假设地面用户和无人机基站之间的信道由视距信道^[15]主导^②，无人机的移动性所导致的多普勒效应能够被地面用户的接收机有效补偿，因此无人机基站与地面用户 $j$ 的信道增益为

${h_j}\left( t \right) = {\beta _0}d_j^{ - 2}\left( t \right){\text{ = }}\frac{{{\beta _0}}}{{{H^2} + {{\left\| {q\left( t \right) - {q_j}} \right\|}^2}}}$

(2)

其中， ${\beta _0}$ 为参考距离为 $1{\text{ m}}$ 的信道增益。假设无人机基站与每个地面用户的信道带宽为 $B$ ，噪声为 ${\sigma ^2}$ ，无人机基站与地面用户 $j$ 的瞬时通信传输速率可表示为

${R_j}\left( t \right) = B{\log _2}\left( {1 + \frac{{{\gamma _0}}}{{{H^2} + {{\left\| {q\left( t \right) - {q_j}} \right\|}^2}}}} \right)$

(3)

其中， ${\gamma _0}{\text{ = }}\dfrac{{{P_j}{\beta _0}}}{{{\sigma ^2}}}$ , ${P_j}$ 为无人机基站与地面用户 $j$ 的通信的发射功率。

3. 飞行路线在线优化算法

3.1 问题描述

为了保证地面用户能够接收到完整的文件信息以及考虑到无人机的能量有限性，本文以最小化无人机基站完成通信任务的平均时间为目标。无人机每次通信任务中所服务的地面用户是随机的，因此在线优化无人机的飞行路线很有必要。本文主要考察飞行路线对通信性能的影响，因此暂时不考虑无人机基站的能耗，假设飞行时间足够长。无人机基站在第 $m$ 次通信任务中需同时给 $J$ 个地面用户传输文件信息，且与每个地面用户传输文件信息量为 $L$ bit。当无人机基站完成第 $m$ 次通信任务中所有地面用户所需的信息量之后，才能开始进行第 $m + 1$ 次通信任务，为另外 $J$ 个地面用户发送公共文件信息。换句话说，无人机基站同时与 $J$ 个地面用户通信，其中通信时延最大的地面用户的通信任务完成时，其他的地面用户的通信任务已完成。将无人机基站完成第 $m$ 次通信任务的时间表示为 ${T_m} = \max \left\{ {{T_{m,1}},{T_{m,2}}, \cdots ,{T_{m,j}}} \right\}$ ， ${T_{m,j}}$ 表示无人机基站第 $m$ 次通信任务中与第 $j$ 个地面用户的通信时延。无人机基站在第 $m$ 次通信任务中与第 $j$ 个地面用户的通信速率可用 ${R_{m,j}}$ 表示，在第 $m$ 次通信任务中，无人机基站需与每个地面用户传输 $L$ bit信息量可表示为

$\int\limits_0^{{T_{m,j}}} {{R_{m,j}}\left( t \right){\rm{d}}t \ge L,} \forall j \in J,m \in \left\{ {1,2, \cdots ,M} \right\}$

(4)

无人机基站多播通信系统中的飞行路线在线优化问题可表示成P1

${\rm{P}}1: \mathop {\min }\limits_{\left\{ {{q_m}\left( t \right)} \right\}} {\text{ }}{{ D = }}\frac{{\displaystyle\sum\nolimits_{m = 1}^M {{T_m}} }}{M}$

(5)

$\begin{split} & {\text{s}}{\text{.t}}{\text{.}} \int_0^{{T_{m,j}}} {{R_{m,j}}\left( t \right){\rm{d}}t \ge L} ,\forall j \in J,m \in \left\{ {1,2, \cdots ,M} \right\}, \\ & \quad\;\; {X_{\min }} \le {x_m}\left( t \right) \le {X_{\max }},\forall m \in \left\{ {1,2, \cdots ,M} \right\}, \end{split}$

(6)

$\quad\;\; {Y_{\min }} \le {y_m}\left( t \right) \le {Y_{\max }},\forall m \in \left\{ {1,2, \cdots ,M} \right\},$

(7)

$\quad\;\; 0 \le \left\| {{{q'}_m}\left( t \right)} \right\| \le {V_{\max }},\forall m \in \left\{ {1,2, \cdots ,M} \right\}$

(8)

式(5)为目标函数，表示无人机基站完成 $M$ 次通信任务的平均完成时间最小化；式(6)和式(7)为无人机基站的飞行范围约束；式(8)表示对无人机飞行速率的约束，其中 ${q'_m}\left( t \right)$ 表示无人机在第 $m$ 次通信任务中 $t$ 时刻的飞行速率。

3.2 强化学习概述

强化学习具有高效的自我学习能力，可用于解决无人机通信网络中的优化问题。因此本文将采用强化学习中的算法对无人机基站的飞行路线进行在线优化，接下来将介绍强化学习的理论知识。强化学习以交互目标为导向，将智能体置身于环境中并与其进行交互，在此情境中，给智能体所选择的动作赋予奖赏，以智能体在交互过程中所得到的累计奖赏最大化为目标从而指导其行为^[16]。强化学习中的大多数问题都可以转化成马尔可夫决策过程(Markov Decision Process, MDP)，因此马尔可夫决策过程是强化学习的基础理论。MDP的基本框架为 $\left( {\mathcal{S},\mathcal{A},\mathcal{R}} \right)$ ，每个离散时刻 $t$ 可以观察到智能体的状态为 ${S_t} \in \mathcal{S}$ ，然后在此状态上选择并执行一个动作 ${A_t} \in \mathcal{A}\left( s \right)$ 。环境会对智能体所选择的动作进行反馈，然后智能体会接收到一个数值化的即时奖赏 ${R_{t + 1}} \in \mathcal{R} \subset \mathbb{R}$ ，并进入一个新的状态 ${S_{t + 1}}$ 。由这一系列状态和动作构成了智能体的策略 $\pi$ ^[17]。强化学习的目标是最大化长期交互过程中累计奖赏 ${G_t}{\text{ = }}\displaystyle\sum\nolimits_{k = 0}^\infty {{\gamma ^k}{R_{t + k + 1}}}$ ，将 ${G_t}$ 定义为回报，其中 $\gamma$ 是一个参数， $0 \le \gamma \le 1$ ，称为折扣率。折扣率表示智能体此时采取的动作对未来时刻的奖赏的影响效果，当 $\gamma = 0$ 时表示智能体的动作只能影响当前的奖赏，不能对接下来的交互过程所得到奖赏产生影响，相反， $\gamma$ 越接近1，表示智能体此时选择的动作对接下来的交互过程的影响越大。为了使回报 ${G_t}$ 最大化，可采用动作价值函数对当前采取策略下的“状态-动作”估计其“价值”。动作价值函数定义为智能体根据策略 $\pi$ ，从状态 $s$ 开始，执行动作 $a$ 之后，所有可能的决策序列的回报期望值，可表示为

$\begin{split} {Q_\pi }\left( {s,a} \right) & = {\mathbb{E}_\pi }\left[ {{G_t}\left| {{S_t} = s,{A_t} = a} \right.} \right] \\ & = {\mathbb{E}_\pi }\left[ {\sum\limits_{k = 0}^\infty {{\gamma ^k}{R_{t + k + 1}}\left| {{S_t} = s,{A_t} = a} \right.} } \right] \end{split}$

(9)

解决一个强化学习问题意味对其找到一个最优策略，其对应的最优动作价值函数可写成

$\begin{split} &{Q_*}\left( {s,a} \right) \doteq \mathop {\max }\limits_\pi {q_\pi }\left( {s,a} \right) \\ & \qquad= \mathbb{E}\left[ {{R_{t{\text{ + }}1}}{\text{ + }}\gamma \mathop {\max }\limits_{a'} {q_*}\left( {{S_{t + 1}},a'} \right)\left| {{S_t} = s,{A_t} = a} \right.} \right] \end{split}$

(10)

接下来把P1问题进行离散化，将其转化成一个MDP。首先将无人机基站在第 $m$ 次通信任务中与第 $j$ 个地面用户通信的完成通信任务的时间 ${T_{m,j}}$ 进行离散化，可表示为 ${T_{m,j}} = {N_{m,j}}{\delta _t}$ ，则无人机基站完成第 $m$ 次通信任务的时间离散为 ${T_m} =$ ${N_m} \times {\delta _t}$ ，其中 ${N_m} = \max \left\{ {{N_{m,1}},{N_{m,2}}, \cdots ,{N_{m,j}}} \right\}$ 。假设时隙 ${\delta _t}$ 需要足够小，使其在这段时间内可以将无人机基站的通信速率 ${R_{j,m}}\left[ n \right]$ 看作保持不变。无人机的飞行路线 ${q_m}\left( t \right)$ 可离散成 ${q_m}\left[ n \right] = {q_m}\left( {n{\delta _t}} \right)$ ，以及飞行速度 ${q'_m}\left( t \right)$ 可离散表示为 ${q'_m}\left[ n \right] = {q'_m}\left( {n{\delta _t}} \right)$ 。因此问题P1可改写为P2

${\rm{P}}2: \mathop {\min }\limits_{\left\{ {{q_m}\left[ n \right]} \right\}} {\text{ }}N{\text{ = }}\frac{{\displaystyle\sum\nolimits_{m = 1}^M {{N_m}} }}{M}$

(11)

${\text{s}}{\text{.t}}{\text{.}} \sum\limits_{n = 1}^{{N_{m,j}}} {{R_{m,j}}\left[ n \right] \cdot {\delta _t} \ge L,\forall j \in {\mathcal{J}},m \in \left\{ {1,2, \cdots ,M} \right\}}$

(12)

$\quad\;\; {X_{\min }} \le {x_m}\left[ n \right] \le {X_{\max }},\forall m \in \left\{ {1,2, \cdots ,M} \right\}$

(13)

$\quad\;\;{Y_{\min }} \le {y_m}\left[ n \right] \le {Y_{\max }},\forall m \in \left\{ {1,2, \cdots ,M} \right\}$

(14)

$\quad\;\; 0 \le \left\| {{{q'}_m}\left[ n \right]} \right\| \leq {V_{\max }},\forall m \in \left\{ {1,2, \cdots ,M} \right\}$

(15)

式(11)—式(15)为问题P1的离散形式。问题P2所对应的MDP的描述如下：

状态：把无人机基站的位置坐标设置为状态。无人机基站的可飞行的矩形范围 $\left[ {{X_{\min }},{X_{\max }}} \right] \times \left[ {Y_{\min }},$ ${Y_{\max }} \right]$ 分割成 $I \times I$ 个格子，其中 $I = \dfrac{{{X_{\max }} - {X_{\min }}}}{{{V_{\max }}{\delta _t}}}$ ，保证无人机基站在每个格子内通信传输速率可以看作保持不变。将状态的位置坐标用格子中心来表示，则在X轴上第 ${k_1}$ 时隙、Y轴上第 ${k_2}$ 时隙的格子位置坐标可表示为 $\left( {{x_{{k_1}}},{y_{{k_2}}}} \right) = \left( {X_{\min }} + \dfrac{{\left( {{X_{\max }} - {X_{\min }}} \right)}}{I}$ $\times ({k_1} - 1), {Y_{\min }} + \dfrac{{\left( {{Y_{\max }} - {Y_{\min }}} \right)}}{I} \times ({k_2} - 1) \right)$ 。

动作：无人机基站的动作集合包括5个动作：向东、向西、向南、向北以及保持当前位置不动。

奖赏：定义为无人机基站在进行通信任务时，当前 $J$ 个地面用户的通信传输速率中的最小值^③，可表示为

${r_m}\left[ n \right] = \min \left\{ {\left. {\frac{{\displaystyle\sum\limits_{n = 1} {{R_{m,j}}\left[ n \right]} \cdot {\delta _t}}}{L} \cdot {R_{m,j}}\left[ n \right]} \right|j \in {\mathcal{J}}} \right\}$

(16)

3.3 基于Q-Learning的飞行路线在线优化算法

本文所提出的无人机飞行路线在线优化问题中，无人机的每个动作不仅影响当前的性能，还会对接下来的状态产生影响。因此本文采用强化学习中的Q-Learning算法对问题进行求解。Q-Learning是一种典型的强化学习中离轨策略下的时序差分算法，可以在每个动作结束之后估计动作价值函数并更新改进策略。Q-Learning中采取的动作策略为 $\varepsilon {\text{ - greedy}}$ 策略，是对贪婪策略的改进。 $\varepsilon {\text{ - greedy}}$ 策略具有 $\varepsilon$ 的概率探索环境寻找更优的策略， $1 - \varepsilon$ 的概率按照贪婪思想选择动作价值函数最大的动作。动作价值函数定义为： $Q\left( {{s_n},{a_n}} \right) = Q\left( {{s_n},{a_n}} \right) +$ $\alpha \left[ {r_{n + 1}} + \gamma {{\max }_a}Q\left( {{s_{n + 1}},a} \right) - Q\left( {{s_n},{a_n}} \right) \right]$ 。基于Q-Learning的在线优化算法具体如下：

步骤1　初始化探索参数 ${N_\varepsilon }$ ，设置折扣率 $\gamma$ 和学习率 $\alpha$ ，无人机的通信次数 $M$ ，最大训练幕数 ${N_{{\text{epi}}}}$ ，每幕中最大步数 ${N_{{\text{step}}}}$ ，动作价值函数 $Q\left( {s,a} \right) =$ $0,\forall s \in S,a \in A$ ；

步骤2　 $M = M - 1$ ；

步骤3　随机 $J$ 个地面用户发送通信请求，获取 $J$ 个用户的位置坐标； ${n_{{\text{epi}}}}{\text{ = }}0$ ；

步骤4　 ${n_{{\text{epi}}}} = {n_{{\text{epi}}}}{\text{ + }}1$ ；

步骤5　 $\varepsilon {\text{ = }}{N_\varepsilon }^{{n_{{\text{epi}}}}}$ ，其中 ${N_\varepsilon }$ 为探索参数的初始值，根据无人空中通信平台的位置坐标初始化状态 ${s_0}$ ; ${n_{{\text{step}}}} = 0$ ；

步骤6　 ${n_{{\text{step}}}} = {n_{{\text{step}}}}{\text{ + }}1$ ；

步骤7　根据 $\varepsilon {\text{ - greedy}}$ 策略选择动作 ${a_t}$ ，根据公式(15)得到奖赏 ${r_{n + 1}}$ ，观察到新的状态 ${s_{t + 1}}$ ；更新动作价值函数

$\begin{split} & Q\left( {{s_n},{a_n}} \right) = Q\left( {{s_n},{a_n}} \right) \\ & \quad+ \alpha \left[ {{r_{n + 1}} + \gamma {{\max }_a}Q\left( {{s_{n + 1}},a} \right) - Q\left( {{s_n},{a_n}} \right)} \right]; \end{split}$

步骤8　重复步骤6和步骤7，直到 ${n_{{\text{step}}}} = {N_{{\text{step}}}}$ 结束；

步骤9　重复步骤4—步骤8，直到 ${n_{{\text{epi}}}} = {N_{{\text{epi}}}}$ 结束；

步骤10　重复步骤2—步骤9，直到 $M = 0$ 结束。

步骤5中的训练参数 $\varepsilon$ 随着步骤4中的训练幕数 ${n_{{\text{epi}}}}$ 的增大而减小，这让训练前期具有较多的探索学习的机会，使得智能体在训练过程中能够找到最优策略。

4. 仿真结果

在本部分中，利用仿真平台对所提出的飞行路线在线优化算法进行验证，将基于Q-Learning算法的在线优化算法表示为Scheme A，并与另外3种方案进行对比。

Scheme B：无人机基站总是向着当前 $J$ 个地面用户中通信传输速率最大的地面用户的方向飞行。无人机基站完成了该地面用户的文件信息传输之后，在当前位置再向着通信传输速率第二大的地面用户飞行。依次类推，直到完成所有地面用户的文件信息传输。

Scheme C：与Scheme B相反，无人机基站向着当前 $J$ 个地面用户中通信传输速率最小的地面用户的方向飞行。无人机基站完成了该地面用户的文件信息传输之后，从当前位置向着通信传输速率第二小的地面用户飞行。依次类推，直到完成所有地面用户的文件信息传输。

Scheme D：在接收到 $J$ 个地面用户的通信请求之后，无人机基站在每个状态位置上，贪婪地向通信传输速率最小的地面用户飞行，直到完成所有地面用户的文件信息传输。

无人机基站多播通信系统仿真参数设置如下：无人机基站可飞行的矩形范围为 $400{\text{m}} \times {\text{400 m}}$ ，地面用户随机分布在此范围内。矩形范围对应的位置坐标为 $\left[ {{X_{\min }},{X_{\max }}} \right] \times \left[ {{Y_{\min }},{Y_{\max }}} \right]{\text{ = }}\left[ {0,400} \right] \times \left[ {0,400} \right]$ ，将矩形范围分割成 $I \times I{\text{ = }}2500$ 个状态。无人机的飞行高度 $H = 100{\text{ }}{\rm{m}}$ ，最大飞行速度 ${V_{\max }} = 20{\text{ m/s}}$ 。无人机基站与地面用户的子信道数量 $J{\text{ = }}3$ ，其子信道的带宽 $B = 1{\text{ MHz}}$ ，地面用户的通信请求信息量 $L = {10^7}{\text{ bit}}$ ，参考距离 ${\text{1 m}}$ 的信噪比 ${\gamma _{{\text{dB}}}} = 40{\text{ dB}}$ 。假设无人机基站的通信任务次数 $M = 100$ ，其他参数： ${N_{{\text{epi}}}}{\text{ = }}7 \times {10^5}$ , ${N_{{\text{step}}}}{\text{ = }}120$ , $\alpha {\text{ = }}0.8$ , $\gamma {\text{ = }}0.5$ , ${N_\varepsilon }{\text{ = }}0.9999$ 。

图2展示了无人机基站两次完成通信任务的训练过程，其中完成通信任务的时间随着训练次数增大而变化。在这两次训练过程中，完成通信任务中的服务对象是不同的地面用户，其位置是随机的。与其他的方案对比，基于Q-Learning算法的在线优化算法能够有效地收敛，并且收敛之后完成通信任务的时间更小。整体来看，随着训练幕数的增加，无人机基站完成通信任务的时间越小；在训练前期可以看到无人机基站完成通信任务的时间大范围震荡，这是因为前期的探索参数 $\varepsilon$ 较大，具有更大的概率探索新的动作；在训练后期，完成通信任务的时间趋向稳定，这是因为探索参数 $\varepsilon$ 较小且已找到最优的飞行路线。

图 2 基于Q-Learning算法的在线优化设计算法的训练过程

下载: 全尺寸图片幻灯片

图3和图4展示了基于Q-Learning算法的在线优化设计算法与其他3种方案的无人机基站飞行路线对比图，飞行路线所需的时间与图2中完成两次通信任务时间相对应。图3中图例“Scheme A：n”表示Scheme A方案下无人机基站第n次完成通信任务的飞行路线，“Scheme B：n”等图例与“Scheme A：n”类似。图4是在图3的基础上完成的，其中“Scheme A：n+1”表示Scheme A方案下无人机基站第n+1次完成通信任务的飞行路线。可以看出基于Q-Learning算法的在线优化设计算法比其他方案更加集中于3个地面用户的中央。Scheme A和Scheme D的飞行路线类似，但是对比图2中Scheme A与Scheme D的两次完成通信任务的时间，可以看出Scheme A比Scheme D的完成通信任务的时间更短，因此Scheme A的飞行路线更佳。

图 3 不同方案下的无人机基站飞行路线对比图

下载: 全尺寸图片幻灯片

图 4 不同方案下的无人机基站飞行路线对比图

下载: 全尺寸图片幻灯片

图5展示了无人机基站采用不同方案、完成不同通信信息量任务的平均时间对比图，其中完成通信任务的次数为100次。为了更好地对比效果，图5中无人机在不同方案中是完成相同的多个地面用户的通信任务，这是因为不同的地面用户位置可能导致通信任务的完成时间不同。可以看出本文提出的Scheme A方案始终优于其他3种方案，通信任务的信息量越大，Scheme A方案的性能越好。

图 5 不同方案下的无人机基站完成不同信息量的多播任务时的平均时间对比图

下载: 全尺寸图片幻灯片

图6展示了不同方案下的无人机基站完成100个地面用户的通信任务的平均时间，其中每次通信任务的3个地面用户是随机的，对应的通信任务的信息量为 $L = {10^7}$ bit。可以看出Scheme A方案下完成通信任务的时间明显比其他3种方案的更小。因为每次通信的地面用户是随机的，由此可以说明Scheme A方案可适应动态的、随机的地面用户的通信请求。

图 6 不同方案下的无人机基站完成100次通信任务的平均时间

下载: 全尺寸图片幻灯片

5. 结束语

本文针对于无人机基站多播通信系统，为了保证地面用户能够接收到完整的信息以及减少无人机的能量消耗，以最小化完成多播通信任务的时间为目标，提出了基于Q-Learning的无人机飞行路线在线优化算法。仿真结果显示了与其他几种方案对比，所提出的算法能够有效实现无人机基站的飞行路线在线优化。本文的研究证实了强化学习能有效解决无人机基站飞行路线的在线优化问题，加深了我们对在线优化研究的认识。在未来的研究中，有待于将本文考虑的单无人机系统扩展到多个无人机协作多播通信的场景，并将无人机的飞行能耗纳入优化的考虑因素。

图 1 残差网络的基本结构

下载: 全尺寸图片幻灯片

图 2 本文流程图

下载: 全尺寸图片幻灯片

图 3 网络结构图

下载: 全尺寸图片幻灯片

图 4 模拟斑点肝脏超声图像1实验比较

下载: 全尺寸图片幻灯片

图 5 模拟斑点肝脏超声图像2实验比较

下载: 全尺寸图片幻灯片

图 6 真实医学超声图像去斑后结果比较

下载: 全尺寸图片幻灯片

表 1 模拟斑点肝脏超声图像1不同方法PSNR结果(dB)

方法	斑点噪声的标准差σ
方法	0.5	0.6	0.7	0.8	0.9
BI-DTCWT	35.4225	33.8461	32.5368	31.4265	30.3688
NPSM	34.5827	32.9573	31.5366	30.3250	29.2056
NL-means	34.9289	34.1934	33.3554	32.5658	31.6134
BM3D	36.1701	35.7552	35.2485	34.8951	34.2035
Local_entropy_qsp	36.7812	36.1083	35.4363	35.0726	34.5014
DnCNN	35.7701	35.8394	35.8180	35.6769	35.3885
本文方法	36.7203	36.7139	36.6025	36.3568	35.9492

下载: 导出CSV

表 4 模拟斑点肝脏超声图像2不同方法 $\beta$ 结果

方法	斑点噪声的标准差σ
方法	0.5	0.6	0.7	0.8	0.9
BI-DTCWT	0.7078	0.6359	0.5612	0.5099	0.4661
NPSM	0.6830	0.6197	0.5479	0.4990	0.4517
NL-means	0.7191	0.6761	0.6037	0.5449	0.4899
BM3D	0.8030	0.7950	0.7826	0.7683	0.7355
Local_entropy_qsp	0.8263	0.8090	0.7787	0.7567	0.7384
DnCNN	0.9286	0.9238	0.9156	0.9029	0.8812
本文方法	0.9394	0.9325	0.9217	0.9653	0.8836

下载: 导出CSV

表 2 模拟斑点肝脏超声图像2不同方法PSNR结果(dB)

方法	斑点噪声的标准差σ
方法	0.5	0.6	0.7	0.8	0.9
BI-DTCWT	31.0477	29.5409	28.0856	27.4342	26.2056
NPSM	31.5374	30.0985	28.6745	27.6699	26.6843
NL-means	32.7360	31.7539	30.4860	29.5105	28.4174
BM3D	33.8786	33.3096	32.5436	32.0199	31.2079
Local_entropy_qsp	34.3157	33.2426	32.1706	31.5329	30.8599
DnCNN	34.9760	35.0382	34.8497	34.3851	33.6562
本文方法	35.9280	35.9170	35.6289	35.0301	34.1677

下载: 导出CSV

表 3 模拟斑点肝脏超声图像1不同方法 $\beta$ 结果

方法	斑点噪声的标准差σ
方法	0.5	0.6	0.7	0.8	0.9
BI-DTCWT	0.6416	0.5611	0.4823	0.4291	0.3846
NPSM	0.5972	0.5154	0.4352	0.3817	0.3393
NL-means	0.4522	0.4102	0.3564	0.3262	0.2949
BM3D	0.5969	0.5820	0.5685	0.5477	0.5016
Local_entropy_qsp	0.6540	0.6287	0.5991	0.5842	0.5621
DnCNN	0.7803	0.7726	0.7595	0.7393	0.7106
本文方法	0.8128	0.8011	0.7831	0.7564	0.7208

下载: 导出CSV

表 5 真实斑点超声图像不同方法ENL结果

方法	ENL等效视数值
BI-DTCWT	61.2209
NPSM	64.6016
NL-means	109.5584
BM3D	93.4877
Local_entropy_qsp	79.1016
DnCNN	132.9184
本文方法	134.3287

下载: 导出CSV

表 6 50张真实斑点超声图像不同方法ENL平均值比较

方法	ENL等效视数值平均值
BI-DTCWT	75.5182
NPSM	75.5941
NL-means	110.6393
BM3D	110.9127
Local_entropy_qsp	93.7911
DnCNN	140.3622
本文方法	147.0689

下载: 导出CSV

参考文献(28)

KANAYAMA Y and YANO M. Ultrasound diagnosis apparatus and ultrasound imaging method[P]. USA Patent, 10231710, 2019.

ZHOU Yingyue, ZANG Hongbin, XU Su, et al. An iterative speckle filtering algorithm for ultrasound images based on bayesian nonlocal means filter model[J]. Biomedical Signal Processing and Control, 2019, 48: 104–117. doi: 10.1016/j.bspc.2018.09.011

JOEL T and SIVAKUMAR R. An extensive review on Despeckling of medical ultrasound images using various transformation techniques[J]. Applied Acoustics, 2018, 138: 18–27. doi: 10.1016/j.apacoust.2018.03.023

沈民奋, 陈婷婷, 张琼, 等. 医用超声图像散斑去噪方法综述[J]. 中国医疗器械信息, 2013, 19(3): 17–22. doi: 10.3969/j.issn.1006-6586.2013.03.003

SHEN Minfen, CHEN Tingting, ZHANG Qiong, et al. The review of speckle denoising in medical ultrasound imaging[J]. China Medical Device Information, 2013, 19(3): 17–22. doi: 10.3969/j.issn.1006-6586.2013.03.003

KUAN D, SAWCHUK A, STRAND T, et al. Adaptive restoration of images with speckle[J]. IEEE Transactions on Acoustics, Speech, and Signal Processing, 1987, 35(3): 373–383. doi: 10.1109/TASSP.1987.1165131

DABOV K, FOI A, KATKOVNIK V, et al. Image denoising by sparse 3-D transform-domain collaborative filtering[J]. IEEE Transactions on Image Processing, 2007, 16(8): 2080–2095. doi: 10.1109/TIP.2007.901238

肖佳, 张俊华, 梅礼晔. 改进的三维块匹配去噪算法[J]. 计算机科学, 2019, 46(6): 288–294. doi: 10.11896/j.issn.1002-137X.2019.06.043

XIAO Jia, ZHANG Junhua, and MEI Liye. Improved block-matching 3D denoising algorithm[J]. Computer Science, 2019, 46(6): 288–294. doi: 10.11896/j.issn.1002-137X.2019.06.043

PERONA P and MALIK J. Scale-space and edge detection using anisotropic diffusion[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(7): 629–639. doi: 10.1109/34.56205

YU Yongjian and ACTON S T. Speckle reducing anisotropic diffusion[J]. IEEE Transactions on Image Processing, 2002, 11(11): 1260–1270. doi: 10.1109/TIP.2002.804276

TIAN Jing and CHEN Li. Image despeckling using a non-parametric statistical model of wavelet coefficients[J]. Biomedical Signal Processing and Control, 2011, 6(4): 432–437. doi: 10.1016/j.bspc.2010.11.006

SENDUR L and SELESNICK I W. Bivariate shrinkage functions for wavelet-based denoising exploiting interscale dependency[J]. IEEE Transactions on Signal Processing, 2002, 50(11): 2744–2756. doi: 10.1109/TSP.2002.804091

BURGER H C, SCHULER C J, and HARMELING S. Image denoising: Can plain neural networks compete with BM3D?[C]. 2012 IEEE Conference on Computer Vision and Pattern Recognition, Providence, USA, 2012: 2392–2399.

SCHMIDT U and ROTH S. Shrinkage fields for effective image restoration[C]. The IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014: 2774–2781.

CHEN Yunjin and POCK T. Trainable nonlinear reaction diffusion: A flexible framework for fast and effective image restoration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1256–1272. doi: 10.1109/TPAMI.2016.2596743

MAO Xiaojiao, SHEN Chunhua, and YANG Yubin. Image restoration using very deep convolutional encoder-decoder networks with symmetric skip connections[C]. Advances in Neural Information Processing Systems, Red Hook, USA, 2016: 2802–2810.

ZHANG Kai, ZUO Wangmeng, CHEN Yunjin, et al. Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising[J]. IEEE Transactions on Image Processing, 2017, 26(7): 3142–3155. doi: 10.1109/TIP.2017.2662206

NADEEM M, HUSSAIN A, and MUNIR A. Fuzzy logic based computational model for speckle noise removal in ultrasound images[J]. Multimedia Tools and Applications, 2019, 78(9): 18531–18548.

吕晓琪, 吴凉, 谷宇, 等. 基于深度卷积神经网络的低剂量CT肺部去噪[J]. 电子与信息学报, 2018, 40(6): 1353–1359. doi: 10.11999/JEIT170769

LÜ Xiaoqi, WU Liang, GU Yu, et al. Low dose CT lung denoising model based on deep convolution neural network[J]. Journal of Electronics &Information Technology, 2018, 40(6): 1353–1359. doi: 10.11999/JEIT170769

YING Zhenqiang, LI Ge, REN Yurui, et al. A new image contrast enhancement algorithm using exposure fusion framework[C]. The 17th International Conference on Computer Analysis of Images and Patterns, Ystad, Sweden, 2017: 36–46.

ZHENG D, WANG J, and XIAO Z. Image enhancement based on local standard deviation[J]. Journal of Information and Computational Science, 2005, 2(2): 429–437.

JIFARA W, JIANG Feng, RHO S, et al. Medical image denoising using convolutional neural network: A residual learning approach[J]. The Journal of Supercomputing, 2019, 75(2): 704–718. doi: 10.1007/s11227-017-2080-0

SIMONYAN K and ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. arXiv, 2014, 1409.1556.

VEDALDI A and LENC K. MatconvNet: Convolutional neural networks for MATLAB[C]. The 23rd ACM International Conference on Multimedia, Brisbane, Australia, 2015: 689–692.

FU Xiaowei, WANG Yi, CHEN Li, et al. An image despeckling approach using quantum-inspired statistics in dual-tree complex wavelet domain[J]. Biomedical Signal Processing and Control, 2015, 18: 30–35. doi: 10.1016/j.bspc.2014.11.005

BUADES A, COLL B, and MOREL J M. A non-local algorithm for image denoising[C]. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Diego, USA, 2005: 60–65.

付晓薇, 代芸, 陈黎, 等. 基于局部熵的量子衍生医学超声图像去斑[J]. 电子与信息学报, 2015, 37(3): 560–566. doi: 10.11999/JEIT140587

FU Xiaowei, DAI Wei, CHEN Li, et al. Quantum-inspired despeckling of medical ultrasound images based on local entropy[J]. Journal of Electronics &Information Technology, 2015, 37(3): 560–566. doi: 10.11999/JEIT140587

PIZURICA A, PHILIPS W, LEMAHIEU I, et al. A versatile wavelet domain noise filtration technique for medical imaging[J]. IEEE Transactions on Medical Imaging, 2003, 22(3): 323–331. doi: 10.1109/TMI.2003.809588

RODTOOK A and MAKHANOV S S. Multi-feature gradient vector flow snakes for adaptive segmentation of the ultrasound images of breast cancer[J]. Journal of Visual Communication and Image Representation, 2013, 24(8): 1414–1430. doi: 10.1016/j.jvcir.2013.09.009

施引文献

期刊类型引用(5)

1.	刘兴鑫，李君，李正权. SWIPT-D2D通信中基于深度强化学习的资源分配. 电讯技术. 2024(05): 693-701 . 百度学术
2.	阮福，吴珊丹. SM2密码算法下信息聚合通信安全认证方法. 计算机仿真. 2024(06): 232-236 . 百度学术
3.	陈剑，杨青青，彭艺. 基于MADDPG的无人机辅助通信功率分配算法. 光电子·激光. 2023(03): 306-313 . 百度学术
4.	朱晓荣，张文锦，赵凌宇，刘旭，任伟. 基于内容感知的无人机轨迹规划和资源分配联合优化方法. 电子与信息学报. 2023(05): 1644-1650 . 本站查看
5.	程登峰，林世忠，尚文迪. 输电线路固定翼无人机多目标巡检线路优化. 自动化仪表. 2023(12): 21-25 . 百度学术

其他类型引用(3)

资源附件(0)

访问统计

图(6) / 表(6)

计量

文章访问数: 3682
HTML全文浏览量: 1521
PDF下载量: 165
被引次数: 8

1. 引言
2. 系统模型
3. 飞行路线在线优化算法
3.1 问题描述
3.2 强化学习概述
3.3 基于Q-Learning的飞行路线在线优化算法
4. 仿真结果
5. 结束语

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

一种基于深度学习的自适应医学超声图像去斑方法

doi: 10.11999/JEIT190580

通讯作者:
付晓薇　fxw_wh0409@wust.edu.cn

计量

An Adaptive Medical Ultrasound Images Despeckling Method Based on Deep Learning

1. 引言

2. 系统模型

3. 飞行路线在线优化算法

3.1 问题描述

3.2 强化学习概述

3.3 基于Q-Learning的飞行路线在线优化算法

4. 仿真结果

5. 结束语

期刊类型引用(5)

其他类型引用(3)

计量

目录

1. 引言

2. 系统模型

3. 飞行路线在线优化算法

3.1 问题描述

3.2 强化学习概述

3.3 基于Q-Learning的飞行路线在线优化算法

4. 仿真结果

5. 结束语

留言板

一种基于深度学习的自适应医学超声图像去斑方法

doi: 10.11999/JEIT190580

通讯作者: 付晓薇 fxw_wh0409@wust.edu.cn

计量

出版历程

An Adaptive Medical Ultrasound Images Despeckling Method Based on Deep Learning

1. 引言

2. 系统模型

3. 飞行路线在线优化算法

3.1 问题描述

3.2 强化学习概述

3.3 基于Q-Learning的飞行路线在线优化算法

4. 仿真结果

5. 结束语

期刊类型引用(5)

其他类型引用(3)

计量

出版历程

目录

1. 引言

2. 系统模型

3. 飞行路线在线优化算法

3.1 问题描述

3.2 强化学习概述

3.3 基于Q-Learning的飞行路线在线优化算法

4. 仿真结果

5. 结束语

通讯作者:
付晓薇　fxw_wh0409@wust.edu.cn