一类目标函数的逆向构造
INVERSE CONSTRUCTING OF A SET OF OBJECTIVE FUNCTIONS
-
摘要: 面向解决真实世界问题的神经应用需求,本文提出了一种构造目标函数的逆向方法,即将目标函数的构造任务转化为误差信号的设计。应用这一方法,我们构造出了一类的目标函数,它不仅可以解除均方误差(MSE)函数的假饱和状态,从而缩短了网络的训练时间,而且能够克服相对熵函数带来的过度适应性问题,从而提高了网络的泛化能力。Abstract: To meet the requirements with large-scale neural networks for real-world applications, an inverse way of constructing objective functions was proposed in this paper, which translates the task of constructing objective functions into the design of error signals. Followed this way, a set of objective functions has been given as examples to eliminate the false saturation in Mean Squared Error (MSE) and overspecialization in Cross Entropy (CE). The verification of its power was also made by the comparison with MSE and CE in the tasks of estimating the scaled likelihood for the Hidden Markov Models' states in the Hybrid HMM/ANN models, and showed consistent advantages with the theoretical expectations.
-
Richard M D, Lippmann R P. Neural network classifiers estimate Bayesian a posteriori probabilities[J].Neural Computation.1991, 3:461-483[2]Gish H. A probabilistic approach to the understanding and training of neural network classifiers,Proc. IEEE Intl Conf. on ASSP, New Mexico, USA: 1990, 1361-1364.[3]Haykin S. Neural Netwoks: Comprehensive Foundation. New York: Macmillan College Publishing Company, 1994, 696. ［4］Karayiannis N B. Accelerating the training of feedforward neural networks using generalized Hebbian rules for initializing the internal representations. IEEE Trans. on Neural Networks,1996, 7(2): 419-425.[4]Morgan N, Bourlard H. Continuous speech recognition: An introduction to the hybrid HMM/connectionist approach. IEEE Signal Processing Magazine, 1995, 12(3): 25-42.[5]杜利民,候自强.自动语音识别中的人工神经网络方法.物理学进展,1996,(9).[6]焦李成.神经网络系统理论,西安:西安电子科技大学出版社,1992,26-41. 期刊类型引用(15)
1. 丁嘉伟. 面向簇化移动机器人的网络资源调度算法. 机床与液压. 2024(11): 47-52 . 
百度学术2. 曾琦，刘友波，李梓玮，马超，钟俊，刘星. 支持新型电力系统的5G/6G高可靠低时延电力物联网通信设计与分析. 中国电机工程学报. 2024(21): 8435-8444 . 百度学术3. 龚万炜. 可靠性约束下的5G通信频段自适应选择技术. 电子技术与软件工程. 2023(04): 29-32 . 百度学术4. 齐放，张成，柯旺松，胡晨. 基于风险均衡度的电力5G通信链路自动选择方法研究. 电子技术应用. 2023(04): 1-6 . 百度学术5. 李松，张继钰，陈瑞瑞. 面向工业物联网的短包安全通信资源智能分配算法. 南京邮电大学学报(自然科学版). 2023(02): 11-17 . 百度学术6. 梁建. 5G URLLC应用场景中低时延、高可靠关键技术分析. 数字通信世界. 2023(07): 89-91 . 百度学术7. 刘峻朋，夏玮玮，刘晗，修成林，燕锋，沈连丰. 面向电力业务质量保障的NR-U与Wi-Fi频谱共享. 电信科学. 2023(07): 11-22 . 百度学术8. 李欣，程松，智远，王世杰，刘扬. 基于N-k故障的电网数据通信业务保障分级方法. 自动化与仪器仪表. 2023(10): 163-166 . 百度学术9. 覃凤，任宝平，雷久淮. 电子通信低时延IPSEC安全加密传输仿真. 计算机仿真. 2023(09): 171-175 . 百度学术10. 李想. 基于深度学习的网络链路通信质量检测方法. 数字通信世界. 2022(05): 134-136 . 百度学术11. 王海洋，王玉东，刘晗，孙海蓬，李正浩，刘明刚，苏俊浩. 电力通信网与运营商5G网络融合方案. 移动通信. 2022(08): 106-112 . 百度学术12. 李世党，魏明生，赵娟，刘加跃，唐守锋. 蜂窝物联网中短包域能量效率最大化波束成形优化与设计. 电子与信息学报. 2022(09): 3075-3082 . 
本站查看13. 王鑫，王霖，余芸，敖知琪，孙凌云. 数字孪生电网的特性、架构及应用综述. 电子与信息学报. 2022(11): 3721-3733 . 本站查看14. 张成娟. 5G通信中传输技术的应用. 微型电脑应用. 2022(11): 182-185 . 百度学术15. 张凯楠，冯瑛敏，黄丽妍，刘瑾，赵晶，任国岐. 基于GMM聚类的通信站点资源自动化研判分析. 电力大数据. 2022(06): 62-68 . 百度学术其他类型引用(9)
-
百度学术
计量
- 文章访问数: 2216
- HTML全文浏览量: 81
- PDF下载量: 520
- 被引次数: 24
下载:
