摘要：针对传统入侵检测系统在大数据场景下面临的数据体量庞大、误报与漏报率偏高，且因缺乏全局上下文信息、依赖局部检测模式而导致检测性能不佳的问题，本文设计并提出一种基于全局特征融合的入侵检测模型。该模型以TensorFlow 深度学习框架为基础，在特征提取环节之后，依次引入注意力模块、LSTM 时间特征融合模块及全局上下文关联模块，借助多模块协同工作的方式，有效增强模型的特征表征能力与判别性能。实验结果表明，所引入的各模块均能对模型性能起到有效提升作用，多模块融合后模型实现了最优分类效果，在有限计算资源约束下，显著提升了大数据环境下入侵检测的效率，为大数据场景中的网络安全防护工作提供了切实可行的解决方案。

关键词：入侵检测；大数据；深度神经网络；特征融合

一、引言

随着互联网技术的飞速发展与网络应用的全面普及，网络安全威胁呈现出复杂化、多样化态势，入侵检测系统（IDS）已成为网络安全领域的核心研究方向。作为识别网络异常入侵行为的关键防护机制，IDS突破传统检测手段局限，凭借主动感知、动态监测的核心特性，可精准识别网络安全风险。在大数据技术深度应用背景下，网络数据呈现体量庞大、结构复杂、流速迅猛的特征，提升IDS的检测性能与识别准确率已成为亟待攻克的重要课题。而深度神经网络技术的快速迭代与成熟落地，为大数据场景下入侵检测技术的优化升级提供了坚实技术支撑，也开辟了全新研究路径。本章主要介绍研究使用的数据集及入侵检测模型的评价指标，为后续入侵检测模型的设计与验证提供基础。

二、系统的开发路线与开发环境

2.1系统的开发路线

本入侵检测系统（IDS）以深度神经网络为核心技术支撑，技术路线围绕模型构建、优化改进及训练验证展开。首先，以全连接层、激活层、Dropout层为基础搭建Baseline模型，其中全连接层负责特征映射与分类，激活层采用Relu函数（解决Sigmoid函数梯度消失问题、提升训练效率），Dropout层用于抑制过拟合、增强模型泛化能力；原始Baseline由两层全连接层及一层激活层组成，实现特征从低维到高维的映射及入侵概率输出。系统技术路线图如图1所示。

图1系统技术路线图

全局上下文模块：通过平均池化与最大池化拼接融合原始数据，核心作用是解决传统模型缺乏全局上下文的弊端，挖掘序列特征全局关联，提升复杂入侵行为识别能力。

注意力模块：通过一维全局平均池化与原始数据乘积处理特征，核心作用是筛选并增强关键序列特征、抑制冗余干扰，提升入侵判别精度，减少误报、漏报。

LSTM时间序列模块：通过LSTM层对网络数据进行时序迭代学习，核心作用是捕捉时序关联特征、提升时序类入侵检测效果；未加入激活层，可在不影响性能的前提下控制计算量、缩短训练时间。

2.2系统的开发环境

本次研究开发的环境：

1.操作系统：Windows 11

2.编程语言：Python 3.7.9

3.深度学习框架：TensorFlow 2.10.0

4.数据处理工具：NumPy 1.21.6、Pandas 1.3.5

5.可视化工具：Matplotlib 3.5.3

三、数据集介绍

本章主要对使用的数据集以及数据集的评价指标进行介绍。大数据环境下，网络上有着海量信息数据，如何对网络进行安全防护，是保证设备安全重要的问题。而数据集中的标注样本可以使得计算机对这些数据进行更好的分类。

3.1 UNSW-NB15数据集

UNSW-NB15是由新南威尔士大学于2015年发布的网络入侵检测基准数据集，旨在弥补传统数据集年代久远、攻击类型过时的缺陷，适配现代网络攻击场景的研究需求。该数据集是当前网络入侵检测领域的主流开源数据集，广泛应用于深度学习模型训练与验证。

表3-1入侵检测实验数据的标识类型

3.2入侵检测模型评价指标

为评估模型性能，采用数据集计算Accuracy、Recall、Precision、F1 Score四项核心指标，具体定义如下：Accuracy指所有检测结果中分类正确的样本比例；Recall（查全率）指真实目标中被正确检测出的比例；Precision（查准率）指检测出的目标中真实为目标的比例。

Accuracy：所有检测结果中分类正确的样本比例；Recall（查全率）：真实正样本中被正确检测出的比例；Precision（查准率）：检测出的正样本中真实为正样本的比例。

二元分类中，检测对象分为正样本（positive）和负样本（negative）；多分类中，当前检测目标为正样本，其余为负样本，检测结果可分为TP、FP、TN、FN四类：TP（检测为正、真实为正）、FP（检测为正、真实为负）、TN（检测为负、真实为负）、FN（检测为负、真实为正）。在入侵检测系统中，攻击样本即为目标样本，其检测结果对应上述四类。

F1分数（F1-score）也是分类问题领域中，十分重要的一个衡量指标。在一些国际上的学科竞赛中，也有很多竞赛会将F1-score拿来作为最后对于模型性能优劣的衡量标准。它可以同时代表精确率和召回率，并且它的数值最大为1，最小为0。F1-Score指标综合了Precision与Recall的产出的结果。该指标可以表示为：

Accuracy、Recall和F-score是最为常用的二元分类结果评估指标。其中Accuracy和Recall这两个指标都只侧重于预测结果的某一个方面，并不能较全面地评价分类结果。而F-score则是更加“上层”的评估指标，它建立在前面两个指标的基础上，综合地考虑了分类结果的精确性和全面性。

通过这几个指标，就可以比较全面地评估模型本身的效果与性能优劣了。

四、基于多模块特征融合的网络入侵检测算法

本章主要对实验环境的设置，以及软件环境的安装配置，主要的实验细节和实验方法进行介绍。

4.1实验设置

在本设计中，Adam算法被引入来作为优化器，Batch-size设置为64，学习率为0.01。除此之外，编程语言选择为Python 3.7，采用基于Tensorflow的Keras的深度学习平台。PC的操作系统为Ubuntu20.04。软件运行平台：Pycharm2017以上。

4.2全局上下文模块

感受野（Receptive Field）指卷积神经网络每一层输出特征图（feature map）上的像素点在输入图像上映射的区域大小。CNN与RNN/Transformer的核心差异在于感受野，即对全局上下文特征的表征能力。若窗口尺寸（window size）或卷积核尺寸（kernel size）过小，仅能表征有限的局部时域特征，无法有效捕捉全局信息，因此引入全局上下文模块十分必要，其实现过程如图4-1所示。

图4-1全局上下文模块

图4-1中，Conv为卷积操作，Max-pooling（最大池化）与Avg-pooling（全局池化）可将特征维度缩减至原维度的1/2，若原维度为C，则池化后维度为C/2；concat操作后，新特征维度与原特征保持一致。通过残差模块可实现原特征与新特征的融合，避免模型丢失原始信息，最终通过一层卷积层输出结果。

建模远程依赖（long-range dependency）可强化对特征全局的理解，对各类分类任务具有积极作用。全连接层虽能传递上一层特征信息，但其将低维特征映射到高维空间时，会导致部分高维神经节点忽略部分低维特征。

4.3注意力模块

通道注意机制已被证明在提升深度卷积神经网络（CNN）性能方面具有巨大潜力，其本质类似人类选择性视觉注意力，核心是筛选关键信息。该机制因有效性广泛应用于目标检测、语义分割、目标跟踪等领域，可在有限计算资源下快速筛选海量信息中的高价值内容。因此，本设计受SENet启发，构建了基于序列特征的注意力模块，其结构如图4-2所示。

图4-2注意力模块

图4-2中，Global Avg-Pooling（全局平均池化）与普通平均池化不同：普通平均池化采用如2×2滤波器滤波，而全局平均池化对整个特征序列求平均值；Flatten为展平操作，FC为全连接层。最终通过原始特征序列与全局平均池化特征序列的点乘得到输出。

全局平均池化可对网络结构进行正则化，有效防止过拟合，同时删除全连接层的黑箱特征，赋予每个通道实际类别意义，强化特殊通道上的序列特征。

4.4时序信息模块

长短期记忆网络LSTM是优秀的循环神经网络（RNN）结构，适合于处理和预测时间序列中间隔和延迟非常长的重要事件。其中的内部机制就是通过四个门调节信息流，了解序列中哪些数据需要保留或丢弃。其原理图如图4-3所示。

图4-3 LSTM原理图

LSTM是RNN的一种版本，它的特点是具有时间循环结构，可以很好地刻画本设计中具有时空关联的序列数据。通过之前的特征，可以更好的编码当前特征。LSTM从整体上提取和保存上下文信息，产生多个状态向量来存储信息并从中寻找可用信息，而不是依赖于最终状态中存储的信息。

4.5基于多模块特征融合的方法介绍

本设计采用多模块特征融合方法，其流程如图2-7所示：输入序列先通过全局上下文模块提取关键全局信息，再经注意力模块强化特征序列的重要表征，最后通过LSTM模块实现时序信息的融合与利用。

与Baseline模型相比，本设计所提三个模块在Accuracy、Recall、F1-score等4项评价指标上均优于基线结果。

五、实验结果分析

5.1 Baseline结果与分析

如图5-1所示为基线结果，即没有任何模块加入的结果。

图5-1基线结果

在实验过程中，需要取得Baseline的结果，该结果表明了在基本的网络结构下，可以得到的精度等结果。作为一个基础模型，在实验中起到一个参照物的作用，以此为基准，可以判断所加入的模块对改进模型是否有效。

5.2各个模块结果与分析

图5-2至5-4为加入全局上下文模块、注意力模块和LSTM模块的结果。

图5-2加入全局上下文模块结果

是加入全局上下文模块之后的结果，对比基线模型，可以比较出，加入全局上下文模块后，性能都得到了增长，这证明了加入全局上下文模块的有效性。

图5-3加入注意力模块结果

是加入注意力模块之后的结果，对比基线模型，可以比较出，加入注意力模块后，性能也得到了增长，而且和全局上下文模块之间互有优劣，在Precision方面增长比较高，这证明了加入注意力模块的有效性。

图5-4加入LSTM结果

最后，是加入长短期网络模块（LSTM）之后的结果，对比基线模型，可以比较出，加入LSTM模块后，不同的性能也得到了增长。虽然训练与推理的时间比注意力模块长，但是加入的效果比注意力模块稍好一些，这证明了加入LSTM模块的有效性。

5.3总体实验结果与分析

加入三个模块，形成一个整体后，得到的结果如图5-5所示。

图5-5总设计结果

将所有结果整合成表5-1。

由实验结果（如表所示）可知，全局上下文模块、注意力模块、LSTM模块的引入，使Accuracy在Baseline基础上分别提升2.4%、2.3%、2.7%，三模块融合后实现最高提升，达2.8%；在Recall指标上，三者分别提升2.9%、2.5%、3.0%，三模块融合后的提升幅度达3.1%；Precision指标的整体提升幅度相对平缓，三模块融合方法的提升量约为3%；综合评价指标F1-score表现突出，三模块融合方法的F1-score值达0.951，显著优于Baseline模型。

性能分析表明，全局上下文模块在Accuracy与Recall两项指标上的提升效果优于注意力模块，但在Precision指标的提升上不及注意力模块，二者形成互补效应、相辅相成，可全面优化模型的特征表征能力。同时，LSTM模块对模型整体性能的提升最为显著，这一结果表明，入侵数据的时间维度补充信息较为匮乏，而LSTM模块能够有效强化时序信息的挖掘与利用，弥补这一不足。

三模块融合后的模型，其各项评价指标均不低于单一模块单独嵌入网络时的指标表现。这一结果证明，所引入的三个模块具有良好的有效性与兼容性，不仅能有效提升模型性能，且易于集成到统一模型中，充分验证了本设计提出的多模块特征融合方法的有效性与简洁性。

结束语

随着大数据技术普及，各类主体对网络入侵检测系统（IDS）需求迫切，本文围绕基于大数据的网络入侵检测系统展开设计与研究，核心聚焦系统性能优化与实现。

基于大数据的网络入侵检测系统可实现外部攻击防范、内部行为监测、安全审计及实时报警响应，为网络安全管控提供支撑。

本文设计了系统开发环境，明确注意力模块、时序特征融合模块、全局上下文模块等核心子模块功能，阐述系统开发、模型构建及实验验证全流程，核心工作如下：

完成系统总体方案设计与网络训练框架搭建，引入三大核心模块增强特征表征能力，通过系统测试验证模型有效性并获取分类结果与精度。

参考文献

[1]杨猛.大数据技术运用嵌入“智慧党建”的底层逻辑与发展图景[J].长白学刊.2022，02：8-14.

[2]张建喜，赵培英，毕然.基于大数据技术的农产品物流管理研究[J].农机化研究.2022，44（11）：216-220.

[3]Peddabachigari S，Abraham A，Grosan C，et al.Modeling intrusion detection system using hybrid intelligent systems[J].Journal of network and computer applications.2007，30（1）：114-132.

[4]Hoque M S，Mukit M，Bikas M，et al.An implementation of intrusion detection system using genetic algorithm[J].arXiv preprint.2012.

[5]Javaid A，Niyaz Q，Sun W，et al.A deep learning approach for network intrusion detection system[J].Eai Endorsed Transactions on Security and Safety.2016.3（9）：e2.

[6]Vinayakumar R，Alazab M，Soman K P，et al.Deep learning approach for intelligent intrusion detection system[J].IEEE Access.2019.7：41525-41550.

[7]赵卫，方诚.基于大数据的复杂网络入侵数据智能化检测系统设计[J].自动化技术与应用.2021，40（11）：164-167.

[8]杭梦鑫.基于自编码器和卷积神经网络的入侵检测系统[D].南京邮电大学.2021，000395.

[9]马琳，王云霄，赵丽娜等.基于多模型判别的网络入侵检测系统[J].计算机科学.2021，48（S2）：592-596.

[10]陈晓安.计算机网络入侵检测系统的研究[J].电子测试.2021，（18）：76-77+73.

[11]李麒鑫.网络入侵检测技术研究[J].电子技术与软件工程.2021，（14）：234-235.

[12]周丽娅.入侵检测技术在网络安全中的应用[J].信息与电脑（理论版）.2021，33（15）：218-220.

[13]邵清.CNN全连接层FPGA硬件实现技术研究[D].东北师范大学.2019.

[14]李钊，张先荣，郭帆.面向SQL注入和XSS攻击的Web入侵检测系统的研究与实现[J].九江学院学报（自然科学版）.2022，37（01）：33-40.

[15]齐智江.计算机入侵检测数据挖掘模型设计及系统实验验证[J].科学技术创新.2022（07）：69-72.

[16]程艳艳.基于深度卷积神经网络的入侵检测系统设计[J].西安文理学院学报（自然科学版）.2022，25（01）：75-79+128.