摘要：通过分析日志文件，能够获取设备故障、用户异常行为以及网络运行状况等相关信息，有利于及时处理网络安全事件和软硬件故障，保证网络的稳定性和安全性。随着设备功能的日益强大，日志文件本身所记录的内容也随之出现爆发式增长。由于传统的线性、单机处理分析日志的方法已经无法较好地获取有效信息，因此为了促进日志分析系统的进一步发展，需将分布式平台和大数据平台等与其融合。

关键词：大数据;网络日志;分析系统;安全管理

引言

在计算机网络系统中，存储着大量的日志数据，如操作系统日志、入侵检测系统日志、防火墙日志、审计日志等等，这些日志对于保障计算机网络的安全运行具有重要作用。随着大数据时代的正式开启，使得日志数据呈几何数倍增，从而对日志分析提出更高的要求。为此，探寻一种智能化、高效化的网络日志分析技术显得尤为必要。借此，下面就大数据支持下的网络日志分析技术展开研究。

1日志文件概述

用户通过计算机的操作系统生成一系列行为，详细记录用户的操作和事件，并生成称为计算机日志文件的文件。日志按日期、时间、用户和行为作为记录对象进行分类，并构成一个基于时间的连续集合。通过分析对日志文件内容所做的更改，您可以在处理历史数据、进行故障排除和恢复以及控制异常系统活动方面发挥重要作用。日志可以分为应用程序日志、系统日志、安全日志以及事件日志和消息日志，具体取决于日志内容。运行计算机系统会生成大量日志文件，分别记录对象的活动。在网络环境中，监视、查询、过滤可疑行为和审计系统是通过浏览多个来源的日志文件的组合来完成的，以便捕获系统活动、事件和行为变化的内容。

2大数据内涵

大数据，从字面意思来看即庞大的数据信息，表示为计算机中包含了大量的数据，而这些数据中体现了各种类型的信息，同时各种数据信息的特征也有较大差异，使得计算机在进行数据处理时效率需要进一步提高。计算机在进行大数据处理时主要是依托于云计算实现的，将云计算作为数据信息处理的核心。大数据的产生使得传统资源获取途径发生了巨大变化，在以往人们要想获取资源需要通过有线网络、无线网络以及服务器等来实现，而当下可以通过个人计算机、无线智能终端以及SAS等来进行。大数据具有数据量庞大、种类繁多、价值密度低以及处理效率高等特征，使得大数据在全球信息领域中发挥了重要的作用，然而依托于计算机网络进行数据的生成和传输会引发严重的信息安全问题，尤其在当下计算机网络安全事件的发生频率越来越高，如何提高计算机网络安全成为了当下人们关注的焦点。

3网络日志分析系统的功能

对于大型数据采集，网络日志分析系统应用广泛，具有四个v型特性：海量数据（卷）、海量数据（类型）、快速数据速度（速度）和海量数据（值）。对于网络日志的大数据特征，结合日志数据存储与过程分析，提出了网络日志分析系统的功能分层，主要分为五类，第一类是日志的源层，主要包括网络中的网络设备第二类是捕获层，其日志捕获服务器主要由一个或多个成员组成，主要负责接收和存储日志记录。第三类是存储层，主要负责存储原始日志和统计分析结果。第四类是企业层，主要由各种日志的分析人员组成，主要负责日志数据的统计和分析。第五个类别是显示层次，指的是业务层次的处理结果换算。并显示在界面上。

4日志特点

企业IT网络中的计算机设备、网络设备、应用系统都会生成大量的日志，这些日志存储分散、非结构化，容易丢失或被覆盖。运维人员的日志维护困难，而且很难人为地从中获得有价值的信息。借助统一的协议统一采集、存储数据的stslog协议，并将日志信息进行结构化、标准化处理，通过上层的分析应用来驱动对数据的并行处理算法，分析日志中DOS/DDOS统计的IP次数，为企业的运维和信息安全提供支持。Syslog协议是纯文本，记录每一次设备发生的一次事件、调用及故障等信息，默认情况下它使用UDP传输协议的514端口，本系统的采集程序是将网络通信技术的日志数据上传到分布式存储服务器。

5网络日志分析技术

日志包含大量的数据信息，为了深入地浏览和分析这些数据，并在后台重新整理操作记录，需要永久和长期地存储日志数据，Hadoop可以做到这一点。Hadoop是Apache software foundation开发的分布式基础架构，它构建了一个分布式文件系统HDFS，其中最显着的特征是高容错能力和部署到低成本硬件的能力。因为HDFS为访问应用程序中的相关数据提供了高吞吐量，因此非常适合于具有大型数据集的应用程序。在网络日志分析中，无需实时分析的数据可以存储在HDFS文件中，然后使用适当的编程模型（例如MapReduce）进行提取和分析。Hadoop不仅为未实时分析的日志数据提供解决方案，而且为实时显示的日志数据（即hsbase）提供解决方案。hsbase是Hadoop的一个子项目，可用于存储非结构化数据hbase可以自动对数据表进行分区，从而可以存储大量数据。脱机日志分析具有以下特征：可以批量获取和传输数据，并且可以按预定义的周期计算和显示批量数据。最常见的脱机日志分析方法是群集分析、串行分析、相关性分析等。不同的方法有不同的用途，例如相关性分析可以检测数据集的因果结构，从而可以描述事物中某些性质的规律;串行分析在预防网络安全方面更为有效。

6大数据背景下的计算机网络安全问题分析

6.1计算机网络系统漏洞问题

系统是维持计算机网络各项工作有序、稳定开展的重要载体，然而不管是Windows系统，还是Linux、Solaris等系统都不可避免地存在一些漏洞，从而使得计算机由于本身漏洞的存在产生较大的安全隐患。在计算机网络系统中不单单存在系统漏洞，同时也会出现网络硬件问题、软件安全问题等方面引发的安全漏洞，使用者在从网络上下载相关软件，并在进行软件安装时没有意识到安全漏洞问题，从而给计算机网络产生较大的安全问题。正常情况下，计算机系统本身存在的漏洞是可以完善和预防的，然而使用者在下载和安装软件时产生的漏洞往往会对系统产生较大的危害，许多网络不良分子正是抓住这些漏洞对使用者的个人数据进行窃取和修改等，从而造成个人私密信息的遗漏，对计算机网络操作产生较大的安全隐患。

6.2操作系统以及防火墙的各类问题

计算机操作系统的安全能力对于数据库内部的信息数据安全发挥着至关重要的关键性作用，防火墙程序属于计算机网络安全防御体系的第1道闸门。电脑病毒、木马程序等对电脑的操作系统的入侵行为和破坏作用，造成操作系统发生了很多的问题和漏洞，影响电脑系统的平稳运行的情况下，还会造成计算机用户的宝贵数据信息的丢失、流失或者损坏。并且因为对于防火墙相关技术的投入不足及实际应用的范围不够全面，造成电脑网络的安全问题频繁发生。防火墙程序可以对于进去和输出到内外网的任何数据实施全方位的检测和识别，防火墙程序的应用能够最大限度地提升计算机网络的安全能力。

6.3计算机网络信息内容存在的安全问题

在大数据环境下，计算机网络具有十分庞大的数据流，涵盖了各种类型的庞大数据信息。然而在计算机网络中信息往往是公开、开放的，这导致信息的安全性难以得到保证，极易导致网络信息被窃取和泄露。一般来说，有多种途径会导致计算机网络信息的泄露，比如说非法拦截与窃取、计算机系统问题、木马病毒入侵等，有些手段还会影响到网络信息的完整性与真实性，进而对相关方面的经济产生较大损失。

7信息安全中日志的应用

7.1安全威胁的分析

当前的网络安全形势严峻，威胁主要来自网络设备访问、通过存储设备进行网络存储、基于it设备的网络协作等。访问这些网络的客户使用软件应用程序，包括浏览器、传统网络软件、云计算虚拟化软件、云计算应用程序等。大多数威胁包括未经授权的访问、信息泄漏和丢失、网络基础设施传输过程中的数据完整性受损、拒绝服务、网络病毒传播。一些威胁支持热插拨和无服务器停机访问介质感染，另一些威胁暴露了复杂多样的存储需求中的漏洞，另一些威胁是在前端程序SQL/NoSQL注入中生成的，并且定期扫描无法处理大量数据如果存在威胁检测，则早期分析、模型识别和警报在安全方面更为重要。Gartner认为，海量数据是一种庞大、快速增长、多样化的信息资源，需要一种新的处理模式来改进决策、发现和优化流程，它有四个主要特征：海量数据的大小、快速的数据移动以及数据类型的多样性对于正在访问网络的日志，很难解决与信息的多样性、丰富性和快速增长相关的实时分析问题，而Hadoop、Stream和Spark技术与大量数据一起适用于日志应用程序和分析的许多方面。

7.2日志审计系统的作用

所有设备和系统都称为日志源。日志审核系统为不同的日志源收集日志后，将按日志源类型解析日志。此过程称为日志格式设置或标准化。每个日志源的日志格式不同，因此每个日志源的修正文件内容也不同。通常，在解析日志时，先分析日志格式，然后再按格式过滤日志内容。如果日志审核系统收到防火墙日志，它会根据预准备的防火墙日志扫描文件对其进行格式设置，并过滤日志事件、日志中源的IP、防火墙策略ID、攻击名称等字段。一旦日志经过格式化和存储，如果发生安全事件，日志审核系统可以通过短信、电子邮件、声光等通知操作员。以使操作员能够及时处理安全事件。与此同时，该系统可以利用所有预制报告对所有安全日志和安全事件进行统计分析，并让操作人员和管理人员掌握网络安全状况。

7.3日志文件管理

日志信息的安全与计算机系统的安全直接相关。非法入侵者执行删除、伪造系统日志等操作。，并试图隐藏或销毁目标计算机系统上的相关攻击日志，以避免系统防范和控制人员跟踪、审计和取证。在正常状态下，计算机日志文件位于不安全且加密的系统目录中。攻击者通过删除或操纵信息隐藏自己的信息。因此，署长难以获得完整和有效的记录。因此，可以从体制和技术两方面改进对日志文件的管理。从技术角度来看，必须正确调整日志记录级别，如debug（调试信息）、info（令人担忧的信息收集）、warn（警告）和error（错误），混淆的日志记录级别不易传输，给以后的日志分析和处理带来很大风险。第二，必须集中统一管理日志文件，合理控制其大小，定期清理日志文件。最重要的是要强调日志文件的安全性，定期备份日志文件，确保用于存储敏感和敏感信息的日志文件的安全性，并通过加密机制或用户访问控制等措施确保日志文件的安全性。在系统建设中，配备专业管理人员进行特殊管理，制定具体的日志管理计划，从备份、维护、处置不必要的日志信息等操作严格执行计划。

8大数据背景下，提高计算机网络安全的策略

8.1提高对网络黑客的防范水平

在大数据技术快速发展的背景下，网络黑客也拥有了新的攻击目标。为了有效抵御网络黑客的不良行为，必须进一步提高计算机网络安全技术水平，从技术领域出发提高对网络黑客的防御能力。在大数据环境下，网络黑客能够利用专业化的技术手段来进行非法操作，获得不合法利益。众多计算机使用者为了确保自身的数据信息不被窃取，必须要采取有效的手段避免被网络黑客入侵，从而维护自身财产与隐私的安全性。同样，网络黑客也对单位产生非常大的威胁，单位应当要能够掌握一些常见的网络攻击技术方法，做到知己知彼，这样才可以在被网络黑客入侵时，第一时间启动预警机制，加强对网络黑客的防范。为了进一步提高企业计算机网络系统的安全性，一方面要定期进行系统软件的更新，避免因为系统软件漏洞问题给网络黑客带来可乘之机;另一方面要充分发挥防火墙、杀毒软件等应用优势，加强对主流病毒的防范和查杀，防止其进入到计算机网络系统中。此外，单位还应当要制定切实可行的数据保密制度，加强对外界访问的管理和限制，并且还要认真落实计算机网络信息查询认证工作，确保计算机网络始终处于安全状态。

8.2安装杀毒软件程度

计算机网络技术的持续发展与进步，导致计算机木马病毒等不安全因素变得非常难以有效控制，种类繁多，复杂程度较高，对于计算机系统及网络安全等等带来非常严重影响。安装计算机杀毒软件以后能够行之有效的抵抗外部网络病毒的大佬严重入侵，相关计算机工程技术人员对于计算机病毒的种类及特征实施研究及分析，针对性较强的进行保护及预防。相关计算机工程技术人员在应用计算机程序对重要参数信息实施处理的过程中，杀毒软件会查出侵略性较强的网络病毒，把这些网络病毒进行消灭，并且还可以依据用户的需求对其进行删除。

结束语

综上所述，网络日志分析系统记录着整个系统运行过程当中的全部数据信息和行为，其是后续开展系统恢复、数据纠正以及错误查找等工作的重要参考依据，因此，我们必须要高度重视网络日志分析系统的性能优化工作，要尽全力去提升网络日志分析系统的整体性能。

参考文献

[1]龚芳海，李文彪.基于互联网的大数据挖掘关键技术分析[J].无线互联科技，2019，15（4）：59-60.

[2]谢芳.基于互联网的大数据挖掘关键技术分析[J].信息记录材料，2019，19（10）：95-96.

[3]罗田琪.大数据时代背景下计算机信息处理技术的分析[J].电子元器件与信息技术，2020，5（1）：64-65.

[4]张淑杰.基于云计算技术的大数据分析平台设计与开发[J].电子测试，2020（2）：78-79.

[5]刘峰耀，张国庆，张凯男.基于大数据的监控平台建设及应用[J].金融电子化，2020（1）：79-81.

[6]王晓东，赵一宁，肖海力，等.多节点系统异常日志流量模式检测方法[J].软件学报，2020，31（10）：3295-3308.

[7]赵一宁，肖海力.对于大规模系统日志的日志模式提炼算法的优化[J].计算机工程与科学，2020，39（5）：821-828.