数据分析分析技术大全11篇

数据分析分析技术篇（1）

中图分类号：TP311 文献标识码：A

1数据挖掘技术在警务数据分析系统中的重要性

警务系统由于工作的特点，要不断地接受外来数据和有序存储旧数据，这就对警务系统的数据处理系统有越来越高的要求，传统的警务数据处理系统在信息量巨大的现今社会已经不能再有效的完善数据库的运行，这就需要新型的数据处理系统接替工作。新型的数据处理系统在案件的信息提取、视频分析等方面都应该有卓越的性能，将对案情有帮助的信息从大数据库中有效的提取出来。数据挖掘技术是一项在能够提高警务系统在数据的提取和挖掘效率的一项技术，能在短时间内将案件中的数据作为数据源，将其进行分析和建模，从而从这些数据中获得有力的线索。

2目前警务系统特点

现今的警务系统是跟随时代不断发展的一个工作效率高、工作素质强的组织系统，有案件处理速度快、案件分析效率高的特点。这些特点，都需要警务系统中数据处理系统的有效应用，通过对数据的处理分析、检查对比得出较有价值的案件线索，从而提高效率。警务系统的正常运行离不开数据处理系统，而数据挖掘技术更是数据处理系统的重要组成部分，它确保了整个系统的运行速度，对案件的侦查有促进作用。

3构建警务系统数据存储器

基于警务系统的数据特点，警务系统应该建立一个高速运行的警务系统数据存储器。“数据存储器”在结构上分为三个部分，分别是关系系统、OLAP服务器以及客户处理系统。这三个部分的作用效果如下：

3.1关系系统

关系系统是这三个组成部分的基础部分，这个系统负责对系统中的数据进行整理和提取、刷新，将数据在整个系统中的存储位置有序的排列好，防止数据丢失和数据残缺的现象发生。关系系统在运行的过程中通过警务系统不断的收集新的信息，将其整理保存，始终将数据系统中的有效信息得到较完好的保护。

3.2 OLAP服务器

OLAP是联机处理的缩写，是将多角度的信息共享并由一个关键的出发点而联机进行数据处理分析的一个软件技术，在警务系统中可将需要处理的信息进行联机处理分析，将信息较快的处理出来，得到有效的结论。

3.3客户处理系统

客户处理系统是将数据进行分析处理以及检索和报告的一个系统，通过对数据之间的联系将数据的信息整理和挖掘出来，形成有用的线索，供警务系统人员进行案件的侦破和处理，是数据存储器的重要部分，特别是数据挖掘技术的应用时整个系统的运作重心。

4数据挖掘技术

数据挖掘技术是将数据库中的数据进行采集、集成以及分析的一项技术，其应用到警务系统中可以对案件相关信息进行检索和分析，应用了多维数据分析处理及关联规则的应用、聚类分析方法的实际处理等数据挖掘分析处理模式将警务系统中的数据有效的联系起来，形成一个较为完整的数据挖掘模式。

在挖掘出境数据时，数据挖掘技术的决策树技术有效应用，与县赢得算法技术相互应，将数据较为完整的从警务系统中巨大的信息库中挖掘出来，实现了数据挖掘的分级处理模式的有效应用。

5数据挖掘技术在现代警务系统中的应用

在警务系统中，数据挖掘系统在案件的相关数据中整理生成了一个多维数据模型，使信息可视化、将案件信息的关系更加清楚的展现在警务系统的工作人员面前，通过多角度、多方面的分析和挖掘，将系统中的有用信息全部呈现在报告中，实现了信息的有效用。

6结语

警务系统中的信息有多样化、复杂化、信息量巨大的特点，使用传统的数据库是不能按照现代的社会发展速度生存的，对数据进行高效的分析处理和采集，是现代警务数据处理系统应该具有的一项特点。在数据处理速度快的前提下，数据处理系统的管理能力和联系能力也应该是突出的，本文中提到的数据挖掘技术就是解决数据处理问题的有效解决办法，其运行通过对数据的建模、分析、采集等手段强化了数据处理系统的能力，为警务系统中案件处理效率的提升做出了一定的贡献。目前社会的高速发展离不开大数据的支持，大数据时代对数据的处理系统要求越来越高，数据挖掘技术近些年在警务信息系统中的引用为警务系统的发展提供了技术上的有效支持，警务系统未来的发展肯定也离不开数据的有效处理工作，数据挖掘系统在未来的警务数据分析系统中也会有不断地改善和提高。

参考文献

数据分析分析技术篇（2）

随着现代技术的不断发展与进步，各个企业为了提高知名度和企业的创新能力，都积极的采用了信息自动化管理体质。但是，要想很好的运用这种管理体制，企业必须充分运用现代化信息技术，其中，最为重要的手段就是数据库技术。而且，要想使企业的信息系统高效、安全地运行，至关重要的是数据库应用系统正常、高效地运行。因此，分析数据库优化技术是非常有意义的。

一、良好数据库性能的标准

对于同一个系统的实施可以设计出多个数据库模型，但是，这些模型由于性能目标的差异而显示出不同的效果。而且，对于同一需求、不同数据库的设计人员来说，也会设计出不同的模型。其中，数据库性能的高低一般用两个方面的指标来衡量：响应时间和吞吐量。而且，响应越快，吞吐量越大，数据库性能越好。下面是一般大型系统数据库的性能标准：（1）单条记录的更新应当在1秒之内。而多条记录的更新不超过10秒。（2）对于少于4个表的数据有一定限度的查询应在5秒内完成。（3）对于有一定限度的查询多表查询应在10秒内完成。但是，整个表的查询时间应在30秒内完成。

二、数据库优化应遵循的方法

数据库优化是指进行有目的地调整组件及改善性能，使得数据库的吞吐量增加，减少相应处理时间。下面是数据库性能优化所遵循的一些方法：1、设立合理的性能目标。在优化之前，需要确定专门合理的目标。而且，设立目标最重要的一点是可量化和可达到。其中，可量化是指在量化中需要的性能值。而可达到是指必须定义当前性能指标。2、确定影响数据库性能的瓶颈。当数据库运行了一段时间后，会发生性能低下，此时不能猜测并随便做一些更改，这可能造成更大的瓶颈或资源浪费。3、弄清影响数据库性能的因素。由于改善数据库性能所采用的方法都可能带来严重的负面影响，因此在达到预定目标时，应停止所有的工作。

三、数据库优化技术的方法

数据库优化技术的方法有很多，而且，不同的数据库又有不同的方法。下面具体列出几种主要的技术方法。

1、数据库服务器内存空间的分配。足够的内存可以加快数据库的运行速度和提高CPU的利用率。而且，内存不够的话将会严重降低CPU的利用率。

2、合理的物理存储路径。数据库在处理海量数据时，首先要考虑物理存储路径。其中，物理存储路径主要包括：数据在磁盘组上的分布状态、索引文件的组织、日志文件的分布等。而且，数据在磁盘组上的分布有几种方法：静态数据与业务数据相分离。其中，数据库中的静态数据主要是一些数据字典，这些数据修改的频率比较低，但是，查询率较高。其中，使用索引有助于快速访问表中的数据，它可以大大减少找到特定数据行所需的I/0操作。设计索引时应遵循如下原则：①在建立索引时，如果对一个经常被更新的列建立索引，则会严重影响数据库性能。一张表的索引过多会影响该表的更新性能，因为一旦发生更新行为，该表所有的索引都必须作相应的调整，这就会延误运行时间。②对小型表不必建立索引，因为对于小表来说直接扫描往往更快而且维护费用低。③对重复值非常大的列，应建立位图索引，不要建立普通索引。因为为这样的列建立普通索引，其查询效率不高，反而增加索引的维护量。

3、使用SQL语句的优化技术来提高数据库运行效率。SQL语句的运用可以大大优化数据库的性能。一个良好的应用程序允许数据库支持上万个并发用户，由于网络上的传输是会话式的传输，在数据库与客户端之间传送每个批处理和结果集，为了减轻客户端与数据库系统间过量的网络传输，必须采用大型数据库所提供的存储过程和触发器来最小化信息的往来传输，以减轻网络I/0的负载。

数据分析分析技术篇（3）

信息技术以其强大的生命力推动着社会各行各业的改革和创新，也推动着人们进入到了一个信息化的时代。从当今的发展现状可以看出，计算机数据库技术是一种良好的数据管理技术，能够促进人类生产力水平的提高以及推动社会的发展和进步。因此，我们应当正确看待这一技术，将它的优势之处合理、科学地运用到我们的生活中来。

一、数据库技术的基本内涵

计算机数据库技术是在计算机技术和数据库技术基础上发展而来的一种新型信息管理手段。它通过计算机内部的数据模型，实现了对数据的收集、存储、分析、整理等功能。计算机数据库技术充分的满足了信息管理高效、准确等要求，在数据的储备、组织和管理质量上有较好的保障，并且与传统的信息管理技术相比，有了更完善的功能。

二、数据库技术的基本特点

数据库能够对数据进行集中统一的处理。在计算机数据库技术被广泛应用前，传统的数据库技术对数据的处理过于分散，数据之间的联系不够紧密，无法真正发挥数据的作用。而计算机数据库技术能够在数据之间建立起有效的联系，通过一定的逻辑顺序建立数据结构模型。而数据库中的各个数据之间又能保持一定的独立性，对一个数据的更改不会影响原有的数据库整体结构。用户能够更有效的共享和应用数据，从而在最大的限度上发挥数据的作用。数据库技术还能尽可能地减少数据的冗余问题。因为数据库自身所具有的数据共享性，使得用户没有必要建立自己的文件系统，用户只需要借助计算机就可以调用所需的数据，从而避免了信息重复的问题。数据库中的信息兼具了整体性、一致性和独立性，在数据的调取和使用上效率更高。

三、数据库技术在信息管理中的应用分析

计算机数据库技术是当前使用最为广泛的信息管理手段之一，具有提高信息管理效率的优势，在很多行业中都得到了广泛的应用。计算机数据库技术的应用不仅满足了数据存储的基本要求，还能为用户提供个性化的服务。从当前来看，计算机数据库技术主要应用在以下几个方面。

（一）用于对敏感和机密数据资料的处理

计算机数据库技术在数据的保密处理中应用的十分广泛，能够通过设置访问密码、设置防火墙等方式来提高信息的保密性，从而防止一些机密的信息和数据被窃取或篡改。计算机数据库技术对于保护用户的个人隐私具有重要的作用，因此，很多商业机构都会采用计算机数据库技术来存储数据。

（二）用于建立有效的信息处理数据模型

不同的信息都有其各自的性质和价值，在进行信息的处理时必须根据其特性进行分类和整理，不能对所有的数据采取统一的处理模式，这样才能确保信息处理的质量，并且便于今后的查找与使用。计算机数据库技术能够快速地建立数据模型，针对不同数据信息的特点，对数据进行有针对性的处理，按照信息的性质特点建立起数据模型，极大了方便了人们对数据的查找。

（三）用于实现和保障数据信息的安全有效

数据库技术还具有强大的安全管理信息的作用，能够最大限度地提高信息的安全可靠性。当前使用的数据库通常都具有良好的信息自动备份和文件恢复的功能。当系统出现意外的故障时，信息就不会出现意外丢失的情况。当系统受到外部的入侵而被窃取或篡改时，也可以通过原先备份好的数据而得到原始的信息。这就从最大限度上保障了数据库的安全性，减小因数据故障而产生的对数据安全的威胁。

四、对软件开发未来发展趋势分析

软件开发趋向网络化与智能化在计算机技术的不断普及之后，网络化的趋势已经愈发成为发展的潮流。在未来互联网技术的进一步发展之后，使得各个部门之间实现信息共享。因此社会需求确定了计算机行业需要运用软件技术，有效的发展网络化，以求给人们带来优质便捷的信息交互服务。人工智能已经得到了长足的发展和应用，因此在软件开发工作中需要著重考虑软件的智能化发展，智能化发展在未来将会是一个不可逆转的趋势，只有深入推进计算机软件的智能化发展，才能加强计算机软件行业的发展，提高整个时代的计算机革命的进步。软件开发也需要注意与其他学科的有效结合，将电气化、数字化、智能化的技术有效的引入到计算机技术中，这样才能有效提升计算机软件开发的水平，推进计算机软件的应用水平，不断满足用户的需求。

五、结语

综上所述，当前我们正处于一个信息化的时代中，每天都会发生着新的变化，诞生新的事物和信息，新形势使人们在日常生活面临极大的信息量和数据量。要对这些信息进行有效的筛选和整理就需要有先进的信息处理技术。计算机数据库技术将计算机技术及数据库技术有效地结合了起来，充分发挥了两种技术的优势，具有完善、高效、全面的功能，极大地提高了信息处理的效率和质量。

参考文献：

[1]梁海东，孟焕新.计算机数据库技术在信息管理中的应用[J].信息与电脑，2011，18（2）：105-109.

[2]赵志明，刘鹏，章锦才.探讨信息管理中计算机数据库的运用[J].计算机光盘软件，2012，12（2）：165-174.

数据分析分析技术篇（4）

1 引言

随着电信网络的不断演进，全省数据网、交换网、接入网设备单月产生告警原始日志近亿条。以上告警通过网元网管、专业综合网管、智能网管系统[1]三层收敛，监控人员每月需处理影响业务或网络质量的告警事件为20万条，但一些对网络可能造成隐患的告警信息被过滤掉。如何从海量告警数据中获取与网络性能指标、运维效率相关的有价值的数据，对于传统的关系型数据库架构而言，似乎是一个不可能完成的任务。

在一般告警量情况下，ORACLE数据处理能力基本可以满足分析需求，但当告警分析量上升到亿级，如果采用传统的数据存储和计算方式，一方面数据量过大，表的管理、维护开销过大，要做到每个字段建索引，存储浪费巨大；另一方面计算分析过程耗时过长，无法满足实时和准实时分析需求。因此必须采用新的技术架构来分析处理海量告警信息，支撑主动维护工作显得尤为必要，为此我们引入了大数据技术。

2 分析目标

（1）数据源：电信运营商网络设备告警日志数据，每天50 G。

（2）数据分析目标：完成高频翻转类（瞬断）告警分析；完成自定义网元、自定义告警等可定制告警分析；完成被过滤掉的告警分析、TOPN告警分析；核心设备和重要业务监控。

（3）分析平台硬件配置：云计算平台分配8台虚拟机，每台虚机配置CPU16核；内存32 G；硬盘2 T。

3 制定方案

进入大数据时代，行业内涌现了大量的数据挖掘技术，数据处理和分析更高效、更有价值。Google、Facebook等公司提供可行的思路是通过类似Hadoop[2]的分布式计算、MapReduce[3]、Spark[4]算法等构造而成的新型架构，挖掘有价值信息。

Hadoop是Apache基金会用JAVA语言开发的分布式框架，通过利用计算机集群对大规模数据进行分布式计算分析。Hadoop框架最重要的两个核心是HDFS和MapReduce，HDFS用于分布式存储，MapReduce则实现分布式任务计算。

一个HDFS集群包含元数据节点（NameNode）、若干数据节点（DataNode）和客户端（Client）。NameNode管理HDFS的文件系统，DataNode存储数据块文件。HDFS将一个文件划分成若干个数据块，这些数据块存储DataNode节点上。

MapReduce是Google公司提出的针对大数据的编程模型。核心思想是将计算过程分解成Map（映射）和Reduce（归约）两个过程，也就是将一个大的计算任务拆分为多个小任务，MapReduce框架化繁为简，轻松地解决了数据分布式存储的计算问题，让不熟悉并行编程的程序员也能轻松写出分布式计算程序。MapReduce最大的不足则在于Map和Reduce都是以进程为单位调度、运行、结束的，磁盘I/O开销大、效率低，无法满足实时计算需求。

Spark是由加州伯克利大学AMP实验室开发的类Hadoop MapReduce的分布式并行计算框架，主要特点是弹性分布式数据集RDD[5]，中间输出结果可以保存在内存中，节省了大量的磁盘I/O操作。Spark除拥有Hadoop MapReduce所具有的优点外，还支持多次迭代计算，特别适合流计算和图计算。

基于成本、效率、复杂性等因素，我们选择了HDFS+Spark实现对告警数据的挖掘分析。

4 分析平台设计

4.1 Hadoop集群搭建

基于CentOS-6.5系统环境搭建Hadoop集群，配置如表1所示。

4.2 Spark参数设置[6]

Spark参数设置如表2所示。

4.3 数据采集层

数据采集：由于需采集的告警设备种类繁多，故采取分布式的告警采集，数据网设备、交换网设备、接入网设备分别通过IP综合网管、天元综合网管、PON综合网管进行采集，采集周期5分钟一次。采集机先将采集到的告警日志文件，通过FTP接口上传到智能网管系统文件服务器上，再对文件进行校验，通过Sqoop推送到Hadoop集群上。

4.4 逻辑处理层

（1）建立高频翻转告警监控工作流程

先将海量告警进行初步删选，通过数量、位置和时间三个维度的分析，得出高频翻转类告警清单列表，最后由专业工程师甄别确认，对某类告警进行重点关注和监控。

（2）差异化定制方案

按组网架构细分，针对核心重要节点的所有告警均纳入实时监控方案；

按业务网络细分，针对不同业务网络设计个性化的监控方案；

按客户业务细分，针对客户数字出租电路设计个性化的监控方案。

4.5 数据分析层

Spark读取Hive[7]表的告警数据，然后在Spark引擎中进行SQL统计分析。Spark SQL模K在进行分析时，将外部告警数据源转化为DataFrame[8]，并像操作RDD或者将其注册为临时表的方式处理和分析这些数据。一旦将DataFrame注册成临时表，就可以使用类SQL的方式操作查询分析告警数据。表3是利用Spark SQL对告警工单做的一个简单分析：

5 平台实践应用

探索运维数据分析的新方法，利用大数据分析技术，分析可能影响业务/设备整体性能的设备告警，结合网络性能数据，找到网络隐患，实现主动维护的工作目标。

5.1 高频翻转类告警监控

首先制定了高频翻转类告警分析规则，将连续7天每天原始告警发生24次以上定义为高频翻转类告警，并基于大数据平台开发了相应的分析脚本，目前已实现全专业所有告警类型的分析。表4是全省高频翻转类TOP10排名。

5.2 核心设备和重要业务监控

目前以设备厂商或专家经验评定告警监控级别往往会与实际形成偏差，主要表现在以下几个方面：监控级别的差异化设定基于已知的告警类型，一旦网络重大故障上报未知的告警类型就无法在第一时间有效监控到；同一类型的故障告警出现在不同网络层面可能影响业务的程度是完全不同的；不同保障级别的客户对故障告警监控的实时性要求也是不同的。

通过大数据分析平台对差异化监控提供了灵活的定制手段，可根据告警关键字，分专业、地市、网管、机房、告警频次等维度自主定制需要的告警数据，实现日、周、月、某个时间区等统计分析。

应用案例：省NOC通过大数据分析出一条编号为CTVPN80113的中国平安大客户电路在一段时间内频繁产生线路劣化告警，但用户未申告，省NOC随即预警给政企支撑工程师，政支工程师与用户沟通后，派维护人员至现场处理，发现线路接头松动，紧急处理后告警消除、业务恢复。

5.3 被过滤告警分析

全省每天网络告警数据300万条～500万条，其中99%都会根据告警过滤规则进行过滤筛选，把过滤后的告警呈现给网络监控人员。过滤规则的准确性直接影响告警数据的质量。一般来说告警过滤规则可以从具有丰富运维经验的网络维护人员获得，但是这个过程非常繁琐，而且通过人工途径获得的告警过滤规则在不同的应用环境可能存在差异，无法满足网络维护的整体需要。采用大数据技术对被过滤的告警进行分析可以很好地完善过滤规则，让真正急迫需要处理的告警优先呈现给维护人员及时处理，真正做到先于客户发现故障。表5是动环专业被过滤的告警情况分布。

5.4 动环深放电分析

动环网管通过C接口采集蓄电池电压数据，在停电告警产生之后，电压数据首次下降到45 V，表示该局站电池出现深放电现象，通过计算这一放电过程的持续时间，记为深放电时长，该时长可以初步反映电池的放电性能。一个局站每天产生几十万条电压等动环实时数据。

在告警数据分析的基础上，实现对蓄电池电压变化数据的分析，提醒分公司关注那些深放电次数过多和放电时长过短的局站，核查蓄电池、油机配置、发电安排等，并进行整治。利用Spark SQL统计了一个月内抚州、赣州、吉安三分公司几十亿条动环数据，分析了其中深放电的情况如表6所示。

6 结论

本文利用HDFS+Spark技术，实验性地解决告警数据存储和分析等相关问题：一是通过数据分析，从海量告警数据中发现潜在的网络隐患；二是结合资源信息和不同专业的告警，最终为用户提供综合预警；三是转变网络监控思路和方式，通过数据汇聚、数据相关性分析、数据可视化展示，提高了网络监控效率；最后还扩展到对动环实时数据、信令数据进行分析。

从实际运行效果来看，HDFS和Spark完全可以取代传统的数据存储和计算方式，满足电信运营商主动运维的需求。

参考文献：

[1] 中国电信股份有限公司. 中国电信智能网管技术规范-总体分册[Z]. 2015.

[2] Tom white. Hadoop权威指南[M]. 4版. 南京： 东南大学出版社， 2015.

[3] RP Raji. MapReduce： Simplified Data Processing on Large Clusters[Z]. 2004.

[4] Spark. Apache Spark?[EB/OL]. [2016-11-27]. http：///.

[5] Matei Zaharia， Mosharaf Chowdhury， Tathagata Das， et al. Resilient Distributed Datasets： A Fault-Tolerant Abstraction for In-Memory Cluster Computing[J]. Usenix Conference on Networked Systems Design & Implementation， 2012，70（2）： 141-146.

[6] S鹏. Apache Spark源码剖析[M]. 北京： 电子工业出版社， 2015.

[7] Hive. Apache HiveTM[EB/OL]. [2016-11-27]. http：///.

[8] Holden Karau， Andy Konwinski， Patrick Wendell， et al. Learning Spark： Lightning-Fast Big Data Analysis[M]. Oreilly & Associates Inc， 2015.

数据分析分析技术篇（5）

1大数据技术应用于网络安全分析中的重要性

大数据技术具有有数据量大、种类繁多、速度快、价值密度低等特点，在网络安全分析中有着较高的应用价值，其重要性具体体现在以下几方面。第一，大数据技术可以拓宽数据存储容量，满足海量数据安全分析需求，并且在对多源数据和多阶段组合进行分析时，在保证运算效率的同时，还能确保数据的完整性。第二，大数据技术能够对网络数据进行多层级、多精度分析，理清数据间的复杂关系，找出其中潜在的安全隐患和风险，网络安全分析精度大幅提升。第三，利用大数据分析技术，可以对异构数据进行存储和分析，显著提高了网络安全分析速率，能够在更短时间内发现并解决网络安全问题[1]。第四，传统网络安全平台为结构化数据库，而基于大数据技术的网络安全平台为分布式数据库，具有良好的经济效益，设备成本较低且性能良好，减少了系统维修费用，降低了网络安全平台构建成本。

2网络安全分析的大数据技术实践

将大数据技术应用于网络安全分析方面，可以实现对日志和流量的集中化存储与分析，深层挖掘数据之间的关系，增强了网络安全检测及防防护能力。

2.1数据采集

网络安全分析需要依托全面、完整的信息数据，在应用大数据技术时，应先完成数据采集。对于每秒数百兆的日志信息来讲，可以利用Chukwa等工具对其进行采集；对于全数量数据来讲，可以使用传统数镜向方式对其进行采集[2]。

2.2数据存储

完成数据采集后，需依托数据库对其进行集中存储，在大数据技术的帮助下，数据类型存在差异时，可以采用与其相匹配的方式完成存储，不仅能够保证数据之间的明确分类，又可以方便数据查询。数据类型为即时数据时，可采用列式存储方法，先运用流式计算方式进行分析，然后存储所得结果。数据类型为日志时，为提高数据查询效率，可选用列式存储方法完成存储。另外，当数据经过标准化处理后，需要先对其进行处理，所用方法为分布式计算方法，然后再采用列式存储方法进行存储。

2.3数据查询

将大数据技术应用于网络安全分析中去，就数据查询来讲，可依托MapReduce完成[3]。系统发出查询指令后，在对应的节点位置完成处理，并将多种结果加以整合，然后可以通过检索得到自己所需数据信息。相较于传统网络安全分析平台，这种数据查询方式的指令反应及处理更为迅速，大大提高了查询效率。

2.4数据分析

基于大数据技术的网络安全分析平台，当数据类型不同时，所用分析处理方法也是不一样的。首先，如果数据类型为实时数据时，在对其进行分析和处理时，主要用到了流式计算方式、CEP技术、关联分析算法等，可以及时发现潜在的安全隐患及威胁。其次，如果数据类型为历史数据、统计结果时，在实效性方面要求并不严格，可对其进行离线处理，完成更为深入、全面的分析，所用方法主要为分布式存储与计算，既能够发现其中的风险隐患，又可以找出攻击来源。

2.5复杂数据处理

面对越来越复杂以及关联性越来越强的数据，以大数据技术为依托的网络安全分析平台，也可以更加迅速、精准地对其进行处理，包括多源异构数据、系统安全隐患以及关联性攻击行为等。以网络安全问题中常见的僵尸网络为例，借助大数据技术，不但能够从流量和DNS访问特性出发，而且能进行发散性关联分析，同时结合多方面的数据信息，可对数据进行多维度、深层次、全方位分析，确保了数据处理的有效性。

3大数据技术背景下网络安全平台建设

基于大数据技术所体现出的多方面优势，已经在网络安全分析方面得到了越来越广泛的应用，在构建网络安全平台时，需要科学设计其基础构架，并严格把控关键技术环节，充分发挥其应用价值。

3.1平台构架

以大数据技术为依托，所搭建的网络安全平台分为四个层级，包括数据采集层、数据存储层、数据挖掘分析层、数据呈现层，四个层级功能各不相同，需要分别对其进行分析。首先，数据采集层主要负责采集各种类型数据，包括即时数据、用户身份信息、日志等，实现方式为分布式采集。其次，数据存储层的能够实现海量信息的长期保存，并采用结构化、半结构化、非结构化方式对其进行统一存储，使用均衡算法将现实数据均匀分布在分布式文件系统上[4]。另外，网络安全异常的发现及溯源，则是在数据挖掘分析层完成，具体方法包括特征提取、情境分析、关联分析等，可通过检索查询对异常网络行为进行准确定位。最后，数据呈现层则可以通过可视化形式将大数据分析结果呈现出来，通过多种维度展现网络安全状态。

3.2关键技术

构建网络安全平台时，所用到的关键技术主要有数据采集技术、数据存储技术、数据分析技术等。此次研究所用数据采集技术包括Flume、Kafka、Storm等，Flume能够采用分布式方式，对来源不同的数据进行收集和整理，经过处理后将其传输至定制方。Kafka中应用了Zookeeper平台，可实现数据的集群配置管理，能够作为一个高吞吐量的分布式订阅系统应用，平衡数据处理环节的系统负荷。完成数据采集后，采用HDFS分布式文件系统对其进行存储，其容错性和吞吐量都比较高，使用元数据管理节点文件系统对空间命名，数据文件保存至数据节点，基本存储单位为64兆字节的数据块。数据文件会随着元数据节点的增多而减少，两者之间呈反比关系，多个文件同时被访问时，会对系统性能造成影响，而HDFS分布式文件系统的应用可有效避免这种问题。在数据分析环节，该平台所用技术为Hivc，对于非结构化数据的检索，所用语言为HiveQL，与HDFS和HBase匹配性良好。API的封装则是采用Hive完成，使用定制的插件开发和实现各种数据的处理、分析与统计。

4结束语

将大数据技术应用于网络安全分析领域，不仅能够提高分析速率、分析精准度，而且还可以降低技术成本，有着多方面显著优势，是未来网络安全防护的必然发展方向。在实际应用时，应采用层级结构构建网络安全平台，就数据采集、数据存储、数据分析等关键技术环节进行重点把控，以此来改善当前网络安全分析中的缺陷与不足，提高网络安全等级。

参考文献：

[1]孙玉.浅谈网络安全分析中的大数据技术应用[J].网络安全技术与应用，2017.

数据分析分析技术篇（6）

自从我国各领域对大数据技术产生应用需求之后，已有多个企业并计算机技术开发应用领域人员开始对多个情境下的大数据技术的需求、应用以及发展做出了应有的贡献。在大数据技术日趋成熟之际，人们对大数据的认知成熟度需要得到普遍提升，而计算机技术领域的专业人员也需要站在专业角度，对大数据技术的构成进行深入了解。这不仅对大数据技术的普及应用和持续发展有益，更对各领域的个人发展、顺应时代潮流以及个人的专业素养提升有极大帮助意义。本文中笔者结合自身对于大数据相关技术的正确认知，对大数据技术发展认识基础上的分支技术体系展开深入讨论。

1基于分布式大数据管理模块构成的技术探究

我们在深入挖掘大数据技术对其进行了解之前，首先要了解它主要需要解决什么问题，以及能够解决什么问题。一方面，在大数据技术出现之前，IT行业各类技术发展速度不是很快，系统化应用过程中的各类软件框架体系也足够完善，普通的单个服务器为基础平台的数据库之计算能力，也足够支撑各类系统计算业务。但随着各行业数据越来越多，单机计算能力上限已经被多个行业的计算软件“触顶”。在这种情况下，大数据管理模块技术开始被人们所关注，下面分析支持它进行计算的细分技术。首先，在大量数据储存方面，HDFS的分布式储存可以解决数据储存的困难。它可以让多个主机对同一任务进行同时计算。那么，它的实现需要周边便衍生了许多与管理和缓存有关的技术。包括：“yarn”技术可以在程序开发中帮助人解决资源难资源调节难题；“flume”可以帮助解决传输数据的问题；“sqoop”可以转换分布式储存数据与传统数据库之间的数据；“oozie”可以帮助业务程序资源调节计算任务；“kafka”则提供了订阅机制的消息队列；“zookeeper”可以有效地帮助用户快速完成对主备服务的选择；“hive”在HDFS的基础上提供了数仓的功能。“hbase”基“hdf”来实现一个列式数据库。然后从数据处理过程来看，对于数据库计算技术方面的大数据相关技术应用，是在普通数据库技术存在和被应用基础上对计算业务进行逻辑处理的过程。对于单一的业务处理，可以通过编写健壮的代码进行定时的任务进行相应数据的结算。若业务冗杂，需要定时获取多种数据采集分析，则通过代码实现各个JOB维护成本太高。在“Hadoop2.0”完美解决该问题，采用HQL自动生成数据的mapreduce任务基础上，多个领域的项目实践过程中，就会出现多个reduce任务就会被批量删除掉的情况。因此，Hadoop技术正在走在被淘汰的路上。那么，Hadoop现在是一个可以用硬件集群上进行大规模数据处理的优秀工具，但是若开发人员需要处理动态数据集、点对点分析多进程数据，那么Google已经为我们展示了大大优于MapReduce范型的技术选择。因此毫无疑问，Percolator、Dremel和Pregel将成为大数据技术未来发展的主流技术。

2支撑大数据管理模块组成的各类技术详析

为了能够更好地架构大数据项目，技术人员、项目经理、架构师等大数据管理模块开发流程中不同角色人员为了选择合适的技术，必须了解大数据各种技术之间的关系，以便选择合适的语言，实现相应的功能。那么，笔者在下面对几点中提到的大数据分支技术进行详细分析。

2.1HDFS技术

与普通编程语言应用编写系统相比，HDFS主要改革在数据储存形式方面，HDFS即Hadoop是以流式的数据查找和提取模式对文件型数据进行规模化储存，而且大数据管理模块应用中的数据通常是占用内存过大的单元数据，HDFS运行于多个主机集群中，属于是管理网络中跨多台及其进行数据储存的文件系统支撑基础。我们从HDFS技术应用的过程来分析使用数据块的益处：在程序运行过程中，HDFS上的文件会被划成64MB大的多个分块，每一个数据块都可以存储不同的数据。文件型数据块不需要储存在同一个磁盘上，因此它们可以利用集群上的任意一个磁盘实现存储。所以这从根本上大幅提升了大量数据管理的效率。而HDFS技术也可以提高系统中对数据储存的容错力。在业务处理方面HDFS的优点更为明显：HDFS的应用可以做到简化储存子系统的设计，将每个服务器的储存子系统控制单元设置为“块”，因此可实现简化储存管理，用一个单独的系统就可以管理这些块的元数据，这就大幅减轻了服务器的数据管理压力。

2.2yarn技术

Hadoop集群管理员希望能根据不同的业务组或不同的用户对集群yarn作业的资源进行控制，也就是对yarn的资源池进行划分，达到资源管控、任务管控的效果。yarn技术管理分配资源细节如下：yarn默许提供了多种资源分配的策略，用于分配的资源可以是节点的数量、内存的大小、CPU核数，它主要将MP1中JobTracker的资源管理和作业资源调节两个功能分散，分别由ResourceManager和ApplicationMaster进程来实现管理，以负责整个集群的资源管理和资源调度，并负责处理应用程序提出的事件，比如调节任务及数据资源、监视运行任务情况和出错信息等，具体作用体现在“模块提交作业”“初始化作业”“分配任务和运行”“更新模块运行相关数据”等方面。而Flume可以通过运行可靠的服务模块，用于有效地收集和移动日志数据，使用简单的可扩展数据模型，被允许收集日志数据，导进到HDFS中并实现在线分析应用程序。因此，HDFS是Hadoop应用程序中主要的分布式储存系统。

2.3sqoop技术

sqoop解决了分布式寄存数据与普通数据之间的转换。它属于可以将Hadoop和关系型数据库之间实现数据导进导出的工具型技术。它可以通过sqoop把数据从普通数据库，包括Mysql数据库和Oracle数据库中导进到HDFS中，反之亦可。sqoop通过Hadoop的MapReduce导进导出数据库中的数据，因此它提供了很高的并行优势以及良好的容错性。通过sqoop技术的应用，开发大数据管理模块的人员可以将数据从普通数据库中导出，并导进到HDFS中。导进到HDFS的数据形式为数据库表、查询结果，以及从HDFS中导出的文件形式则是数据库表或者集合类型的文件。在HDFS导进数据的多个进程可以并发运行，这时的输出的可以是多个文件输出结果。这些文件可能是标准的文本文件，也可以是Avro或者SequeenceFiles的记录文件。总结来说，sqoop是可以在大数据系统运行模块中将db数据与hadoop之间交换数据，而将其应用于系统开发过程中，则需要开发人员参照较为冗杂的使用文档。在优点显著的同时，sqoop也有些许缺点。因为hbase技术显然采用的是基于HDFS为核心的列式数据库存储数据的形式，是多种分布式、可以扩展的大数据储存方式，它能够为各种大数据集上随机和及时的阅读、写数据进行访问功能，并且能够实现分布式的列型数据储存，能快速地索引查询数据。较其他普通的数据库处理技术而言，hbase对于写入的时间更为随意，因此hbase总会有很多超时的现象，这成为了许多开发者在程序开发后的运行测试中的诟病。因此，此项技术目前仍然正在进行持续的优化。最后是接收数据的“Hive”技术应用模块，acheHive提供完整的HiveQL查询功能之外，还是一个数据仓库系统。而zookeeper可以实现类似“主从后台事件列序”“分配事件”“协调负载”等多种功能。

2.4Oozie的应用特点和优点

Oozie是用于Hadoop平台开源的技术，用工作流资源调节引擎，用来管理Hadoop作业，它是属于Web应用程序。因为Oozie的工作流必须在一个有固定流程的无环结构中，所以，使用Oozie时，若前一个任务执行失败，后一个任务将不会被资源调节。优点是当用户需要执行多个关联的MR任务时，只需要将MR执行顺序写入workflow.xml文件，然后使用Oozie提交本次任务，Oozie会托管此任务流。而Oozie对工作流的指定，与JbossjBPM提供的jPDL一样，提供了类似的流程定义语言hP⁃DL，它可以利用XML文件格式来定义流程。对于工作流系统，一般会有很多不同功能的节点，比如分支，并发等等。Oozie的控制流节点和动作节点可以让开发者定义流程的开始与结束，并能够以及控制流程和定位具体数据地址。

2.5Kafka的特点和应用优点

Kafka可以用于即时构建数据流传输程序以及流式数据处理、应用程序。它具有水平可扩展性、容错性、速度极快的特点。此外，它的运行过程具备三个特点：“消息”“持久化”“流处理”。客户端服务器通过使用TCP协议进行模块间的数据交互，具体的数据流的写入过程则有支持多种语言的特征，此外，它还支持主题和日志功能，一个主题可以有零个、一个或多个用户写入数据。对于每个主题，Kafka可以维护一个模块日志，每一个分区都成为一个有序且不可变的记录序列，不断添加到结构化的提交日志中，这使得Kafka技术应用有“用户在应用程序过程别容易使用”的特点。

3大数据管理模块技术成熟之上的应用领域

严格意义上讲，大数据技术是数据分析的前沿技术，那么，从大量、各类的数据中，及时获取有价值的信息的技术应用，就是大数据技术得到发展的缘由和最终意义，对于大数据技术在实际生产和生活中的应用领域大致分为以下几个方面：第一，移动互联网出现后，为了提升移动设备用户的用体验，在移动设备的用户点击行为数据记录过程中，应用到了大数据技术。第二，在数据记录、保存方面，大数据技术在音乐文件保存、视频资料保存、监控录像数据保存方面对大数据技术进行了应用。第三，在交通方面，如百度、高德、Google等电子地图为了人们出现更加便利，在应用大数据技术过程中同样利用大数据技术挖掘并提取、计算了大量有价值的信息。第四，随着移动设备的加入，人们的社交行为产生了大量的数据，这为人们生活环境安全性的巩固促进了大数据技术发展。第五，人们使用搜索引擎搜索数据期间，搜索引擎为向用户提供更多有价值的信息，应用了大数据技术。

4结束语

综上所述，对于大数据技术的成熟的认识，要从大数据技术应用过程以及解决问题过程中应用的不同技术展开分析，这不仅能让我们在当下社会跟上IT行业发展的步伐，更能减轻我们学习、实践、应用大数据技术过程中的恐惧心理和畏难情绪，助力我们的专业能力步步高升。

参考文献：

数据分析分析技术篇（7）

中图分类号:TP3文献标识码:A文章编号:1671-7597(2009)1110077-01

一、引言

联机分析处理(Online Analytical Processing,OLAP)的概念最早是由关系数据库之父E.F.Codd于1993年提出的,OLAP是针对特定问题的联机数据访问和分析。通过对信息(维数据)的多种可能的观察形式进行快速、稳定一致和交互性的存取,允许管理决策人员对数据进行深入地观察。OLAP的目标是满足决策支持或多维环境特定的查询和报表需求,它的技术核心是“维”这个概念,因此OLAP也可以说是多维数据分析工具的集合。

二、OLAP的多维数据结构

数据在多维空间中的分布总是稀疏的、不均匀的。在事件发生的位置,数据聚合在一起,其密度很大。因此,OLAP系统的开发者要设法解决多维数据空间的数据稀疏和数据聚合问题。事实上,有许多方法可以构造多维数据。

(一)超立方结构。超立方结构指用三维或更多的维数来描述一个对象,每个维彼此垂直。数据的测量值发生在维的交叉点上,数据空间的各个部分都有相同的维属性。

这种结构可应用在多维数据库和面向关系数据库的OLAP系统中,其主要特点是简化终端用户的操作。超立方结构有一种变形,即收缩超立方结构。这种结构的数据密度更大,数据的维数更少,并可加入额外的分析维。

(二)多立方结构。在多立方结构中,将大的数据结构分成多个多维结构。这些多维结构是大数据维数的子集,面向某一特定应用对维进行分割,即将超立方结构变为子立方结构。它具有很强的灵活性,提高了数据的分析效率。

一般来说,多立方结构灵活性较大,但超立方结构更易于理解。超立方结构可以提供高水平的报告和多维视图。多立方结构具有良好的视图翻转性和灵活性。多立方结构是存储稀疏矩阵的一个更有效方法,并能减少计算量。因此,复杂的系统及预先建立的通用应用倾向于使用多立方结构,以使数据结构能更好地得到调整,满足常用的应用需求。

许多产品结合了上述两种结构,它们的数据物理结构是多立方结构,但却利用超立方结构来进行计算,结合了超立方结构的简化性和多立方结构的旋转存储特性。

三、OLAP的多维数据分析

多维数据分析是指对以多维形式组织起来的数据采取切片、切块、旋转和钻取等各种分析动作,以求剖析数据,使最终用户能从多个角度、多侧面地观察数据仓库中的数据,从而深入地了解包含在数据中的信息、内涵。多维分析方式迎合了人们的思维模式,因:

(一)切片。定义1:在多维数组的某一维上选定一维成员的动作成为切片,即在多维数组(维1、维2、....维n,变量)中选一维:维i,并取其一维成员(设为“维成员vi”),所得的多维数组的子集(维1,...维成员vi,...,维n,变量)称为在维i上的一个切片。

按照定义1,一次切片一定是原来的维数减1。所以,所得的切片并不一定是二维的“平面”,其维数取决于原来的多维数据的维数,这样的切片定义不通俗易懂。下面给出另一个比较直观的定义。

定义2:选定多维数组的一个二维子集的动作叫做切片,既选定多维数组(维1、维2、....维n,变量)中的两个维:维i和维j,在这两个维上取某一区间或者任意维成员,而将其余的维都取定一个维成员,则得到的就是多维数组在维i和维j上的一个二维子集,称这个二维子集为多维数组在维i和维j上的一个切片,表示为(维i和维j,变量)。

按照定义2,不管原来的维数有多少,数据切片的结果一定是一个二维的“平面”。从另一个角度来讲,切片就是在某个或某些维上选定一个维成员,而在某两个维上取一定区间的维成员或全部维成员。从定义2可知:

1.一个多维数组的切片最终是由该数组中除切片所在平面的两个维之外的其它维的成员值确定的。

2.维是观察数据的角度,那么切片的作用或结果就是舍弃一些观察角度,使人们能在两个维上来集中观察数据,因为人的空间想象力有限,所以,对于维数较多的多维数据空间,进行数据切片是十分有意义的。比照定义1,我们可以将切片的这两个定义联系起来,对于一个n维数组,按定义1进行的n-2切片的结果,就必定对应于按定义2进行的某一次切片的结果。

(二)切块。定义1:在多维数组的某一维上选定某一区间的维成员的动作称为切块,即限制多维数组在某一维的取值区间。显然,当这一区间只取一个维成员时,即得到一个切片。

定义2:选定多维数组的一个三维子集的动作称为切块,即选定多维数组(维1、维2、....维n,变量)中的三个维:维i、维j、维r,在这三个维上取某一区间或任意的维成员,而将其余的维都取定一个维成员,则得到的就是多维数组在维i、维j、维r上的三维子集,我们称这个三维子集为多维数组在维i、维j、维r上的一个切块,表示为(维i、维j、维r,变量)。切块与切片的作用与目的是相似的。

(三)旋转。旋转既是改变一个报告或者页面的维方向。例如:旋转可能包含了交换行与列;或是把某一个行维移到列维,或是把页面显示中的一个维和页面外的维进行交换(令其成为新的行或者列的一个)。

(四)钻取。

钻取处理是使用户在数据仓库的多层数据中,能够通过导航信息而获得更多的细节性数据,钻取一般是指向下钻取。大多数的OLAP工具可以让用户钻取至一个数据集中有更好细节描述的数据层,而更完整的工具可让用户随处钻取,即除一般往下钻取外,随处钻取还包括向上钻取和交叉钻取。

(五)多视图模式。人们发现,获取相同的信息,图形显示所带来的直观性有时是简单的数据表所无法提供的。一个OLAP系统,应当采取多种不同的格式显示数据,使用户能够获得最佳的观察数据的视角。

四、结语

随着数据仓库的发展,OLAP也得到了迅猛的发展。数据仓库侧重于存储和管理面向决策主题的数据,而OLAP则侧重于数据仓库中的数据分析,并将其转换成辅助决策信息。OLAP的一个重要特点是多维数据分析,这与数据仓库的多维数据组织正好形成相互结合、相互补充的关系。将有助于我们解决数据处理中的复杂问题。

参考文献:

数据分析分析技术篇（8）

中图分类号：TP311 文献标识码：A 文章编号：1007-9416（2017）03-0104-02

1 综述

1.1 简介

在数字化时代，需要新一代系统架构提升业务创新能力。在新一代系统架构中，大数据是核心要素。业务应用能否自主发现与自助获得高质量的大数据，就成为业务创新成败的关键。这就要在搭建大数据平台时，就着手大数据治理相关建设。

1.2 需求和意义

从某种意义上说大数据治理架构需要以元数据为核心、提高大数据质量、透明化大数据资产、自助化数据开发、自动化数据、智能化数据安全，提升大数据平台服务能力，让大数据平台变得易使用、易获得、高质量。

但是，目前很多技术解决方案存在诸多安全和效率隐患：业务系统多，监管力度大；数据量庞大且呈碎片化分布，急需提升大数据质量；数据格式不规范、难以在短时间内找到所需数据；数据在各阶段的应用角度不同，需要降低系统间的集成复杂度。

2 功能设计

2.1 总体架构

本文讲述的数据分析方法及实现技术是建立在Hadoop/Spark技术生态圈的基础之上，以实现用户集成处理、、清理、分析的一个统一的数据处理平台；按数据类别分为线数据、归档数据；按数据格式分为非结构化数据、结构化数据；按数据模型分类为范式化模型数据、维度模型数据；按数据采集频度分为非实时数据、准实时数据处理架构；并提供数据中心平台与安全管理方案，为企业级用户建立一个通用数据处理和分析中心。如图1所示。

2.2 在线数据

在线数据在线通过接口去获得的数据，一般要求为秒级或速度更快。首先应当将数据进行区分：在线数据、或归档数据。本平台中采用：Storm或Spark Streaming框架进行实现。Spark Streaming将数据切分成片段，变成小批量时间间隔处理，Spark抽象一个持续的数据流称为DStream（离散流），一个DStream是RDD弹性分布式数据集的micro-batch微批次，RDD是分布式集合能够并行地被任何函数操作，也可以通过一个滑动窗口的数据进行变换。

2.3 归档数据

归档数据是在线存储周期超过数据生命周期规划的数据，处理的要求一般在分钟级或速度更慢。通常归档数据的计算量、数据量、数据复杂度均超过试试数据处理。本平台中采用：Hadoop、Spark技术生态体系内的框架进行计算，这里不详细阐述。

2.4 非结构化数据

通常非结构化的数据不一定具备字段，即使具备字段其长度也不固定，并且字段的又可是由可不可重复和重复的子字段组成，不仅可以包含结构化数据，更适合处理非结构化数据。常见的非结构化数据包括XML、文本、图象、声音、影音、各类应用软件产生的文件。

针对包含文字、数据的为结构化数据应当先利用数据清洗、数据治理工具进行提取，这项工作目前仍依赖技术员进行操作，由于格式的复杂性所以难以使用自动化方式进行较为高效的批处理。在治理数据的过程中，需要根据情况对数据本身额外建立描述数据结构的元数据、以及检索数据的索引服务，以便后续更佳深度利用数据。

2.5 结构化数据

结构化数据具备特定的数据结构，通常可以转换后最终用二维的结构的数据，并且其字段的含义明确，是挖掘数据价值的主要对象。

本平台中主要使用Hadoop Impala和Spark SQL来进行结构化数据的处理。Impale底层采用C++实现，而非Hadoop的基于Java的Map-Reduce机制，将性能提高了1-2个数量级。而Spark SQL提供很好的性能并且与Shark、Hive兼容。提供了对结构化数据的简便的narrow-waist操作，为高级的数据分析统一了SQL结构化查询语言与命令式语言的混合使用。

结构化数据根据采集频度可以继续分类为：非实时数据、准实时数据。

2.6 准实时数据

通常准实时数据是指数据存储在平台本身，但更新频率接近于接口调用数据源的数据。适合用于支持数据和信息的查询，但数据的再处理度不高，具有计算并发度高、数据规模大、结果可靠性较高的特点。通常使用分布式数据处理提高数据规模、使用内存数据进行计算过程缓冲和优化。本平台主要采用Spark SQL结合高速缓存Redis的技术来实现。Spark SQL作为大数据的基本查询框架，Redis作为高速缓存去缓存数据热区，减小高并发下的系统负载。

2.7 非实时数据

非实时数据主要应用于支持分析型应用，时效性较低。通常用于数据的深度利用和挖掘，例如：因素分析、信息分类、语义网络、图计算、数值拟合等。

非实时数据根据数据模型可继续分类为：范式化模型数据、维度模型数据。

2.8 范式化模型

范式化模型主要是针对关系型数据库设计范式，通常稻菔遣捎玫谌范式3NF或更高范式。面向近源数据查询、数据主题的整合。范式化模型数据的数据存储区，建议使用并行MPP数据库集群，既具备关系型数据库的优点，又兼顾了大数据下的处理。

2.9 基于维度模型

维度模型数据主要应用于业务系统的数据挖掘和分析。过去多维度数据处理主要依赖OLAP、BI等中间件技术，而在大数据和开源框架的时代下，本技术平台采用Hadoop Impala来进行实现。Impala并没有使用MapReduce这种不太适合做SQL查询的范式，而是参考了MPP并行数据库的思想另起炉灶，省掉不必要的shuffle、sort等开销，使运算得到优化。

3 应用效果

本系统在不同的业务领域上都可以应用，以2016年在某银行的应用案例为例：该银行已完成数据仓库建设，但众多数据质量问题严重影响了数据应用的效果，以不同的数据存储方式，以更高的要求去进行数据的统一管理。通过组织、制度、流程三个方面的实施，以元数据、数据标准、数据质量平台为支撑，实现了数据管控在50多个分支，60个局，1000余处的全面推广，实现了全行的覆盖；管理了120个系统和数据仓库，显著提升了新系统的快速接入能力；通过14个数据规范和流程明确了数据管控的分工；数据考核机制的实施，使其在数据质量评比中名列前茅。

4 结语

本文介绍了大数据下数据分析方法及实现技术的大体设计和思路，从需求分析、总体架构和数据处理以及数据分析这几个方面来介绍。文章在最后介绍出了这种平台的应用效果。笔者相信这些思路和技术能够在业务中能得到很好的应用。

数据分析分析技术篇（9）

中图分类号：TP311.13

互联网是人类快捷获得信息的一种重要渠道，为社会做出了巨大贡献，随着经济技术的进步，互联网越来越复杂，在当前时代，既是机遇，也是挑战。信息资源数据库对信息的储存和查询很有帮助，使人们能够更为方便地获得所需信息，当Web技术与数据库系统相结合后，信息的开放性也引发了信息的安全质量问题，因此，需要对Web数据库进行深度挖掘，以更好地为人们服务。

1 Web数据库及数据库挖掘技术

1.1 Web数据库

近些年来，网络技术已深入到社会各个角落，数据库系统也有了极大的进步，将两者相结合来开发Web的深度资源已成为当前重点研究的问题。Web数据库技术是一种以Web查询接口方式对数据库资源进行访问而且能够实现远程操控的技术，通过数据库与Web的连接可以产生一个在任何地方皆可操作的动态页面，即对核心数据库的信息资源进行查询，系统会以Web页面作为访问接口，并将查询结果以Web页面的形式展现出来。目前的Web数据库通常有数据收集、数据供应以及元搜索三种集成方式。

1.2 数据库挖掘技术

在当前信息化时代，人们的信息需求量骤增，信息资源储存量也不断扩大，加大了查询的难度，因此，如何在最短时间内获得所需信息是当前必须考虑的问题。深度挖掘技术具有关联分析、偏差分析以及分类等功能，能够从随机的海量数据中提取潜在有用的信息资源。须注意的是，并非每一个数据库信息的发现都是数据挖掘，如查询数据库管理系统中的记录等属于信息检索的领域。数据库挖掘技术在不断地改进，为进一步实现信息的传递，该技术融合了模式识别、统计学、进化计算以及搜索建模等知识。

2 Web数据库挖掘技术分析

2.1 数据的预处理

挖掘效果取决于被挖掘数据的质量，在实际采集中，数据存在着很多问题，如不完整性；在异常数据较多的情况下，常会带有噪声；数据的不一致性也是较为常见的问题，如数据名称的差异等。因此，预处理就显得尤为重要，在数据挖掘中的作用不可小觑，尤其是挖掘一些有残缺的数据资源时，为了提升挖掘质量，务必要提前对所挖掘的数据对象进行预处理。

2.2 模式识别

挖掘技术具有相关分析及计算的功能，模式识别即是借助统计法对识别的结果进行挖掘计算。实现算法可以采取一般的统计方法，也可以利用其他形式的结果，主要包括页面的浏览时间、访问次数以及统计分析等。在此阶段，关联规则的作用是发现用户访问的各个页面之间的关系。当利用浏览器对相关Web站点进行访问时，可建立相应的模型，以方便统计用户的访问模式。

2.3 模式分析

该环节即是采取科学的技术方法以及必须的操作工具对挖掘结果中的用户模式进行分析，经过对比，选择最为合理的模式，进而更好地对数据信息进行理解，充分利用各种用户模式。同时，在此阶段，有些比较特殊的信息结构，能够滤除诸如特定数据或超链接网页等模式。从当前的统计结果看，大约有30种商业性质的Web分析工具，合理地利用这些工具，有利于获得更多的信息，包括网页点击率、用户群特点及用户爱好等信息。须注意的是，这些数据在使用时常会很多问题，如维护较难、不够灵活、结果准确度得不到保障等。

3 Web数据库挖掘方法及应用

3.1 挖掘方法

（1）粗集方法

该方法对信息的要求较为简单，而且便于运算表达，但准确度上稍有瑕疵。利用该方法处理信息对象，和二维关系有所相似。连续属性在数据库信息表中较为普遍，而集合论是该方法的数学基础，采用粗集法不能直接处理一些连续的属性，因此，尽管数据库技术有了很大进步，为挖掘技术提供了必要的前提条件，但在实际操作中还是会有很大的制约。

（2）模糊集方法

该方法主要是在解决一些实际问题时，利用模糊集合理论对其进行的模糊识别分析。通常来说，数据库系统越是复杂，模糊性越强，在描绘模糊事物的属性时，模糊集合理论多采用隶属度进行。随着研究的进一步加深，以传统的模糊理论为基础，结合概率统计，专业研究人员提出了一种新的模型，即云模型，并建立了相应的云理论。

（3）覆盖正例排斥反例的方法

该方法的理论思想即是指覆盖所有的正例，或者排斥所有的反例，以此来寻找内在的规律。具体方法如下，在正例集合中任意选择一个正例种子，与反例集合中的所有种子逐一比较，若与字段取值构成的选择相容，则将之去除；若相反，则将其保留。按照这种方式对全部正例种子进行选择，最终得到正例的规则。

（4）统计分析法

一般而言，数据库的字段之间有函数和相关两种关系，利用统计学分析法可对二者进行仔细分析，即对统计学理论加以运用，从而更好地分析数据库中的信息资源。除了统计分析法，还可利用相关分析、差异分析等方式。

3.2 应用分析

（1）电子商务应用

随着信息化技术的进步，电子商务的作用日益重要，同时也存在着些许不足，如客户量较大，不好处理；信息的安全性等。采取Web数据挖掘技术，能够深度挖掘来访客户的信息，并按照一定的标准对其进行分类，然后分析客户的具体特征，保证企业能够全面完整地了解客户，以便提供更好地服务。同时，利用挖掘技术的关联分析功能寻找相关的客户资源，或者保留客户在页面上出现的时间段，从而创造更大的利润空间。

（2）网络教育应用

如今，互联网已经很普及，许多行业都纷纷引进了网络技术，教育也朝着网络化的方向发展。通过网络，学生能够快速获得所需信息，而且知识比较全面，学校也能根据此对学生的学习需求作进一步的了解。因为学生不同，网络教学需要提供个性化的教学方式，Web数据库挖掘技术能够从海量的信息数据库中将学生感兴趣的、隐含的信息资源挖掘出来，从而为学生提供更加方便的网络教育服务。

4 结束语

随着人们信息需求量的增加，数据库技术迅速发展，而互联网是当前获得信息的重要途径，二者结合将会构成一个巨大的数据库，同时也加大了信息传递的难度。以Web数据库为基础的数据库挖掘技术能够提高信息检索的速度和准确度，在网络教育、电子商务等领域得到了广泛应用。

参考文献：

[1]曾霖.基于Web数据库的数据库挖掘技术探究[J].软件，2013，27（2）：174-176.

[2]艾孜海尔江・艾合买提.基于Web数据库的数据库挖掘技术分析[J].科技致富向导，2012，24（27）：217-219.

数据分析分析技术篇（10）

关键词：

施工企业；大数据技术；财务分析

一、大数据技术的含义

大数据源于信息化的不断发展，随着互联网技术的发展而不断的兴盛，大数据也被称作巨量资料，他是一种需要新的处理模式才能够让企业拥有更加强大的决策能力和洞察能力的信息资产。大数据技术就是一种能够很好的处理这些庞大数据信息的技术，它并不是采用随机分析法这一捷径，而是把所有的数据信息都进行分析从而得出最真实的分析结果。大数据技术特别适用于大型公司与互联网公司，因为这样的企业他们的数据量非常的庞大，利用人工进行数据分析不能很好的保证其数据分析结果的准确性，同时还特别浪费人工费用。

二、施工企业运用大数据技术进行财务分析的原因

（一）大数据技术能够提高施工企业财务分析的工作效率作为施工企业的财务部门，在进行财务分析的过程中，我们既要对每一项管理费用进行仔细的分析判断，同时还要把这些数据与前期的数据进行对比，从而发现其费用的发展变化情况。大家都知道，施工企业其现场情况非常复杂，各种支出项目也非常的多，不同情况下管理费用的差距非常的大，财务部门想要对这些数据进行精准的分析，就需要花费大量的人力、物力，施工企业想要单纯的依靠财务人员来完成这项工作，其付出的劳务成本很可能超过其正确的财务决策给企业带来的利润，同时采用人工进行财务分析的结果其质量也很难把握。如果施工企业能够采用大数据技术，那么企业将省去大量分析数据的时间成本，而且数据分析的结果具有非常强的可靠性，既省人力也省时间，同时提高了企业财务分析的工作效率。

（二）有利于提高施工企业财务分析的水平大家都知道，财务数据是施工企业最重要的数据之一，它的积累量非常的大，财务分析的结果直接影响了企业财务管理的质量。因此，施工企业在进行财务决策分析的时候，必须要做到客观、公正。运用大数据技术，施工企业在进行财务分析的过程中能够避免人为分析中由于个人问题发生的一些对财务数据不客观、公正的问题的出现，保证财务分析的质量，提高施工企业财务分析的水平。比如施工企业在进行融资的过程中，大数据技术能够通过对以前企业的融资情况进行准确的数据分析，财务工作人员根据分析结果，选择最有利于施工企业发展的融资方案，从而节约企业融资成本，增加企业的经营效益。

（三）有利于建筑物的各种数据信息与决策的及时互动作为施工企业，其现场的情况非常的复杂，而且施工状况多变，管理者的决策都是从以前的数据的分析结果中得出来的，这种决策对于企业而言可能现在是非常合理的，但是随着施工进度的进一步变化，这种施工方案可能就不再适用于施工企业了。利用大数据技术，企业财务人员能够随时根据现场情况，调整企业数据情况，让企业管理者根据实际情况不断的调整经营决策方案。对于施工企业的融资方案而言，大数据技术能够根据市场变化以及企业需求的改变，选择最适用企业的融资方案，从而保障施工企业的正常运转及项目的顺利推进。

三、如何让施工企业更好的运用大数据技术提高企业的财务分析能力

（一）树立正确的财务分析理念施工企业是我国的传统行业，想要大数据技术能够在施工企业中得到广泛的认可和运用，就必须从转变施工企业的财务分析理念入手。首先，要确定正确的财务分析理念，积极的宣传大数据技术在财务分析工作中的重要地位，让每个员工都能知道它的重要性，但是，我们也不能盲目的使用大数据技术，我们要清楚的知道这项技术也是有它自身的缺陷的，我们必须要从企业实际情况出发，制定出最适合企业的财务分析战略。其次，施工企业要把大数据的理念和企业的文化有效的融合在一起，让大数据理念能够深入人心，深入到每一个员工的行为当中去。

（二）建立标准的财务分析体系大数据技术只是一项先进的数据分析技术，想要让这项技术发挥其最大的作用，施工企业需要建立标准的财务分析系统。首先，这一系统必须要与施工企业的核算系统形成很好的连接，让企业中的各种数据能够通过核算系统进行财务分析系统。其次，财务分析系统必须能够模拟经营企业的日常活动，预测财务决策可能产生的后果。再次，施工企业必须保证收集到的数据信息足够的广泛、全面，大数据技术只是对数据进行分析，如果数据本身就不准确或者数据范围狭窄，那么分析出来的数据信息质量也就无法得到保障。最后，施工企业的财务分析体系必须是从企业自身的实际情况出发，符合企业的自身需要，只有这样，通过财务分析体系进行的大数据技术分析的结果才更适合企业发展的需要。

（三）培养高素质的专业人才施工企业想要真正的运用好大数据技术，从根本上提高企业的财务分析水平，就必须要培养一支专业的财务人员队伍，他们必须拥有较高的专业素质，能够熟练的运用大数据技术，对于网络信息技术也要有一定的了解，只有正确的运用了大数据技术才能让这项技术更好的为施工企业的财务分析服务，为企业进行正确的财务决策作出自己的一份贡献。此外，施工企业要重视对员工的培训，社会是不断发展的，技术也在不断的更新，企业工作人员的技术水平必须要能够紧跟时展的脚步，财务人员必须不断的提高自己的专业水平，永远走在时代的前沿，只有这样才能为企业发展更好的服务。

四、结束语

随着我国市场经济的不断发展，大数据技术在施工企业财务分析上的运用将会越来越广泛，因此，作为国内大型的施工企业，我们必须要抓准时机，顺应时代的发展潮流，正确的运用大数据技术，更好的为企业的财务分析做出贡献，同时也有利于施工企业进一步的发展壮大。

参考文献:

[1]孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展.2013(01).

数据分析分析技术篇（11）

一、引言

随着信息技术的发展，计算机网络技术在各行各业中的应用越来越广泛,随之引发的网络安全问题也开始引起人们的关注。在信息时代，网络安全问题逐渐引起人们的重视，其不但会影响到个人信息的安全，还会影响到国家信息的安全。而随着计算机网络技术的飞速发展，网络安全分析的数据变得越来越复杂，数量越来越庞大，数量级已从TB迈向PB，涉及到的范围越来越广泛；硬件设备的性能不断提升，对信息的传输速度要求越来越高；且表现出越来越明显的分散化趋势,此外，对网络的攻击行为也变得越来越频繁，要求进一步加强对网络安全的维护。总的来说，现今网络安全分析的难度越来越大,对网络安全管理技术的要求不断提高,在这样的形势下，迫切需要引入新的技术来进行网络安全分析,以满足复杂环境下对网络安全的需要。2013年，Gartner分析数据表明，未来信息架构的发展必将以大数据技术为主导，其已在多个行业领域获得了广泛的应用。实践表明，大数据技术具有处理速度快、覆盖范围广等优点，能够完全满足网络安全分析中对数据的高效率、大容量的要求。

二、网络安全分析中大数据技术的应用

当前来说，网络安全分析面向的主要对象是日志和流量，同时还有配置、漏洞、访问、用户行为、外部报告等相关联的辅助信息。通过应用大数据技术，将过于分散的日志与流量等汇集起来，采用更为高效的采集、存储、检索、分析等手段，提升网络安全分析的效率，减少花费的时间。同时，采用关联分析等技术手段，进一步挖掘安全事故之间的内在联系，对安全漏洞、网络攻击等安全事件进行预测，不断提升网络安全性。（1）对于信息的采集。一般来说，可以使用Chukwa等进行数据采集，通过应用分布采集的方法对重要的日志信息进行全面的采集；利用常规的数据镜像的形式，可以实现全流量数据的有效采集。（2）对于信息的存储。当前的数据类型及其应用形式越来越复杂，要想满足全方位的分析需求，并提升检索与分析的效率，就要采取更具针对性的存储手段来存储对应的数据。如果是供检索的原始安全数据，包括日志信息、流量数据等，可采用GBase、Hbase等列式存储手段，其能够实现快速索引，对数据检索予以及时的响应。如果是进行标准化处理后安全数据，可利用Hahoop分布式进行构架计算，将相应的数据置于对应的节点上，利用Hive等实施脚本分析，对安全数据进行挖掘，得到详细的分析报告，再将结果放置于列式存储中。如果是需要进行实时分析的安全数据，可采用Storm、Spark等流式计算手段，将相应的数据置于对应的节点上，当数据流经过节点时，自动对其进行分析，得到详细的分析报告，再将结果放置于流式存储中。（3）对于信息的检索。对于数据的检索可以采用基于MapReduce的技术架构，将数据查询的请求发送到各个节点进行处理，通过分布式的并行计算，进一步提高数据信息的检索速率。（4）对于数据的分析。一般来说，可采用Storm或者Spark等架构为基础来进行数据的分析，并结合复杂事件处理方法等。通过以上方法对数据内存、监控信息与关联信息等进行及时的分析，可以有效地捕获到异常行为。非实时数据的分析，可采用Hadoop架构，结合HDFS分布式存储和MapReduce分布式计算方法，离线统计风险事故、分析原因、寻找攻击源。（5）多源数据与多阶段组合的关联分析。大数据技术的应用，可以有效的提升数据分析效率，在较短的时间内对多源异构数据进行分析，关联分析网络系统的安全隐患、关联分析不同时段的攻击行为等。比如，对可能的僵尸网络实施分析，不仅可以结合流量同DNS的访问特性，还可以进一步的拓展数据源，对数据信息进行更加深入的分析。又比如，发觉某台设备被攻击，或者存在安全隐患，通过分析系统中的其他主机是否也遭受了同样的攻击，或者存在同样的隐患，从而更早的发现隐患，予以更加有效的防范。

结束语：

随着计算机网络技术的发展，网络安全问题引起人们更多的重视，面对愈加复杂的网络环境，为了加强对网络安全的维护，提升数据信息的处理效率，将大数据技术应用到网络安全分析中。研究表明，大数据技术具有处理速度快、覆盖范围广等特点，能够满足网络安全分析中对数据的高效率要求。本文就网络安全分析中大数据技术的应用进行了探讨，通过应用更为高效的采集、存储、检索、分析等数据处理手段，有效提升网络安全分析的效率。

参考文献

[1]孙玉.浅谈网络安全分析中的大数据技术应用[J].网络安全技术与应用,2017(4):102-102.