欢迎访问发表云网!为您提供杂志订阅、期刊投稿咨询服务!

网络流量分析的方法大全11篇

时间:2023-06-05 15:19:20

网络流量分析的方法

网络流量分析的方法篇(1)

网络流量分析是一个有助于网络管理者进行网络优化、网络监控、流量趋势分析等工作的工具,进而挖掘网络资源潜力,控制网络互联成本,并为网络规划、优化调整和业务发展提供基础依据,企业需要及时了解到网络中承载的业务,及时掌握网络流量特征,及时解决网络性能问题。从这些企业管理网络中所经常遇到的问题来看,需要有一种解决方案能让网络管理人员及时了解到详细的网络使用情形,使网络管理人员及时了解网络运行状况,及时清楚网内应用的执行情况。随着网络的发展,流量分析工作将在网络管理中起到越来越重要的作用。

1.网络流量分析方法

网络流量是单位时间内通过网络设备或传输介质的信息量。网络流量分析根据不同的方法可以从不同的侧面展开,目前,主要的分析方法有流量的统计分析和流量的粒度分析等。

1.1 网络流量的统计分析

(1)基于软件的流量统计

这种统计分析一般通过修改安装于主机上的操作系统的网络接口模块,使之具有捕获数据包的功能,以实现流量信息的收集和分析。基于硬件的流量统计效率很高,专用性强,但是价格昂贵对人员要求高,而基于软件的流量统计有价格便宜,实现灵活,扩展性强的优点,但其性能要低于基于硬件的统计技术。因此,流量统计方法有待进一步的提高,以适应网络快速发展的需求。

(2)基于硬件的流量统计

此类分析通常采用硬件测量设备,是一种为特定目的设计的用于收藏和分析流量数据的硬件设备。

1.2 网络流量的粒度分析

网络流量行为特征的分析还可以在不同测量粒度或者不同的层面上展开。

比特级(Bit-level)的流量分析,这种分析主要关注网络流量的数据特征,如网络线路的传输速率,吞吐量的变化等等。

分组级(Packet-level)的流量分析,此类分析主要关注的是IP分组的到达过程、延迟、抖动和丢包率等。

流级(Flow-level)的流量分析,Flow的划分主要依据地址和应用协议而展开的,它主要关注流的到达过程、到达间隔及其局部的特征。

上面流量的粒度由小到大递增,时间尺度也逐渐增大,不同时间尺度网络流量往往表现出不同的行为规律。通常,网络设备本身都提供基于IP分组头的分析功能,因此,Flow-level的流量分析成为发展趋势。

2.网络流量分析常用技术

随着计算机技术的发展,网络流量分析技术也与时俱进。既有传统的数据库的网络管理技术,也有面向开放式互联网的网络分析技术。目前,在网络流量分析中占据主流的常用分析技术主要有:

2.1 RMON技术

RMON(远程监控),是由IETF定义的一种远程监控标准,RMON是对SNMP标准的扩展,它定义了标准功能以及网管站和远程监控器之间的接口,实现对一个网段乃至整个网络的数据流量的监视功能。RMON监控器叮用两种方法收集数据:一种是通过专用的RMON探针(Probe),流量探针安装方便,但是流量探针价格昂贵,不适合大面积部署。另一种方法是将RMON直接植入网络设备(路由器、交换机、HUB等),但这种方式受网络设备资源限制,一般不能获取RMONMIB的所有数据,大多数只收集统计量、历史、告警、事件等四个组的信息。

2.2 SNMP技术

SNMP是用标准化方法定义的,通常一个标准的网管系统包括三个组成部分:SNMP协议,这包括理解SNMP操作、SNMP消息的格式以及如何在应用程序和设备之间交换信息;管理信息结构,它是用于指定一个设备维护的管理信息的规则集;管理信息库,它是设备所维护的全部被管理对象的结构集合。基于SNMP的流量分析就是通过SNMP协议访问设备获取MIB库中的端口流量信息,典型工具有MRTG,MRTG是一个使用的免费软件,通过SNMP协议从设备得到流量信息,将流量负载情况绘制成PNG格式图片,并以WEB形式显示给用户。由于M RTG使用起来很方便,能够直观显示端口流量负载,所以是各类网管人员常用的网络监视工具。但MRTG的功能比较单一,其收集到的流量信息仅是简单的端口出、入流量统计信息,不能深入分析包的类型、流向等信息。

2.3 s Flow技术

s Flow是由InMon﹑HP和Foundry Networks于2001年联合开发的一种网络监测技术,它采用数据流随机采样技术,可提供完整的第一层到第四层,甚至全网络范围内的流量信息,可以适应超大网络流量(如人于10Gbit/s)环境下的流量分析,让用户详细、实时地分析网络传输流的性能、趋势和存在的问题。sFlow技术有很多优点:成本低廉;在不断发展升级当中,能在没有消耗额外资源的环境监测万兆网络,不会带来新的网络冲突;有自己的一套准确可靠的计量方式;数据信息量人。sFlow已经成为一项线速运行的“永远在线”技术,可以将sFlow技术嵌入到网络路由器和交换机ASIC芯片中。与使用镜像端口、探针和旁路监测技术的传统网络监视解决方案相比,sFlow能够明显地降低实施费用,同时可以使实现而向每一个端口的全企业网络监视解决方案成为可能。

3.网络流量分析技术的应用

网络流量分析起着一个衔接的作用,主要利用网络流量测量部分收集到的各种流量信息,通过运用不同的方法对其进行分析和建模,以发现流量的特性,对网络性能做出客观的评价,并以此作为对网络进行控制和优化的依据。网络流量分析技术的应用主要包括以下儿个方面:

3.1 实施安全预警

网络流量异常会严重影响网络性能,造成网络拥塞,严重的甚至会网络中断,使网络设备利用率达到100%无法响应进一步的指令。通过对网络内流量的实时分析,有助于及时发现网络中出现的异常流量,迅速分析出异常流量的具体属性,并向网络管理者进行告警,判断是否出现了入侵,并按照事先拟定的规则集进行处理,记录异常情况发生时的详细网络状况,使入侵得到及时发现和处理。

3.2 分析用户行为

根据分析结果,进行相应网络内容的建设!将用户感兴趣的热点信息内容放到内部网络,减轻互联链路的压力。

3.3 节省运营费用

通过对网络出口流量和流向的分析,可以统计出业务类型、服务等级、通信时间和时长、通信数据量等参数,可以详细了解网络内部用户对其他外部网络的访问情况,为基于IP的计费应用和SLA的校验服务提供数据依据,从而有效地选择与其他运营商的互联方式,节省费用。

3.4 优化网络结构

通过对网络中一些特定流量的长期监控,获得网络流量数据后对其进行统计和计算。从而得到网络及其主要成分的性能指标,定期形成性能报表,并维护网络流量数据库或日志存储网络及其主要成分的性能的历史数据,可供网管人员正确分析网络使用状况,对网络及其主要成分的性能进行性能管理。通过数据分析获得性能的变化趋势,分析制约网络性能的瓶颈问题。

3.5 评估网络价

通过对各个分支网络出入流量的监控,分析流量的大小﹑去向及内容组成,了解各分支网络占用带宽的情况。从而反映其占用的网络成本,也可以了解其业务开展情况,并作出价值评估。

3.6 确定重点客户

通过对重要应用和大客户的流量进行统计分析。掌握重要应用和大客户的流量状况,进行网络带宽的成本分析。有助于在网络服务质量和网络成本之间取得最佳平衡。

4.网络流量分析的重要性

相对于网络管理人员来说,理解用户的网络行为网络流量的内容是网络管理的重要内容,它为日常网络管理﹑容量规划与未来网络升级等提供重要依据,通过网络流量分析,可以提供大量详尽的数据,供网管人员从很多方面进行更好地维护﹑优化网络,并且提升网络的性能;同时还能为业务应用层面提供数据依据,为特定客户提供流量分析服务。比如网站流量统计分析等;也可作为网络安全的辅助手段,处理网络病毒等异常事件。在病毒分析时,网络管理员需要知道哪些端口发送的数据发生了较大变化,因此,对网络流量的分析可以为网络的运行和维护提供重要信息和深层次的管理功能,很好地发挥网络管理作用。对于网络性能分析﹑异常监测﹑链路状态监测﹑容量规划等发挥着重要作用。为网络发展和网络优化提供更优质﹑更有效的技术支撑和技术服务,可以预见,随着网络的发展,流量分析工作将在网络管理中起到越来越重要的作用。

参考文献

网络流量分析的方法篇(2)

    网络流量性能测量与分析涉及许多关键技术,如单向测量中的时钟同步问题,主动测量与被动测量的抽样算法研究,多种测量工具之间的协同工作,网络测量体系结构的搭建,性能指标的量化,性能指标的模型化分析,对网络未来状态进行趋势预测,对海量测量数据进行数据挖掘或者利用已有的模型(petri网、自相似性、排队论)研究其自相似特征,测量与分析结果的可视化,以及由测量所引起的安全性问题等等。

    1.在IP网络中采用网络性能监测技术,可以实现

    1.1 合理规划和优化网络性能

    为更好的管理和改善网络的运行,网络管理者需要知道其网络的流量情况和尽量多的流量信息。通过对网络流量的监测、数据采集和分析,给出详细的链路和节点流量分析报告,获得流量分布和流向分布、报文特性和协议分布特性,为网络规划、路由策略、资源和容量升级提供依据。

    1.2 基于流量的计费

    现在lSP对网络用户提供服务绝大多数还是采用固定租费的形式,这对一般用户和ISP来说,都不是一个好的选择。采用这一形式的很大原因就是网络提供者不能够统计全部用户的准确流量情况。这就需要有方便的手段对用户的流量进行检测。通过对用户上网时长、上网流量、网络业务以及目的网站数据分析,摆脱目前单一的包月制,实现基于时间段、带宽、应用、服务质量等更加灵活的交费标准。

    1.3 网络应用状况监测与分析

    了解网络的应用状况,对研究者和网络提供者都很重要。通过网络应用监测,可以了解网络上各种协议的使用情况(如www,pop3,ftp,rtp等协议),以及网络应用的使用情况,研究者可以据此研究新的协议与应用,网络提供者也可以据此更好的规划网络。

    1.4 实时监测网络状况

    针对网络流量变化的突发性特性,通过实时监测网络状况,能实时获得网络的当前运行状况,减轻维护人员的工作负担。能在网络出现故障或拥塞时发出自动告警,在网络即将出现瓶颈前给出分析和预测。现在随着Internet网络不断扩大,网络中也经常会出现黑客攻击、病毒泛滥的情况。而这些网络突发事件从设备和网管的角度看却很难发现,经常让网络管理员感到棘手。因此,针对网络中突发性的异常流量分析将有助于网络管理员发现和解决问题。

    1.5 网络用户行为监测与分析

    这对于网络提供者来说非常重要,通过监测访问网络的用户的行为,可以了解到:

    1)某一段时间有多少用户在访问我的网络。

    2)访问我的网络最多的用户是哪些。

    3)这些用户停留了多长时间。

    4)他们来自什么地方。

    5)他们到过我的网络的哪些部分。

    通过这些信息,网络提供者可以更好的为用户提供服务,从而也获得更大的收益。

    2.网络流量测量有5个要素:

    测量时间、测量对象、测量目的、测量位置和测量方法。网络流量的测量实体,即性能指标主要包括以下几项。        2.1 连接性

    连接性也称可用性、连通性或可达性,严格说应该是网络的基本能力或属性,不能称为性能,但ITU-T建议可以用一些方法进行定量的测量。

    2.2 延迟

    对于单向延迟测量要求时钟严格同步,这在实际的测量中很难做到,许多测量方案都采用往返延迟,以避开时钟同步问题。

    2.3 丢包率

    为了评估网络的丢包率,一般采用直接发送测量包来进行测量。目前评估网络丢包率的模型主要有贝努利模型、马尔可夫模型和隐马尔可夫模型等等。

    2.4 带宽

    带宽一股分为瓶颈带宽和可用带宽。瓶颈带宽是指当一条路径(通路)中没有其他背景流量时,网络能够提供的最大的吞吐量。

    2.5 流量参数

    ITU-T提出两种流量参数作为参考:一种是以一段时间间隔内在测量点上观测到的所有传输成功的IP包数量除以时间间隔,即包吞吐量;另一种是基于字节吞吐量:用传输成功的IP包中总字节数除以时间间隔。

    3.测量方法

    Internet流量数据有三种形式:被动数据(指定链路数据)、主动数据(端至端数据)和BGP路由数据,由此涉及两种测量方法:被动测量方法和主动测量方法然而,近几年来,主动测量技术被网络用户或网络研究人员用来分析指定网络路径的流量行为。

    3.1 主动测量

    主动测量的方法是指主动发送数据包去探测被测量的对象。以被测对象的响应作为性能评分的结果来分析。测量者一般采用模拟现实的流量(如Web Server的请求、FTP下载、DNS反应时间等)来测量一个应用的性能或者网络的性能。由于测量点一般都靠近终究端,所以这种方法能够代表从监测者的角度反映的性能。

    3.2 被动测量

    被动测量是在网络中的一点收集流量信息,如使用路由器或交换机收渠数据或者一个独立的设备被动地监测网络链路的流量。被动测量可以完全取消附加流量和Heisenberg效应,这些优点使人们更愿意使用被动测量技术。有些测度使用被动测量获得相当困难:如决定分缩手缩脚一所经过的路由。但被动测量的优点使得决定测量之前应该首先考虑被动测量。被动测量技术遇到的另一个重要问题是目前提出的要求确保隐私和安全问题。

    3.3 网络流量抽样测量技术

    选择部分报文,当采样时间间隔较大时,细微的网络行为变化就无法精确探测到。反之,抽样间隔过小时,又会占用过多的带宽及需要更大的存储能力。采样方法随采样策略的不同而不同,如系统采样或随机采样;也随触发采样事件的不同而不同。如由报文到达时间触发(基于时间采样),由报文在流中所处的位置触发(基于数目采样)或由报文的内容触发(基于内容采样)。为了在减少采样样本和获取更精确的流量数据之间达到平衡。

网络流量分析的方法篇(3)

网络流量性能测量和分析涉及许多关键技术,如单向测量中的时钟同步新问题,主动测量和被动测量的抽样算法探究,多种测量工具之间的协同工作,网络测量体系结构的搭建,性能指标的量化,性能指标的模型化分析,对网络未来状态进行趋向猜测,对海量测量数据进行数据挖掘或者利用已有的模型(petri网、自相似性、排队论)探究其自相似特征,测量和分析结果的可视化,以及由测量所引起的平安性新问题等等。

1.在IP网络中采用网络性能监测技术,可以实现

1.1合理规划和优化网络性能

为更好的管理和改善网络的运行,网络管理者需要知道其网络的流量情况和尽量多的流量信息。通过对网络流量的监测、数据采集和分析,给出具体的链路和节点流量分析报告,获得流量分布和流向分布、报文特性和协议分布特性,为网络规划、路由策略、资源和容量升级提供依据。

1.2基于流量的计费

现在lSP对网络用户提供服务绝大多数还是采用固定租费的形式,这对一般用户和ISP来说,都不是一个好的选择。采用这一形式的很大原因就是网络提供者不能够统计全部用户的准确流量情况。这就需要有方便的手段对用户的流量进行检测。通过对用户上网时长、上网流量、网络业务以及目的网站数据分析,摆脱目前单一的包月制,实现基于时间段、带宽、应用、服务质量等更加灵活的交费标准。

1.3网络应用状况监测和分析

了解网络的应用状况,对探究者和网络提供者都很重要。通过网络应用监测,可以了解网络上各种协议的使用情况(如www,pop3,ftp,rtp等协议),以及网络应用的使用情况,探究者可以据此探究新的协议和应用,网络提供者也可以据此更好的规划网络。

1.4实时监测网络状况

针对网络流量变化的突发性特性,通过实时监测网络状况,能实时获得网络的当前运行状况,减轻维护人员的工作负担。能在网络出现故障或拥塞时发出自动告警,在网络即将出现瓶颈前给出分析和猜测。现在随着Internet网络不断扩大,网络中也经常会出现黑客攻击、病毒泛滥的情况。而这些网络突发事件从设备和网管的角度看却很难发现,经常让网络管理员感到棘手。因此,针对网络中突发性的异常流量分析将有助于网络管理员发现和解决新问题。

1.5网络用户行为监测和分析

这对于网络提供者来说非常重要,通过监测访问网络的用户的行为,可以了解到摘要:

1)某一段时间有多少用户在访问我的网络。

2)访问我的网络最多的用户是哪些。

3)这些用户停留了多长时间。

4)他们来自什么地方。

5)他们到过我的网络的哪些部分。

通过这些信息,网络提供者可以更好的为用户提供服务,从而也获得更大的收益。

2.网络流量测量有5个要素摘要:

测量时间、测量对象、测量目的、测量位置和测量方法。网络流量的测量实体,即性能指标主要包括以下几项。2.1连接性

连接性也称可用性、连通性或可达性,严格说应该是网络的基本能力或属性,不能称为性能,但ITU-T建议可以用一些方法进行定量的测量。

2.2延迟

对于单向延迟测量要求时钟严格同步,这在实际的测量中很难做到,许多测量方案都采用往返延迟,以避开时钟同步新问题。

2.3丢包率

为了评估网络的丢包率,一般采用直接发送测量包来进行测量。目前评估网络丢包率的模型主要有贝努利模型、马尔可夫模型和隐马尔可夫模型等等。

2.4带宽

带宽一股分为瓶颈带宽和可用带宽。瓶颈带宽是指当一条路径(通路)中没有其他背景流量时,网络能够提供的最大的吞吐量。

2.5流量参数

ITU-T提出两种流量参数作为参考摘要:一种是以一段时间间隔内在测量点上观测到的所有传输成功的IP包数量除以时间间隔,即包吞吐量;另一种是基于字节吞吐量摘要:用传输成功的IP包中总字节数除以时间间隔。

3.测量方法

Internet流量数据有三种形式摘要:被动数据(指定链路数据)、主动数据(端至端数据)和BGP路由数据,由此涉及两种测量方法摘要:被动测量方法和主动测量方法然而,近几年来,主动测量技术被网络用户或网络探究人员用来分析指定网络路径的流量行为。

3.1主动测量

主动测量的方法是指主动发送数据包去探测被测量的对象。以被测对象的响应作为性能评分的结果来分析。测量者一般采用模拟现实的流量(如WebServer的请求、FTP下载、DNS反应时间等)来测量一个应用的性能或者网络的性能。由于测量点一般都靠近终究端,所以这种方法能够代表从监测者的角度反映的性能。

3.2被动测量

被动测量是在网络中的一点收集流量信息,如使用路由器或交换机收渠数据或者一个独立的设备被动地监测网络链路的流量。被动测量可以完全取消附加流量和Heisenberg效应,这些优点使人们更愿意使用被动测量技术。有些测度使用被动测量获得相当困难摘要:如决定分缩手缩脚一所经过的路由。但被动测量的优点使得决定测量之前应该首先考虑被动测量。被动测量技术碰到的另一个重要新问题是目前提出的要求确保隐私和平安新问题。

3.3网络流量抽样测量技术

网络流量分析的方法篇(4)

中图分类号 TN91 文献标识码 A 文章编号 1674-6708(2016)166-00104-01

近年来宽带网络一直保持高速增长,光纤到桌面已基本实现,但网络中巨大的流量会对网络产生怎样的影响,这些流量是如何构成的,始终是一个问题。通过对宽带流量的分析我们可以知道流量的源头和目的、知道协议分布、知道端口情况、知道通信经营指标等、当然最重要的还有数据的安全性。

不同的网络,不同观察点,不同时间的网络流量因网络规模,业务种类,用户构成和使用习惯的不同而不同,甚至受突发事件的影响,网络流量在体量规模,构成成分和比例上都有所不同。一个好的流量分类分析系统,应满足部署位置上的可移植性,流量规模的可伸缩性,时间演进的自适应性。这时系统不仅需要采用先进的分类技术,也需要代表性的训练数据集来确定系统运行参数。数据集主要采用2种方式:PCAP格式和NETFLOW格式,前者捕获的是包级记录,后者则是关于流级得统计信息记录。

宽带流量的分析和检测首先要进行流量的采集,这项工作可以通过交换机或路由器的镜像端口实现,也可以通过光缆分光的方式实现。对捕获的数据进行计算和统计,并把统计数据写入数据库,定期形成网络性能和流量参数的报表,用作分析的依据,在形成足够数量的报表数据后,可以分析数据和系统性能变化的趋势,判断网络是否存在瓶颈,并依据经验,形成经验数据库,使网管系统具备学习的基础和能力。在出现告警或异常情况时,可用来分析对比,判断是否出现了网络的攻击和入侵,判断恶意数据出现的源头和特征,足够数量的数据报表也可以指导各类应急预案的制定,在出现异常情况时可按照事先拟定的规则进行处理。

对于宽带流量的分析和分类,系统需要进行统计模型的学习,统计模型的学习可以分为监督学习和非监督学习方法。所谓的监督学习是需要使用已经标注过的数据集合作为经验知识,对宽带流量的参数和算法进行训练;而非监督学习则不需要使用已经标注过的数据集进行训练,只是根据相关算法对宽带流量集进行汇聚。对数据集的训练过程中需要由经验丰富的专家参与,并进行大量的基础数据分析工作,网络经验数据集是流量分析的重要构成因素。在实际分析过程中,由于宽带核心网络的流量巨大,所以高性能的预处理路由器和大规模刀片服务器必不可少。为了提高分析效率,可以只分析单向流量,并且在预处理过程中将IP数据报文的载荷去掉。但由于各种网络协议不断演进,加密的流量不断增加,各种新应用不断出现,网络数据集的标注也变得越来越困难。

网络流量的分类和分析中对于标准协议的分析最为准确,可根据TIP/IP协议簇中标准的服务端口号对流量报文进行匹配,并根据端口号的不同将流量对应为不同的应用。非标准协议可以使用DPI(深度包检测)在应用层对流量进行特征字符串的分析匹配,由于不同的应用在TCP/UDP的数据包中包含特征字符串,因此在掌握的不同网络应用的特征字符串后,可以将网络流量精确的分类和匹配,缺点是需要消耗较多的系统资源。但很多网络应用的特征字符串难找易变,代表性差及加密度高等问题,也导致误检率和检全率下降。流量分析监控和网络应用的发展一直是不断演变的矛盾。

基于协议的分类方法需要分析每种协议的特定的行为特性,标准的通信协议易于掌握,私有协议比如P2P或VOIP等基于软硬件客户端的应用则会有较多的变化,或进行加密使用就会影响流量分析的效果,甚至无法识别。有时同一应用软件的不同版本间也会出现不同的流量特征,即版本的变化会造成协议特征的变化。另外,网络中的单向流量、数据的时延、抖动都会对流量分析的算法产生影响。以上这些因素都是流量分析的难点和痛点。

运营商的骨干网络逐渐向扁平化发展,网络出口的数量增加和结构日趋复杂,及动态路由算法的大量使用,使得网络流量在多条链路或多个不同ISP之间动态调配,导致在某个观察点只能得到部分流量,这对于依赖双向流量特征的分析方法无法实施。基于P2P的应用目前也在不断扩大,P2P的发展使得应用和传输分离,应用端点和传输分离,打破了原有的B/S或C/S的传统传输模式,多源头并发传输使得流量特征模糊化,使得数据采集的有效性无法保障。还有一些网络应用为了逃避被检测到,常常采用已知协议的方法,例如FTP、HTTP、POP3等,由于IP地址的区分,冒用已知协议并不会影响正常网络通信,但给流量分析带来很大难度。

宽带网络流量分析不仅可以使我们可以清楚的知道网络流量的内容,还可以为网络建设、网络优化、运营管理、网络安全保障提供依据和手段。同时,网络应用在不断推陈出新,各种私有化的协议和加密方法不断出现,且由于用户接入带宽的不断提高,核心网流量呈几何速度增长,这些因素在客观上也大大增加了网络流量分析的难度和成本。现有的网络流量分析再次面临挑战,网络流量的分析研究工作需要不断深入进行。

参考文献

[1]Nader F.Mir.计算机与通信网络[M].潘淑文,等,译.北京:中国电力出版社,2010,1.

网络流量分析的方法篇(5)

1、网站流量分析

安装一套流量统计系统,可以清晰的判断网站目前所有营销手段的效果,并且还可以分析到:

(1)、流量来路统计

可以清晰的统计到每年、每月、每日、客流是通过什么渠道来到网站的。可以清晰判断各种推广方法的效果。

(2)、浏览页面和入口分析

可以判断网站中那个页面被流量的次数多,并且可以分析出客流是从那个页面进入网站的。

(3)、客流地区分布

清晰的分析出,网站浏览者的地区分布,并且以图表方式显示出各个地区流浪者的比例。

(4)、搜索引擎与关键词分析

分析通过各个搜索引擎所带来的流量比例,并且可以分析出客流是通过搜索什么关键词来到网站的。

(5)、客户端分析

可以分析出客户端使用的操作系统等信息。

2、站点页面分析

(1)、主页面整体分析

(2)、页面标签分析

(3)、超链接检查

(4)、浏览速度分析

(5)、源代码设计分析

3、网站运用技术和设计分析

(1)、分析目前技术是否采用合理

(2)、分析网站构架是否合理

(3)、分析网站设计是否有亲和力、是否容易阅读

4、网络营销基础分析

(1)、关键词分析

(2)、搜索引擎登记状况分析

(3)、搜索引擎排名状况分析

(4)、交换链接相关性

(5)、网络营销主要方法分析

5、网站运营分析

(1)、网络投资分析

(2)、网站运营策略分析

二、网站优化

1、网站结构优化

网站导航、页面布局优化

2、网页标签优化

网页TITIEL 关键词标签、网页简介标签,图片注释、等方面的优化

3、网页减肥压缩

专门的网页减肥压缩软件对网页系统的进行压缩,提高页面流量速度。

4、超链接优化

超连接结构、超链接注释、超连接路径优化

5、页面内容优化

对主要页面内容进行调整、排版进行优化,让内容更容易阅读。

三、网站推广

通过对网站进行综合的分析后,选择网络推广方法,在众多网络推广方法当中,最重要的方法就是搜索引擎排名。因为其他的方法都是比较花钱而且效果短暂的,而搜索引擎排名做好以后,它可以长期为你带来高质量的流量。一个网站的流量80%都是由搜索引擎带来的。

1、搜索引擎排名

(1)关键词选择

(2)搜索引擎登陆

包括GOOGLE、yahoo、MSN等。

(3)搜索引擎排名

通过我们专长的SEO技术对网站整体进行优化,使尽可能多的词在各个搜索引擎的排名提升,以提高网站的流量。

2、相关链接交换

与相关网站进行友情链接交换。

3、网络广告投放

在网站运作过程之中,建议投放一些有效的网络广告。

对待网站推广方法,我们选择不追求多,而是追求最有效。对于一般的网站,80%以上的流量均来自以上网络营销渠道。

四、网络营销培训

授人与鱼不如授人于渔,通过网络,我们将对贵方网络技术人员进行培训,使其很快掌握网络营销与网站运营的秘诀,使贵方网站在我方为其打下很好的营销基础后,能够稳定、持续的保持其向前发展。

1、网络营销培训

网络营销各种方法与策略、以及相关细节。网络营销、细节之胜。

2、网站运营培训

网络流量分析的方法篇(6)

1概述 随着互联网的快速发展,人们不断在互联网的数据采集和分析方面进行深入研究和系统开发,以期能向社会提供丰富的统计和决策分析信息,同时提高对互联网业务的控制和监管。国内外互联网数据采集分析方法主要分为3类,即采用SNMP协议、RMON协议或NetFlow技术采集数据。但是国内外同类产品在具体应用中都有一定的局限性[1]。考虑到应用的安全性,更希望能采用具有国内自主知识产权的产品。 本文对数据汇聚分发和采集分析进行了研究,开发了一套集数据汇聚、分发、采集和分析于一体的综合系统。 2互联网流量汇聚分发采集分析系统总体框架 本文系统主要用于提供复杂接入环境下多链路数据采集、互联网原始数据分发、综合数据、综合流量识别与分析等服务,系统的研制目标包括以下4个方面: (1)多路接入环境下多条大容量链路数据进行汇聚,汇聚的接入链路包括光纤、电路2类,数据类型包括以太、ATM2种格式。 (2)对多条大容量链路数据进行分发,将多路汇聚后的数据向数据输出端若干组端口实时并行发送。数据分发的目的包括信息安全、国家安全、公共安全等。 (3)实时采集大容量多路原始数据,并生成网络数据会话流。 (4)基于应用协议进行数据识别及实时统计分析,为其他应用系统提供灵活的数据格式和分析结果。 3系统关键技术实现 本文系统的实现主要从数据汇聚分发和数据采集分析两方面进行关键技术研发。 3.1数据汇聚分发 数据汇聚分发的主要功能是在多路接入环境下将多条大容量链路的数据进行汇聚和分发。各链路数据进行汇聚分发时,系统数据输入端配置N个输入端口,数据输出端可以分不同组别进行分发。按照不同需求,系统输出可以分为4类: (1)单/双端口万兆输出;(2)N个端口千兆输出;(3)M个端口千兆输出(M<N);(4)N个端口百兆输出。在研发中,基于H3CS9500系列核心交换机,联合杭州华三公司进行了二次定制开发,实现了数据的汇聚和分发系统,其关键技术包括:(1)利用虚拟管道使不同流量进入不同复制域虚拟管道是利用标签而衍生出来的,指汇聚分发的报文进入S9500后,S9500采用内部标签标识,利用标签技术对相应的报文增加不同的标签进行标识。对不同的输入端报文构建了不同的虚拟管道,不同输入端的报文可以不考虑其带有冲突的802.1q内容,从而为不同客户划定不同的复制域,这些复制域还同时具有防802.1q冲突的能力。 这里只需设置不同客户接入端口为虚拟管道入口,而各输出端口为各自的虚拟管道出口。在管道中,通过硬件底层下发访问控制列表(AccessControlList,ACL)规则,使流量只能从管道的入口进、管道的出口出,因此,不会出现环路风暴问题。 (2)以组播技术实现每个复制域内单播报文的多份复制IP组播报文在路由器、交换机的转发是一对多的转发,IP组播报文进入S9500后,直接进入硬件的组播交换引擎,查找组播硬件转发表,确定下一跳和出接口列表,并完成报文目的和源地址内容的修改,在组播引擎完成组播报文的多份复制后,从各个出接口送出。 3.2数据采集分析 在数据采集分析模块开发中,联合上海直真视通公司,实现该模块的关键技术包括: (1)流量捕获 基于端口识别网络流量的传统方法已不适用于识别新型的、复杂互联网应用类型产生的流量,应用级流量采集与分析应采用数据包深度分析技术识别网络流量。本文系统采用了高性能网卡加Libpcap软件的方式捕获数据包。Libpcap是Unix/Linux平台下通用的数据包捕获函数包。捕获数据包时,Libpcap将网卡设置为混杂模式,在内核空间内复制网络驱动程序读取的数据包,再传递到用户空间。Libpcap捕获数据包需要二次内存复制,限制了其捕获性能,因此,采用了零拷贝和负荷平衡方法来改进Libpcap[2]。 (2)网络流生成 网络流生成是将链路上获取的原始数据包归并为网络流形式输出。网络流是对一个测量间隔内一些具有相同属性的数据包集合的抽象描述,可以定义为一个测量间隔内具有相同(源IP地址,目的IP地址,源端口,目的端口,协议类型)五元组的网络包集合,它是一种单向的、细粒度的流量聚合形式。 网络流生成过程如下:网络流生成器在内部维持当前活跃网络流的记录缓存结构,当捕获到新的原始数据包时,网络流生成器判断这个数据包是否属于当前活跃网络流,如果是,修改网络流相关信息;如果不是,创建新的网络流记录并设置网络流相关信息。 (3)网络流应用类型识别 本文系统的应用级流量采集与分析方法首先在网络流生成的同时,融合多种流量识别算法识别网络流的应用类型。 目前互联网上常见的协议和应用主要包括传统型(HTTP、研制了网络协议分析和识别系统TAS,其核心为iSIE互联网会话识别引擎。TAS由采集探针和协议分析引擎两部分组成,如图2所示。其中,采集探针负责采集宽带流量数据并进行预处理,将预处理结果提供给协议分析引擎;协议分析引擎能够接收一个或者多个探针的预处理数据,并对这些预处理数据进行综合分析,统计、识别协议类型,将分析结果存入数据库。 在具体实现时,将流量采集与分析分为多个阶段来实现,包括原始流量捕获、会话流生成、会话流存储、流量分析和信息呈现。其中的流量分析主要使用网络流应用类型识别和基于网络流关联识别应用类型的方式进行流量识别和实时统计。#p#分页标题#e# FTP、Telnet、SSH、DNS等)、多媒体/流媒体(SIP、MMS、RTP、Q.931、H.245等)、P2P(thunder、pplive、ppstream等)、游戏和互联网磁盘等。按照通信模式或会话结构,可以将这些互联网应用采用的会话结构分为5类,针对上述5种不同会话结构的互联网应用,本文采用的流量识别和分析算法包括: 1)基于端口识别的方法 基于端口识别的方法适合TypeS-F-2类型的应用,准确度较高。该方法依据流量使用的端口识别应用类型,分3种情况:使用IANA组织分配的公认端口;企业开发的专用协议或应用使用在IANA组织注册的登记端口;国内开发的流行协议或应用也使用专用端口。 2)基于协议解析的方法 基于协议解析的方法适合TypeM-D-2类型的应用,用于识别一些使用动态端口的网络应用产生的流量。这类应用的特点是先通过一个公开的固定端口建立一个控制会话,在控制会话中协商出之后的数据会话的动态端口。有些应用则是在协商出数据会话的动态端口之前还有一个二级控制会话的端口协商过程。除了流量和流向外,这些应用往往还关注连接时长、适用的音视频编解码算法、音视频质量等信息,因此,有必要对有效负荷进行解析。首先建立一个描述控制会话端口的表CPT,再通过动态会话流端口解析算法DSPP(DynamicSessionPortParsing)解析协议,算法具体步骤如下:步骤1如果CPT中存在网络包主端口,且无FIN标志,执行步骤2~步骤5;否则,执行步骤6。 步骤2由分派函数指派相应的协议解析函数,对有效负荷进行协议分析。 步骤3如果协议分析结果正确,则为该应用建立会话流,并且解析出后续动态会话端口;否则,该网络包视为其他应用,参与其他应用的分析。 步骤4如果所属应用有二级会话,继续执行步骤2、步骤3,直至解析出数据会话端口。 步骤5所有属于二级控制会话和数据会话的网络包都属于该应用的这个会话流。步骤6如果收到断开连接的网络包或超时后会话流数据包不再到达,则会话流结束。 3)基于特征识别的方法 基于特征识别的方法适于部分TypeM-F-3和TypeM-D-3类型的应用,对机器性能要求高,且对大部分流量无效。该方法使用特征匹配技术发现已知应用和网络行为,可以将特征匹配技术应用于识别网络流量的应用类型[3]。基于特征识别方法是检查一个网络流前几个数据包的负载部分,确定是否存在预定义的应用特征码。 4)网络流关联识别的方法 网络流关联识别的方法适合TypeM-F-2、TypeM-F-3和TypeM-D-3的应用。在一般的网络应用分析中,采用传统基于数据包的模式匹配算法或会话数据流重组算法对网络行为进行管理[4]。本文提出基于网络流关联识别的加权会话流关联映射分组算法WSFRG(WeightedSessionFlowRelationship-mappingGrouping),将一些具有时间、空间属性相似性的网络流相关联,将获取的交互图与已知网络应用的会话结构做比较,由此识别应用类型。WSFRG算法将独立的网络流按照关联管理组合成网络流组,这些组属于同一种应用:首先按照属性依赖关系进行分组,称作属性依赖分组(PropertyDependencyGrouping,PDG),将网络流进行关联合并,形成PDG组。在此基础上,按照一定权重将在源、目的地址上存在关联关系的PDG组进行关联合并,称为LDG(LocationDependencyGrouping),最后形成LDG组。经过上述2个步骤合并后的网络流组的数目会有所减少,根据这些流组信息进行应用类型分析,对于未知应用类型的流组,包含的信息也可以提供给离线的应用分析作为参考。 4系统实施效果 本文系统经过一段时间的试用后,在应用协议识别和流量采集方面体现了较好的性能,可以识别90%以上流量中的应用协议,同时识别协议的种类超过2000种。经过上海市软件测评中心的第三方测试,系统与国内外同类型产品相比,具有较高的技术水平,尤其在协议识别、流量控制方面超过同类产品[5]。本文系统应用于上海互联网络交换中心后,明显节省了交换中心会员单位的重复建设费用、政府相关服务部门的数据采集费用以及互联网运营商的通信带宽费用。 5结束语 本文利用虚拟管道、组播、网络数据采集与协议分析等技术,设计实现了一个面向IP网络的数据汇聚分发采集分析系统。目前系统已经基本具备推广使用的基础,可以应用于政府、运营商、公益服务机构、信息安全等领域的互联网监管和应急防范。

网络流量分析的方法篇(7)

路由器、交换机、宽带接入服务器是构成宽带网络的主要网络设备,一般数据网管系统可以看到每一台设备的CPU、内存、端口流量、路由数据库等网络信息,但这些流量是怎样构成的,会对网络产生怎样的影响,我们无从知晓。对宽带网络流量的深入分析,使网络设备流量监控系统可以监测的数据包括:网络流量构成分析、使用的协议、系统负载、端口分布情况、数据应用统计、数据安全性、发送时间等。网络流量分析应用可以接收来自网络的各种信息,通过对这些数据的分析,网络管理员可以深入了解网络当前的运行状况。下面从几个方面对宽带网络流量分析方法进行探讨:

1 数据抽样

抽样是指从原始数据集中按一定原则抽取部分实例,构成数据子集作为观察对象。抽样的目的是为了代表原始数据集特性的较小的数据集上获得对原始数据集特性的推断。数据抽样的方法包括简单随机抽样,即按照1/k的频率,随机进行抽样;系统抽样按数据包生成的时间顺序,在抽取第一个数据包后,每隔k个包抽取一个包;分层抽样可对标注过的每类应用采用简单随机抽样或系统抽样方式抽取数据包;集群抽样可从多个子数据集中再随机抽取若干个子数据集。

为对数据分布进行准确的分析,要用到几个简单的度量指标,包括算数平均值Mean、算数和S、计数C、最小值Min、最大值Max、极差Ed、中列数Mr、第一个四分位数Q1、第三个四分位数Q3、中位数Median、众数Mode、离群点Outlier等。设n个排序后的观察:

C=n

Min=x1

Max=x1

Ed=Max-Min

Mr=(Max-Min)/2

Q1=xn/4

Q3=x3n/4

Median=(x[n/2]+x[(n+1)/2])/2

另外,众数是指数据集中出现频率最高的数;离群点有时又称为歧异值,通常是指数据集中与数据一般行为不一样的样本。

2 流量分类

网络流量分类是依据网络应用协议对应的某些参数或特征,自动将网络流量分成不同流量种类的过程。流量分类一般指将网络流量分为多类,如果是二类分类,则可以使用流量检测、流量识别、流量鉴别等方法。

从网络流量分类针对的目标粒度,由细到粗又可以进一步分为包级(packer-level) 、流级(flow-level)和会话级(session-level)。包级分类基于网络数据包所具有的特征,如包长、包到达间隔时间等,对每个数据包进行分类;流级分类基于五元组(源IP地址、源端口号、目的IP地址、目的端口号和协议)进行分类,除关注包级特征外,通常会进一步考虑流级得指纹特征,统计特征或行为特征;会话级分类基于三元组(源IP地址、目的IP地址和协议)进行分类,适用于简单网络服务环境的流量粗分类。

基于DPI(深度包检测)的流量分类方法通过分析特定应用在通信过程中的传输协议特征串实现流量分类,DPI一般是在应用层内容搜索特征串,如BitTorrent的某个TCP数据包中包含特征串”0x13BitTorrent”。在基于载荷进行DPI的流量分类中,DPI流量分类需要解决如下几个问题:非标应用和私有协议越来越多,它们多缺乏公开可用的协议规范,导致特征串难找易变;某些特征模式的代表性较差,仅能匹配到部分流量,导致检全率较低;随机加密流可能匹配若干模式,导致误检率较高;基于协议语法或数据语义分析需要进行大量计算,导致系统时间和空间开销较大。

3 基于统计学习的流量分析

基于统计学习的流量分析方法通过计算特定应用流量的统计信息,利用各种机器学习算法,包括有监督学习算法和无监督学习算法,对捕获的网络数据包进行鉴别。基于机器学习的网络流量分类通常包含三个步骤:统计特性抽取,单包特征如包长,复合流统计如均值或标准偏差;分类器构造及训练;新流量分类。

基于机器学习的流量分类方法面临以下几个方面的问题:难以确定最有效的特征集,既要选择最佳的n个特征,使分类算法得到最大的分类准确率,同时要求n的值最小;高维特征导致某些算法收敛时间长,计算复杂性较高,若仅参考从数据包头导出的分类特征,如果每个流用于抽取特征的包数为n,则收集每个特征的计算成本将接近n.log2n;某些算法模型可能陷入局部最优;分类准确率高度依赖于样本的先验概率,而训练和测试样本对某类流量可能是有偏样本。

4 总结

宽带网络流量分析是网络运营管理,网络发展规划,网络流量调度和高效能业务前瞻的依据。网络流量分析也是网络攻击和恶意代码检测以及流量清洗的重要手段。随着宽带网络流量的快速增长,骨干网体系架构不断演进、扁平化、网状化、动态自适应成为网络发展的趋势,宽带网络流量分析再次面临巨大挑战,包括:高速网络数据实时无损采集、单向流、协议私有化、加密、P2P、隧道传输、缺乏可信数据集和评估标准,网络流量分析研究工作仍然需要不断深入与创新。

参考文献

[1](美)Nader F.Mir,潘淑文.计算机与通信网络[M].北京:中国电力出版社,2010(01).

[2]余浩,徐明伟.P2P流检测技术研究综述[J].清华大学学报,2009(49).

[3]彭芸,刘琼.Internet 流分类方法的比较研究[J].计算机科学,2007(34).

网络流量分析的方法篇(8)

1前言

近年来,随着移动通信和移动计算技术的发展,用户对无线宽带数据接入提出了新的要求,作为下一代无线宽带接入的重要技术—无线Mesh网络受到}Jf究者的广泛关注。与传统的无线局域网相比,无线Mesh网具有覆盖范围大、网络可扩展性好、网络扩展成木低等优点。在无线Mesh网络中,各个用户节点通常形成网状结构,各个用户节点通过相邻的其它用户节点,以多跳方式实现到骨千网络的接入。新用户可以通过其相邻用户很方便地加入到网络中来,而无需其它网络设备以及布线等,这使得无线Mesh网络具有良好的可扩展性和较低的网络成木

2无线Mesh测试网及流量数据采集

2.1无线Mesh测试网

为研究无线Mesh网络的流量特性并为相关MAC防议、路由协议等的研究究提供真实的网络平台,我们设计并建设了一个由20个节点组成的无线Mesh测试网。测试网山20台电脑组成,其中15台台式电脑作为固定节点,编号为1一15;其它5台笔记木电脑充当移动节点,编号为1620 0所有这些电脑被放置在同一楼层的二个小相邻的房间里,在每个房间中都有一台台式电脑被放置在窗户附近。山于传输衰落以及墙壁的阻挡,除了靠近窗户的那台电脑以外,小同房间里的任意两台电脑是无法直接通信的因此,小同房间的两台电脑必须通过建立一条多跳的路径来进行通信。每台电脑都装备了一块二星或英特尔802.11b无线网卡。所有的节点被配置成为一个子网,其中1号节点作为网关,连接了测试网和楼内的局域网。移动节点可以在二个房间之间进行活动。

每台电脑都运行Linux操作系统,为了实现多跳路由,在Linux内核中实现了AODV路山协议,这样网络中的任何两点都可以建立多跳的路山。为了在所有节点记录每个数据包的信息,在Linux内核中创建了一个“record”线程。每个被接收到的数据包,都山“record”线程记录卜来,记录内容包括:到达时间、民度、源地址、目的地址等。"record”线程定时将记录信息保存在每台电脑中的log文件里,这样通过全部电脑中的log文件就可以得到整个无线Mesh测试网中的流量数据。

2.2流量数据

无线Mesh测试网中的流量主要来自于日常应用,例如电子邮件、telnet , FTP文件传输、访问WWW网臾以及在线视频和音频播放等。我们完整地记录了从2003年10月11日}11月25日网络中所有节点的全部流量数据。山于篇幅所限,在此,只以节点2在10月24日到10月27日的数据和节点9在11月9日到11月11日的数据为例进行分析。表1中列出了木文所采用数据的简单情况。

3无线Mesh网络流量的统计分析

3.1无线Mesh网络流量的自相似性

自相似模型只需要唯一一个参数H(Hurst参数),它描述了

时间序列的自相关程度。本文中,我们使用了二种方法(方差时间法、R/S分析法、Whittle估计法)来检验无线Mesh网络流量的自相似性并估计其H值。

首先分别采用方差时间法和R/S分析法对表1中的第1行数据进行分析,结果如下:采用时间方差法进行分析,得到H值为0.83;采用R/S法进行分析,得到H值为0.87。两种方法都证明无线Mesh网络流量是自相似的。

为了得到H值的准确估计,我们采用Whittle方法计算,得到H=0.91, 95%致信区间为[0.82, 0.99]。山此可知,方差时间法和R/S分析法估计得到的H参数值都落在Whittle方法得到的致信区间之内。对表2中的第2行数据进行同样的分析,可以得到H值为0.82,这一结果同样说明了网络流量的自相似性。通过对表1中数据的分析,我们发现无线Mesh网络流量具有自相似特性。采用上述统计分析方法,对其它数据进行分析,同样可以得到网络流量自相似性的结果。这些分析结果充分说明了无线Mesh网络流量具有自相似的特性。

3.2无线Mesh网络数据流的重尾分布特性无线Mesh网络中每个节点的到达数据可以按源和目的节点划分成小同的数据流,到达节点即为目的节点的流称为“到达流”,需要节点进行转发的流称为“转发流”。无线Mesh网络中的每个节点小仅是通信和计算终端,而且也是担负转发数据任务的路山器。每个到达流到达目的节点都要经过一些中间节点的转发,这些转发的流量对于中间节点来说就是它们的“转发流”。因此,对于每个“转发流”来说,都会对应着一个“到达流”,它们具有相同的源和目的地址。反过来,每个“到达流”都会经过一个或几个节点的转发,每个节点转发的那一部分数据就成为其“转发流”,因此,每个“到达流”都会对应着一个或者几个“转发流”。我们经过实验证实了“到达流”和“转发流”具有重尾分布的特性。

参考文献[3]中已经证明多个具有重尾分布特性的流的异加产生的数据包到达过程将具有自相似特性。在无线Mesh网中,每个节点到达的“到达流”和“转发流”都具有重尾分布特性,因此每个节点的数据包到达过程也是多个具有重尾分布的流的异加,这就是无线Mesh网络中流量自相似性的成因

3.3移动性对网络流量特性的影响

无线Mesh网中,用户节点可以具有一定移动性。为了 研究节点移动性对网络流量特性的影响,我们采用NS2仿真工具[4],针对小同的节点移动模型,对一个由20个节点构成的无线Mesh网络进行了仿真。

研究者提出了多种节点移动模型,在仿真中,我们采用了Random Waypoint模型,Random Direction模型,Manhattan Grid模型以及Obstacle移动模型。

仿真中,将无线Mesh测试网中采集到的端到端真实流量输入仿真网络中表2给出了节点1-10的H值。从表中可以看出,在小同的移动模型下,每个节点的H值参数几乎相同。这些仿真结果显示无线Mesh网络中的节点移动性并不会对网络流量的自相似性造成影响

4结论

随着无线Mesh网络发展,对实际网络流量的研究就成为一个十分重要的课题。本文通过对实际无线Mesh网络流量的测量,经过统计分析,得出了无线Mesh网络流量具有自相似性的结论。最后,通过仿真研究了不同的节点运动模型对流量自相似性的影响

参考文献

1 Leland W E, Taqqn M S. On the self-similar nature of ethernet traffic(extended version). IEEE/ACM Transactions on Networking, 1994,2(2)

2 Garett M.Contrihntion toward real-time service on packet switched networks.PhD Disscrtation,Columbia Univcrsitv, 1993

网络流量分析的方法篇(9)

安装一套流量统计系统,可以清晰的判断网站目前所有营销手段的效果,并且还可以分析到:

(1)流量来路统计

可以清晰的统计到每年、每月、每日、客流是通过什么渠道来到网站的。可以清晰判断各种推广方法的效果。

(2)浏览页面和入口分析

可以判断网站中那个页面被流量的次数多,并且可以分析出客流是从那个页面进入网站的。

(3)客流地区分布

清晰的分析出,网站浏览者的地区分布,并且以图表方式显示出各个地区流浪者的比例。

(4)搜索引擎与关键词分析

分析通过各个搜索引擎所带来的流量比例,并且可以分析出客流是通过搜索什么关键词来到网站的。

(5)客户端分析

可以分析出客户端使用的操作系统等信息。

2、站点页面分析

(1)主页面整体分析

(2)页面标签分析

(3)超链接检查

(4)浏览速度分析

(5)源代码设计分析

3、网站运用技术和设计分析

(1)分析目前技术是否采用合理

(2)分析网站构架是否合理

(3)分析网站设计是否有亲和力、是否容易阅读

4、网络营销基础分析

(1)关键词分析

(2)搜索引擎登记状况分析

(3)搜索引擎排名状况分析

(4)交换链接相关性

(5)网络营销主要方法分析

5、网站运营分析

(1)网络投资分析

(2)网站运营策略分析

二、网站优化

1、网站结构优化

网站导航、页面布局优化

2、网页标签优化

网页TITIEL关键词标签、网页简介标签,图片注释、等方面的优化

3、网页减肥压缩

专门的网页减肥压缩软件对网页系统的进行压缩,提高页面流量速度。

4、超链接优化

超连接结构、超链接注释、超连接路径优化

5、页面内容优化

对主要页面内容进行调整、排版进行优化,让内容更容易阅读。

三、网站推广

通过对网站进行综合的分析后,选择网络推广方法,在众多网络推广方法当中,最重要的方法就是搜索引擎排名。因为其他的方法都是比较花钱而且效果短暂的,而搜索引擎排名做好以后,它可以长期为你带来高质量的流量。一个网站的流量80%都是由搜索引擎带来的。

1、搜索引擎排名

(1)关键词选择

(2)搜索引擎登陆

包括GOOGLE、yahoo、MSN等国内外几百个搜索引擎。

(3)搜索引擎排名

通过我们专长的SEO优化技术对网站整体进行优化,使尽可能多的词在各个搜索引擎的排名提升,以提高网站的流量。

2、相关链接交换

与相关网站进行友情链接交换。

3、网络广告投放

在网站运作过程之中,建议投放一些有效的网络广告。

四、网络营销培训

授人与鱼不如授人鱼渔,通过网络,我们把对贵方网络技术人员进行培训,使其很快掌握网络营销与网站运营的秘诀,使贵方网站在我方为其打下很好的营销基础后,能够稳定、持续的保持其向前发展。

1、网络营销培训

网络营销各种方法与策略、以及相关细节。网络营销、细节之胜。

2、网站运营培训

网络流量分析的方法篇(10)

中图分类号: TN711?34 文献标识码: A 文章编号: 1004?373X(2013)03?0047?04

0 引 言

近年来,计算机网络的规模不断扩大,网络带宽和业务量持续增加,异构性和复杂程度不断提高,这对网络的可靠性提出了很高的要求,因此有必要对网络进行测试。一方面在于及时、准确、全面地了解网络的性能和运行状况,发现网络瓶颈,优化网络配置,尽可能为用户提供安全、可靠的服务;另一方面是在网络出现故障时,能够迅速定位并解决故障。

网络测量是指遵照一定的方法和技术,利用软件和硬件工具来测量或验证表征网络性能指标的一系列活动的总和[1]。网络测量主要分为3个研究领域:网络性能指标测量、网络模型建立和网络管理。按照测量层次可以分为设备层、系统层和应用层;按照测量要素可分为:测量对象,测量环境和测量方法。网络测量应当选取适当的测量方法,测量方法至少应满足稳健性――即被测网络的一点变化,不会使测量方法失效;可重复性――即同样的网络条件,多次测量结果应该一致;准确性――测量结果应能反映网络的真实情况[2]。

国外最早的网络测量始于20世纪70年代初(Vint Cerf在ARPANET上展开的性能测量项目),逐渐成熟于80年代,90年代已渐成体系。我国网络的发展起步较晚,90年代初才引入Internet,大规模的快速发展于90年代末。国外的相关研究项目有NIMI、Surveyor、NLANR下的PMA和AMP等,为了解网络特性和进行后续网络测量提供了指导意义。国内的研究主要集中于CERNET、CSTNET和国内各大高校、实验室(如清华大学、中科院、北航、国防科技大学)等,进行了网络测量的技术攻关,推动了我国网络测量的发展。

1 网络测量体系结构

在借鉴OSI体系结构模型的基础上,清华大学提出了大规模计算机网络互连性能检测模型(Large Scale Internet Performance Monitor Model,LIPM)[3],该模型由数据采集层、数据管理层、数据分析层和数据表示层几部分构成,如图1所示。

数据采集层完成对网络性能参数的数据采集;数据管理层将采集到的数据进行分类、存储和格式化,便于数据的查询和大量数据的存储;同时根据预先的定义将当前采集到的数据生成性能事件,提高对一些严重性能问题反应的实时性;数据分析层包括对基础数据进行分析和对事件进行分析。基础数据分析又包括对数据按照需要进行分类统计、数据关联和趋势预测等初步加工。时间分析是对数据管理层交付上来的事件按照事先制定的规则进行事件过滤,按照不通过的优先级做不同的处理。数据表示层完成对数据和事件结果的处理。对数据的处理包括生成统计报表,对数据的潜在意义进行分析。事件结果处理包括报警、分发和日志,分别对应不同的优先级。

2 网络测量性能指标及关键技术

网络的性能指标共有两套标准,分别由标准化组织 IETF(Internet Engineering Task Force,互联网工程任务组)和ITU?T(International Telecommunication Union,国际电信联盟)制定。两者在参数的表述方法上虽然有所不同,但是含义基本一致。这里主要从以下几个指标来讨论网络的性能。

2.1 性能指标

2.1.1 性能指标时延

网络时延分为单向时延和往返时延。网络时延的产生主要来源于三个部分:发送时延[Dp]、传播时延[Dtr]和处理时延[Dvar]。发送时延与数据长度和信道带宽有关,其值等于数据块长度与信道带宽的比值。传播时延等于信道长度与电磁波在信道上传输速度的比值。处理时延是指数据在交换节点为存储转发而进行一系列处理所花费的时间,与网络通信量有关。其中发送时延和传播时延是固定时延[Dfix],处理时延是可变时延[Dvar]。可用式(1)描述:

2.1.2 带宽

带宽测量分为端到端的带宽测量和逐跳带宽测量。端到端的带宽测量又分为瓶颈带宽和可用带宽。瓶颈带宽是路径的固有属性,反映了路径的静态特征,测量没有实时性要求。可用带宽真正反映了在某一段时间内链路的实际通信能力,实时性要求比较高。

目前流行的带宽测量技术主要有三种:变包长测量技术(Variable Packet Size,VPS),SLoPS(Self?loading Periodic Streams)测量技术和包对/包列分散测量技术(Packet Pair/Train Dispersion,PPTD)[6]。其中VPS技术是用于测量单跳的带宽,其缺点是每一跳都会积累测量误差,在跳数较多时,测量的精度较低。SLoPS测量技术和PPTD技术都是基于端到端的测量。SLoPS测量技术是测量可用带宽,它用包延迟特性与有效带宽之间的关系,来推断当前网络的可用带宽,实时性比较好。

2.1.3 流量

目前的测量方法可以分为两类:基于网络管理协议的统计数据获得流量信息和网络侦听[7]。传统的做法是利用SNMP对网络重点链路和接入点进行流量监视、统计或者利用RMON(远程监控)探测对部分端口进行流量采集和监视。但是该方法分析的粒度较粗,存在很大的局限性,只适合于总流量测量和接口业务量检测,不适合于流量分析。为了对网络流量进行深入分析,可以在分组级和流级上进行测量。分组级的被动测量和流级测量都是细粒度的测量,便于对网络流量进行更细致的分析。

随着计算机网络带宽的增加和规模的扩大,对网络流量进行全面测量已不太现实,所以在实际测量中采用流量抽样测量技术。RFC2330中规定抽样时间分布可以是固定时间间隔、随机时间周期、泊松分布时间和几何分布时间等[8]。使用固定时间间隔的抽样,即周期抽样是常用的抽样方法,其问题在于:不适用于周期性的测量对象;周期性的测量行为可能会干扰测量对象。随机间隔抽样是比较合理的抽样方式。传统的流量测量模型使用泊松模型。Leland等人在1994年发现了以太网流量的自相似特性,此后Pax?son,Crovella等人验证了网络具有广泛的自相似特性,从而解决了泊松模型和马尔科夫模型不能解释的网络现象。

2.1.4 丢包率

在网络设备和链路均无故障的情况下,丢包率主要与网络拥塞程度有关。当网络出现故障时,丢包率往往比较大,可能的原因也是多方面的,如设备配置、设备故障、链路故障等。

为了评估网络的丢包率,一般采用直接发送测量包来进行测量,但对丢包率进行准确的评估与预测则需要一定的数学模型。目前评估网络丢包率的模型主要有贝努利模型、马尔可夫模型和隐马尔可夫模型等等。丢包率测量的具体过程为:发送源和接收者都设置各自的同步时钟;发送源选取发送源和接收者的IP地址,生成一个含有时间戳的探测包;接收者安排接收探测包;发送源将把设置有时间戳的探测包发送给接收者;如果该包在允许时间内达到接收者,则认为丢包率为0。

另外,网络测量的性能指标还包括分组转发率、信道利用率、带宽利用率、时延抖动等参量,针对不同的业务类型和测试目的,网络测量的侧重点也有所不同,对其他性能指标不再做详细介绍。

2.2 关键技术

2.2.1 连通性测试技术

连通性严格说应该是网络的基本能力或属性。最简单最常用的测试方法是用ping进行连通性测试。

2.2.2 拓扑测量技术

拓扑测量是指发现网络节点并确定网络节点之间的连接关系,包括互联设备(如路由器、交换机、网桥等)、主机等。网络拓扑图是网络拓扑的可视化表现。获得网络的拓扑图对于网络管理人员总体把握网络情况,对网络部件的安装、配置和故障定位都具有重要意义。网络拓扑发现算法主要发生在网络层和数据链路层,分别称为逻辑网络拓扑发现算法和物理网络拓扑发现算法。目前的网络拓扑发现算法主要有基于各种协议的网络拓扑发现算法(如ICMP,OSPF,DNS,SNMP等)、基于地址转发表的拓扑发现算法、基于端口流量的拓扑发现算法等。但是每一种算法,都存在自己的弊端,导致探测到网络拓扑结构不够全面。

2.2.3 “噪声”分组过滤技术

在主动测量中,测量结果难免受到“噪声”分组(也成背景流量Cross Traffic)的影响。“噪声”分组是指夹杂在探测分组中,或处于探测分组前、后对测量结果造成影响的业务分组[9]。文献[9]中指出,在测量链路瓶颈带宽时,采用分组对(Pacekt pair)或多分组(Multi?packet)技术,当探测分组在瓶颈链路处相邻排队时,可能会在中间有其他分组,导致时间扩展,或在链路之后存在其他分组,导致时间压缩,这些都会导致测量误差。常用的过滤方法主要有三种:求均值法,但是由于网络随机性大,该方法的测量误差较大;在测量的统计结果中选密度最大的点;在统计学中使用非参数估计法和密度估计算法。

2.2.4 网络推理技术

网络推理技术是用于网络性能参数难以直接得到,利用便于测量得到的部分网络信息,估计网络性能参数的方法。近来,人们将各领域成功应用的成熟理论和方法应用于网络推测,衍生出了网络断层扫描或网络层析(Network Tomography,NT)技术,根据网络外部(网络端点或边界)的测量来分析和推断网络的内部性能和拓扑结构[8]。网络推理技术属于系统识别和参数估计范畴,常用的估计方法有最小二乘估计、最大似然估计和期望最大化算法等,可以根据需要选择相应的方法。但是该技术计算复杂度高,计算精度不够高。

除以上测量技术外,还有涉及其他技术问题,如网络测量中的抽样问题,测量探测点的选取问题,时钟同步的问题,误差校正技术等。

3 网络测量方法

网络测量的方法分类较多,从不同角度看,分类也各不相同。

(1)主动测试和被动测试

主动测试是通过向网络中发送测试流,根据这些测试流的传输情况来了解网络行为。例如,通过在一端发送UDP分组,而在另一端接收该分组,该方法可以测量端到端的时延、丢包率、路由信息等。该方法具有灵活性好,目的性强,易于控制等优点,但是也存在测试流会占用网络资源,影响网络性能等缺点。被动测试是利用数据采集器,捕获网络业务流并对其进行分析的方法。该方法无需向网络主动发送流量,不会占用网络资源。但是它依赖于网络监测设备的性能,局限性比较大;它只能了解网络的局部性能;该方法还可能存在隐私和安全问题。在实际的测量中,也常常采用主动测试和被动测试相结合的方法。

(2)单点测量和多点测量

在传统的网络测量中,由于网络规模小,测量技术受限,常常采用单点测量,但是单点测量测量能力有限,获得的信息往往不够全面。对于大规模的网络,必须设置多个测量点,得到比较详尽的、综合的大规模网络数据以及单点测量所得不到的信息[10]。大部分的网络测量都是分布式的多点测量。

(3)协作式测量和非协作式测量

协作式测量是指需要被测网络的配合而进行的网络测量。对于网络运营者来说,可以掌握网络的运行状况,业务分布情况,找出瓶颈等,以便于有效的管理网络。这种测量既可得到端到端的性能测量结果也可以对网络性能进行分段分析。非协作测量不需要被测网络的参与,测量的目的往往是为了了解对方网络的情况,这在军事上有非常重要的意义[1]。

4 存在问题和发展趋势

网络测量具有广泛的应用范围,包括:网络故障诊断、协议排错、网络流量特征分析、业务性能评估、计费管理、网络入侵监测和网络行为分析等等。目前网络维护和测量方面还存在比较多的问题:

(1)数据传输过程的干扰因素多,网络的不确定性很多。在网络性能参量中,可变成分的测量始终是测量的难题。如链路带宽的不对称性,网络拥塞程度的不确定性等都为网络测量带来了困难。而且某些参量的实时性要求比较高,单纯通过增加测量次数的方法来衡量网络性能,不够合理。所以对于不同的干扰因素的过滤方法值得深入考虑。

(2)网络测量的准确度问题。如在网络拓扑探测时获得较大的网络探测覆盖率的问题;对于不支持某些协议的网络设备的检测问题等等。目前网络测量的准确度不高,测量周期长,难以迅速的发现网络瓶颈,定位网络故障。

(3)不同测量方法和测量成果的融合。在国内,几乎所有大学都会有研究人员选取网络测量与分析的某个方面进行相关研究,但是这些研究成果较为分散,如何有效地整合这些科研成果进而转化为工程应用,提升网络测量的性能,这些都是今后努力的方向[7]。

5 结 语

本文主要从网络测量体系结构、性能指标、关键技术、测量方法及发展趋势等方面对网络测量进行了全面介绍。对于从整体把握网络测量核心技术,了解网络发展动态具有重要意义。随着互联网规模的扩大、通信量的增加和新增功能的实现,关于网络技术研究的广度和深度不断增加,其应用领域更加广泛。研究网络测试的新技术、新方法对于提高网络可靠性,更好地服务于人们生活具有深远意义。

参考文献

[1] 裴昌幸,朱畅华,韩宝彬,等.现代通信系统与网络测量[M].北京:人民邮电出版社,2005.

[2] 朱畅华,裴昌幸,李建东,等.网络测量及其关键技术[J].西安电子科技大学学报:自然科学版,2012,29(6):813?818.

[3] 王继龙,吴建平.大规模计算机互联网络性能监控模型的设计与实现[J].计算机研究与发展,2000,37(4):443?452.

[4] 谢应科,王建东,祝超,等.网络测量中高精度时间戳研究与实现[J].计算机研究与发展,2010,47(12):2049?2058.

[5] 崔丙锋,杨震,丁炜.网络测量中的关键技术[J].现代电信科技,2007(7):34?36.

[6] 谈杰,李星.网络测量综述[J].计算机应用研究,2006(2):5?9.

[7] 陈晓霞,任勇毛,李俊,等.网络测量与分析研究综述[J].计算机系统应用,2010,19(7):244?249.

网络流量分析的方法篇(11)

1 引言

TD-LTE网络经过近三年的大规模建设,已基本实现全区域的4G网络广覆盖,为存量2G/3G用户迁移至4G网络奠定了良好的基础。4G网络较2G/3G网络在承载效率、系统容量、数据业务速率方面都有巨大的提高,大幅提升了移动用户的网络感知。此外,对运营商而言,运营4G网络一张网络,可减少2G/3G网络的建设投入和维护费用,达到降低企业运营成本的目的。因而运营商迫切希望能解决4G网络的分流问题,引导和吸引用户主动使用并驻留4G网络,降低2G/3G网络负荷。本文将从运营商自有的用户、网络海量数据出发,利用大数据理论,从网络、市场、用户三个维度综合分析限制4G用户使用4G网络,即影响4G网络分流的原因,并针对各具体问题给出解决方法,继而进行验证。

本方法具体涉及的用户侧、网络侧数据类型在前文提到的那些的基础上,还包括用户的4G终端机龄、用户更换USIM卡数据等。实现模型如图2所示,首先利用网络覆盖质量分析模型识别出4G网络覆盖质量良好的区域;其次对该区域内的4G用户进行换卡、判断4G终端机龄信息。根据市场统计结果表明,80%的移动用户的终端更换周期为18个月,因此通过机龄可识别出潜在换机用户,对未换卡用户和潜在换机用户可以通过市场营销手段提升用户感知。最后根据终端渗透率及非4G终端流量占比判断该区域的整体市场潜力,帮助市场部门进行定向营销。

3.3 用户终端维度

(1)锁网终端分析方法

为减少网络、市场异常因素对用户数据的影响,提高对4G用户中锁网终端识别的准确率。基于网络覆盖质量分析模型和市场潜力分析模型,对网络覆盖质量和4G市场发展均良好的小区进行锁网用户识别,挖掘现网中4G网络分流异常的4G用户,采用有针对性的解决方案来提升4G网络分流能力。首先利用忙时用户、网络数据进行锁网终端的初步识别,主要识别依据包括用户4G流量及4G流量驻留比等;对初步识别出的疑似锁网终端,利用其月度数据(包括话单数据、网络数据及信令数据),确认其中真正的锁网终端。

(2)方法实现

根据4G锁网终端识别原理,数据挖掘涉及的数据类型除上文3.1节(2)提到的之外,还包括月度流量数据、用户月度驻留小区数据,以及基于月度流量数据的4G用户流量驻留比数据。锁网终端识别方法具体所需数据类型有用户ID、2G/3G/4G流量、全月白天驻留小区(CELLID/流量)以及全月晚间驻留小区(CELLID/流量)。

基于所列的数据分析类型以及锁网用户识别方法,锁网终端的具体识别模型如图3所示。模型具体说明如下:

1)利用忙时用户侧及网络侧数据,对网络覆盖质量良好小区内的4G用户进行4G流量分析,判定4G流量为0的4G用户为疑似锁网终端;

2)提取疑似4G锁网用户的月度数据,根据用户的月度流量信息,并计算4G用户的4G流量驻留比,分析该4G用户是否具有使用4G流量的潜力,即是否为具有4G潜力的锁网终端;

3)提取具有4G流量使用潜力的锁网用户的全月驻留的各制式网络小区信息,分析该用户是否全月处在4G网络覆盖区域,若该用户曾出现过在4G覆盖区域,但4G流量为0,则该4G用户为最终确认的锁网终端。

4 方法验证与应用

为了验证研究方法的可行性,借助某直辖市移动大数据平台,将研究模型予以实现并验证,利用网络侧、用户侧大数据,根据模型分别定位了4G网络覆盖质量异常小区、市场发展潜力区域与用户,以及4G锁网终端用户,并对问题进行了有针对性地解决。

4.1 异常小区识别结果及应对建议

对某直辖市的所有4G基站应用网络覆盖质量分析建模,统计结果表明网络覆盖质量异常小区占所有4G小区的15%。将模型识别结果引入传统网络质量测试方法(如MR、路测),对网元KPI指标进行验证后可知,其中90%的小区确实存在覆盖质量问题。针对异常小区,通过路测、MR数据分析确认具体的网络覆盖异常类型,采用网络优化或者增建基站等方式改善W络覆盖。以模型识别结果中的一个网络覆盖质量异常区域为例,该4G网络弱覆盖区域补站前后分别如图4和图5所示。渝北工业园区ED1-2基站为2G基站,距离其最近的4G基站为渝北正委花园-HLH站,该区域属于一般城区,区域内的4G基站间隔为360 m,符合网络规划中的通用规则。根据本文研究方法进行分析,结合现场实际情况和测试分析,有规划地进行了补站,并于9月15日开通了渝北回兴农贸市场D-HLH。通过对比该区域4G网络弱覆盖问题解决前后的测试数据发现,区域内4G用户的整体网络感知由原来的27.14%提升至了88.47%。

4.2 市场化精准营销

通过在某直辖市运用市场潜力分析模型,发现其中具有4G市场发展潜力的网络小区有3653个。通过在挖掘出的市场潜力区域进行区域定向营销,已成功销售4G终端703 779台,其中通过定向潜在客户营销销售终端267 316台,通过区域营销销售终端436 463台,针对换机未换卡用户定向引导换卡8965个,最终市场引导带来流量提升的业务数达15 718笔,平均每笔业务带来的DOU增量为530 M,对4G网络分流效果提升起到较大作用。通过本模型方法提升了4G终端销售的定向性,为公司节省了渠道终端佣金,并提升了网络分流能力,具体经济效益计算方法如表1所示。

4.3 问题终端用户识别结果及应对建议

应用锁网终端识别模型,对使用不同品牌、不同款式终端的4G用户进行数据分析,挖掘出其中锁网概率较高的终端类型。通过对某直辖市920万4G用户应用本模型,发现锁网终端占比达8.6%,其中使用用户超过30万的iPhone 6 A1549、iPhone 5C A1526、iPhone 5S A1528等4G终端锁网概率较高,具体各品牌、各款式4G终端的锁网概率如图6所示。通过数据业务中心和市场部采取一系列营销活动,帮助锁网终端用户解锁4G网络,提升了用户感知。具体方法包括:1)点对点引导,将锁网终端用户下发至其长期驻留小区所在的移动营业厅,由营业厅负责点对点指导锁网终端用户解锁4G网络;2)分终端款式解锁引导,由大数据中心对锁网概率高的终端款式挖掘解锁步骤,通过“10086”将解锁步骤下发给锁网终端用户,帮助其解锁。截至目前,锁网终端用户解锁前后人均流量增加89 M,其中4G流量增加80 M,解锁后各用户的平均4G流量驻留比为87.89%。

5 结束语

4G网络分流是运营商目前重点关注的研究课题之一,其有助于提高4G用户感知、降低运营成本、增加数据业务营收。本文提出的基于大数据分析的网络分流方法,从网络、市场、用户终端三个维度发现并解决导致现网中4G用户无法正常使用4G网络、4G流量驻留比低的问题,最终有效提升了4G网络的分流能力。通过实际验证及应用表明,本方法在识别和提升4G网络小区覆盖质量、锁网4G用户感知以及定向市场营销精准性方面效果较明显,给提升4G网络的分流能力提供了参考。

⒖嘉南祝

[1] Guo B, Cao W, Tao A, et al. LTE/LTE\A Signal Compre-ssion on the CPRI Interface[J]. Bell Labs Technical Journal, 2013,18(2): 117-133.

[2] 刘苑明,黄志豪. 锁网终端分析模型的研究与应用[J]. 电信工程技术与标准化, 2015,28(2): 63-67.

[3] 李红亮,王雨,梁涛. TD-LTE网络架构及关键技术分析[J]. 黑龙江科技信息, 2012(24): 108.

[4] 周俊,刘克清. 基于LTE信令大数据的网络质量评估体系研究[J]. 互联网天地, 2015(3): 33-40.

[5] 罗凡云,郭俊峰. TD-LTE网络覆盖性能分析[J]. 移动通信, 2010,34(5): 41-44.

[6] 王斌,吴金科,张翼. 网络分流优化探讨[J]. 信息化建设, 2015(6): 51.

[7] 邓炳光,刘兵,张治中. 面向用户感知的LTE网络评估模型的设计与实现[J]. 电视技术, 2015,39(13): 76-82.