基于网络流量元数据的安全大数据分析,该文是大数据方面有关论文范文文献和元数据和网络流量和数据分析类论文范文文献.
大数据论文参考文献：
前言：大数据时代,信息安全问题尤其重要.2016 年9 月,本应该是大学生开学的日子,但是由于一起电信诈骗事件,导致许多大学生的学费和生活费被骗取,甚至部分学生付出了生命的代价,也使得信息安全受到了社会各界的广泛关注.
一、元数据概述
元数据,是对其他数据进行描述的数据,基于网络流量的元数据能够对资源进行识别和评价,并且对其在使用过程中的动态变化进行追踪,有助于维护大数据的稳定和安全,实现对于大数据的有效管理.从实际应用的角度分析,元数据表现出了几个比较显著的特点,一是可以实现大数据共享.元数据的开发和利用要求分布式环境以发挥其本身的价值,换言之,单一的元数据不可能满足用户的共同需求,必须构建相应的数据共享平台；二是元数据本身属于编码体系.元数据能够对数字信息化的资源进行描述,在对网络信息进行编码的过程中,元数据可以为数字化信息资源构建起一种能够被计算机理解的框架[1].
二、网络流量分离平台构建
基于网络交换路由设备的特性,如ACL、PBR 等,设计构建了多条性能较高的网络流量分流平台,平台能够满足我国校园10G 网络流量在分析研究方面的需求,也可以为海量元数据的分析提供稳定的流量支持.网络流量分离平台可以实现一到多、多到一以及多到多的流量复制,从而满足不同应用业务系统对于流量的需求.在进行流量复制的过程中,结合ACL 技术,可以实现简单协议以及各种五元组级别的流量过滤,降低业务系统所承受的负载.同时,平台也能够实现单一或者复数高负载10G 链路流量到更多低负载10G链路流量的转换,结合多路负载均衡的方式,提升对于信息数据的处理能力,而配合交换机堆叠技术,可以实现对于端口数的迅速扩展,也可以提升10G 链路的处理能力.
三、安全大数据分析平台构建
在大数据分析中,应该立足不同的分析对象和分析目标,应用不同的分析平台.基于网络流量获得的元数据应该定期导入Hadoop 平台上进行存储,然后结合HIVE 进行初次的数据挖掘,在降低数据量的同时,也可以确保数据的安全性.依照不同的存储内容,可以选择MySQL、PostgreSQL等关系数据库进行分类存储.利用RDBMS,能够有效满足常规数据的查询需求,而利用Hadoop 则可以满足大量元数据开发查询的需求.事实上,在实际应用中,上述两种形式有着各自的有点,虽然无法相互取得,但是可以实现相互补充.在针对数据进行处理的过程中,应该对LinuxShdll 命令和Python 脚本进行灵活使用,尽可能保证网络流量元数据运行的高效性和安全性.
从保证大数据安全分析的角度,选择24 台物理机节点构建Hadoop 大数据分析平台,在平台中的每一个节点配置64G 内存,CPU 选择Xeon E5-2670,240G 固态硬盘两块以及2T 机械硬盘12 块,以万兆以太网实现节点之间的互通互联,总HDFS 容量为333TB.在软件选择中,采用了Cloudera Standard 4.8.0 版本进行部署,组件则选择CDH4.5.0+IMPALA1.2.1+SOLR1.1.0.在实际应用中, 结合HIVE 的类SQL 语句,实行按对于简单MapReduce 的快速统计[2].
在统计分析前期,可以将大数据分为若干小数据,确保其安全性,具体来讲,需要构建起基于IP 的黑白名单,结合名单进行网络流量的调整,去除其中的冗杂数据,在降低数据分析工作量的同时,也能够提升大数据分析的质量和效率.在大数据分析环节,如果发现突发性安全漏洞,可能会导致元数据的丢失,给个人或者企业带来损失.对此,可以利用HIVE 对HTTP 访问元数据中URL 字段进行查询,结合SHELL 脚步分析,找出漏洞产生的原因,并对其进行处理[3].
四、结语
基于网络流量元数据的安全大数据分析是信息时代背景下一个非常关键的课题,如何对大数据分析平台进行合理利用,提升数据分析的效率和质量,是相关技术人员需要关注的重点,对于保障数据安全意义重大.而如何利用大数据平台来实现漏洞自动检测以及不同类型数据的关联性分析,依然需要更加深入的研究.
该文总结,该文是关于元数据和网络流量和数据分析方面的相关大学硕士和大数据本科毕业论文以及相关大数据论文开题报告范文和职称论文写作参考文献资料.
成都市利用大数据追根溯源保障舌尖上的安全
“轻轻一点,就能知晓餐桌上吃的这个土豆是哪里种的、农药是否有残余,连配送时间和配送车牌号都一清二楚 ”在成都大蓉和饭店门口,一块食品溯源电子触摸屏吸引了不少顾客的注意,拿出手机.
大数据如何保障舌尖安全
近日,全国食品安全示范城市创建和农产品质量安全县创建工作现场会在四川成都召开 在互联网时代,怎样吃得更安全与会专家建言献策,提出要重视利用现代信息技术手段创新监管办法,提高监管效能 作为近年来最热门的.
实施《网络安全法》网民反响大数据分析报告
“没有网络安全就没有国家安全”,网络安全对国家众多领域都是牵一发而动全身的 2017年6月1日,中华人民共和国网络安全法（以下简称网络安全法）正式实施,受到媒体和网民的广泛关注.