11.1大数据基本概念
（1）了解大数据的产生背景
数据规模巨大到无法通过人工在合理时间内处理，随着计算机硬件价格不断
下降，大数据已有了硬件基础
（2）掌握大数据的定义
全球知名咨询公司麦肯锡，亚马逊、维基百科都有各种定义，无一例外的突出“大”
（3）掌握大数据的特征
大容量：数据巨大，从TB级别跃迁到PB级别；
多样性：数据类型繁多，不仅包括传统的格式化数据还有互联网的网络日志、
视频、图片、地理位置信息等；
速度快：数据产生和处理得快；
真实性：高质量的数据
11.2大数据技术
（1）了解大数据技术体系
包含七层：
文件系统层：存储管理、容错处理、高扩展性、高可靠性、高可用性
数据存储层：数据存储对应多种形式数据结构，如键值、文档、列和图表等
资源管理和资源协调层：以提高资源的高利用率和吞吐量
计算框架层：本层计算框架非常庞杂，包含很多高度专用的框架
数据分析层：包括数据分析（消费）工具和一些数据处理函数库
数据集成层：包括管理数据分析工作流中的工具，和元数据的管理工具
操作框架层：提供可扩展的性能检测管理和基准测试框架
（2）掌握文件系统结构和工作原理
1谷歌文件系统GFS是谷歌为满足迅速增长的数据处理需求，设计并实现的
文件系统，由几百上千的普通廉价的设备组装的存储机器。
2GFS架构设计采用主/从模式，一个GFS包括一个Master服务器和Chunk
服务器，Master服务器是逻辑上的，物理上可是多个。
3GFSMaster服务器是单独节点，管理GFS所有元数据（如名字空间、
访问控制权限等）；GFSChunk服务器是数据存储节点，文件被分割为固定
大小的Chunk（单位大小为64MB的block，以Linux文件存储方式存储在
本地系统），每个Chunk被全球唯一标识，默认时Chunk存储为3个副本
（存放在不同节点上），GFSMaster服务器存储着文件与block的位置
映射及其他元数据信息。GFSClient实现GFS的API接口函数。
（3）掌握大数据系统访问其他数据存储系统
1传统的RDDBMS（关系型数据库管理系统）难以应对数据库存储的高容量
存储和操作，非关系型数据库NoSQL开始发展
2NoSQL优点：易扩展、大数据量和高性能、灵活的数据模型、高可用；
NoSQL缺点：无标准、没有存储过程、不支持SQL、支持的特性不够丰富和
产品不够成熟。
3NoSQL数据库分类：
（键值对（Key-Value）存储，列存储，文档型，图形）数据库：
（4）了解数据分析技术
1大数据分析的6个基本方面：预测性分析能力，数据质量和数据管理，
可视化分析，语义引擎，数据挖掘算法，数据仓库
2大数据处理过程：大数据采集，大数据导入和预处理，大数据统计和分析，
数据挖掘
（5）了解数据可视化技术
1常见的数据可视化方法：2D区域（地理空间数据可视化）、时态（线性方式
有起点和终点）、多维（例如饼图）、分层（呈现多组数据如树形图）、网络
（展示数据之间关系例如冲积图）
2根据数据类型和性质差异：统计数据可视化、关系数据可视化、
地理空间数据可视化。
11.3Hadoop技术架构
（1）掌握HDFS文件系统工作原理
（2）掌握MapReduce工作原理
（3）掌握YARN的结构和工作原理
（4）了解Hadoop系统的各种工具
11.4大数据应用发展
（1）了解大数据应用的发展现状
1国家层面从年以来发布各种政策，各地大数据形成3种模式：一是
强调研发及公共领域应用；二是强调以大数据为引领产业转型升级；三是
强调建立大数据基地吸纳企业落户。
2我国企业内部数据是大数据应用的基础，以传统结构化数据库表为主，
大部分企业的数据量在50TB-TB之间，以自建私有云为主、采购
公有云为辅。
（2）理解大数据应用存在的问题
1从数据源让，大数据的应用以内部数据为主，数据的开放和交易尚未形成
市场主流形态。
2从技术角度看，多数应用只采用云存储和云计算，仍用传统的ETL和分析
工具，缺乏模式创新，大数据应用应从传统简单的描述性分析向关联性、
预测性分析演进最终先决策性分析技术发展
3从应用效果看，目前延续改善现有业务和产品为主，缺乏突破性创新应用，
应需要使数据分析成为核心，满足各类活动中基于数据的决策
（3）掌握大数据应用的发展趋势
大数据成为企业资产；
大数据与云计算、物联网深度融合；
开源软件促进大数据技术创新；
快速迭代推动大数据应用发展；
数据生态系统复合化程度加强；
大数据加剧产业垂直整合趋势；
泛互联网化发挥大数据价值；
大数据重塑企业内部价值链
11.5大数据产业生态
（1）了解大数据生态构成
（2）掌握大数据产业链职能分工
1大数据解决方案提供商：面向企业用户提供大数据软硬件部署方案和软硬
件基础设施，其中大数据基础软件和应用软件是重点内容。主要包括传统
IT厂商和新兴的大数据创业公司。传统IT厂商大多在原有IT解决方案上，
融合Hadoop开源项目提供大数据解决方案，代表如IBM、HP等解决方案
提供商，及甲骨文等分析软件商，国内传统IT厂商主要有华为、联想等。
新兴创业公司有Cloudera等，基于Hadoop开源项目开发大数据分析工具
或与传统IT厂商合作提供方案。
2大数据处理服务提供商：以SaaS和PaaS云服务方式为企业和个人用户
，提供大数据海量数据分析能力和大数据价值挖掘服务，分为四类：
在线纯分析服务提供商、既提供数据又提供分析服务的在线提供商、
离线纯分析服务提供商、既提供数据又提供分析服务的离线提供商
3数据资源提供商：为大数据供应和流通提供服务，包括数据拥有者和
流通平台
（3）了解大数据商业模式
租售数据模式；租售信息模式；数字媒体模式；
数据使能模式；数据空间出租模式；大数据技术提供商模式
11.6大数据标准化体系
（1）了解国外大数据标准化现状
ISO/IEC、ITU-T，美国国家标准与技术研究院
（2）了解国内大数据标准化现状
（3）了解国内大数据标准化体系建设的方向
年5月中国电子技术标准标准化研究院，与全国信息技术标准化委员会
大数据标准工作组，发布《大数据标准化白皮书（版）》，由七个标注组成：
基础标准、数据标准、技术标准、平台和工具标准、
管理标准、安全和隐私标准、行业应用标准
11.7大数据发展面临的挑战和应对措施
（1）理解大数据发展面临的问题
1数据源不够丰富，信息孤岛普遍存在
2技术创新与支撑能力不足
3数据资源建设和应用水平低
4信息安全和数据管理体系尚未建立
5技术人才队伍建设继续加强
（2）掌握大数据发展的应对措施
1加快政府数据资源开放共享
2研发大数据共性关键技术
3深化大数据行业创新应用
4推动大数据标准化体系建设
5健全和完善大数据政策法规
6保障数据安全和个人隐私
7加强大数据技术人才培养
第十二章物联网
12.1物联网的定义和特征
（1）熟练掌握物联网的定义
物联网是指通过传感器、射频识别技术、全球定位系统等，实时采集任何要
监控、互动的物体或过程，采集声、光、热、电、力学、化学、生物、位置等各种需要的信息，通过可能的网络接入，实现物与物、物与人的泛在链接，实现对物品和过程的智能化感知、识别和管理。
（2）熟练掌握物联网的特征
全面感知、可靠传输、智能处理
12.2物联网技术架构
（1）熟练掌握物联网的层次结构
（2）掌握物联网感知层的作用、技术组成
感知层作用是实现物理世界信息的采集、自动识别和智能控制，技术：
传感器、RFID、无线传感器等
（3）掌握物联网传输层的作用、技术组成
传输层作用是将感知层获取的信息传递到处理中心处理，技术：
无线广域网（3G、4G），无线局域网（WIFI-.11系列）、
无线个域网（蓝牙-.15.1标准、ZigBee-.15.4标准）
（4）掌握物联网应用层的作用、技术组成
应用层作用是存储海量数据、进行智能处理，提供物联网服务和应用
技术：存储技术、云计算技术、大数据技术
12.3自动识别技术
（1）熟练掌握条形码技术
1UPC码：年美国超时工会推行世界上第一套条形码系统，用于超市和
百货业
2EAN码：欧洲12个工业国家成立协会使用，参考UPC并兼容，主要用于
超市和百货业
3ISBN：图书出版和管理需要
4交叉码：长度无限制但数字资料必须是偶数，在包装、运输、国际航空
转载请注明：http://www.0431gb208.com/sjszlfa/3870.html
