数据科学导论复习笔记_数据科学期末 csdn-CSDN博客]

(https://blog.csdn.net/Loca17/article/details/129177801)

数据、信息、知识（P4）

数据：数据是指，以定性或者定量的方式来描述事物的符号记录，是可定义为意义的实体，它涉及到事物的存在形式。简单来说，数据就是人为创造的一种对事物的表示方式，是通过观察或实验得来的对现实世界中的地方、事件、对象或概念的描述和反映。
信息：信息是经过加工后的数据，只有经过解释、归纳等处理后，数据才有意义，才能成为信息；信息同样可以以数字、字符、文字、表格、图形等形式作为载体存在。
知识：知识是人们对某件物品或现象的理论性或实践性的理解，知识一般是形式化或系统化的。知识的获取一般是通过传授或亲身经历。

大数据及其特征（4V/5V）

”大数据“：

”大数据“是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

4V：

数据量大
类型繁多，来源复杂
价值密度低，提纯难
速度快，时效要求高

既是机遇，更多的是挑战；既有的技术架构和路线已经无法高效处理如此海量、多样化、快速增长的数据。
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。
换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。

数据科学概念与内涵（P11）

数据科学是一门通过系统性研究来获取与数据相关的知识体系的科学。

一是通过研究数据本身，研究数据的各种类型，结构，状态，属性及变化形式和变化规律。

二是通过对数据的研究，为自然科学和社会科学的研究提供一种新的方法——科学研究的数据方法，其目的在于揭示自然界和人类行为的现象和规律。

大数据的产生原因，互联网，无线互联，物联网（P26）

大数据时代的出现有两个基础：

一是计算机技术的发展是大数据出现的技术基础。
二是互联网和物联网的发展是大数据时代出现的数据基础。

技术基础：无线互联技术推动移动互联网，传感器网络的飞速发展；数据抓取技术；数据可视化，虚拟现实技术。
数据基础：物联网就是物物相连的互联网，物联网天生就是大数据。与互联网相比，物联网产生的数据更为结构化，速率更快，体量更大，主要为客观性的数据。而互联网的数据主要依靠人来产生。

各个国家、重点企业的大数据战略（看看，了解）（P29）

联合国——全球脉搏计划

美国——棱镜计划，主干道，码头，核子，大数据研究与开发计划

欧盟——智慧城市（智慧经济、智慧治理、智慧生活、智慧人民、智慧环境、智慧移动性）

谷歌——Mapreduce，Google File System，Bigtable，Caffeine ，Pregel，Dremel，BigQuery

IBM——3A5步，Hadoop系统、流计算、数据仓库、信息整合和治理

百度——阿拉丁计划，大数据引擎

阿里巴巴——淘宝数据魔方、数据地图（阿里数据追溯系统）

腾讯

华为——FusionInsight

网易

范式概念、演变过程（P43）

范式概论本质上讲是一种理论体系，是从事某一科学的研究者群体所共同遵从的世界观和行为方式，它包含三个方面：共同的基本理论、观念和方法；共同的信念；某种自然观（包括形而上学假定）。它有两个内涵：科学共同体的承诺集合；科学共同体共有的范例。

当一个稳定的范式如果不能提供解决问题的适当方式，它就会变弱，从而出现范式转移。

演变过程：前学科（没有范式）——常规科学（建立范式）——科学革命（范式动摇）——新常规科学（建立新范式）

范式分类：
经验范式（是经验科学，主要用来描述自然现象，以归纳为主，带有较多的盲目性的观测和实验，如：斯金纳-鸽子的迷信行为）
理论范式（【不用发现，直接由理论推断。以演绎法为主。19世纪以后成熟起来。】是理论科学，使用模型或归纳法进行科学研究，理论指人类对自然、社会现象按照已有的实证知识、经验、事实、法则、认知以及经过验证的假说，经由一般化与演绎推理等方法，进行合乎逻辑的推论性总结，以演绎法为主）
模拟范式（是计算科学，主要模拟复杂的现象）【如：冯诺依曼-现代计算机架构】
数据密集型研究范式（第四范式）

第四范式概念、特点（P46）

“数据密集型”就是现在我们所称之为的“大数据”。
数据密集型研究范式（第四范式）是针对数据密集型科学，由传统的假设驱动向基于科学数据进行探索的科学方法的转变而产生的科学研究范式。
数据密集型研究范式的研究的对象就是科学数据，目的是从大数据中探索“不知道自己不知道”的现象和规律。
数据密集型范式（第四范式）要解决的问题有：数据的获取与清洗，数据的存储与管理，数据的处理，数据的分析与建模，数据的展示与运用等等…

科学研究一般流程

数据类型（四类数据特点，能分辨）（P52）

科学研究的一般流程：收集世界中的各种原始数据——对数据进行清洗和预处理——开展探索性数据分析，并根据情况再进行预处理或重新收集补充数据——根据问题类型对数据进行建模——解读数据（通过数据可视化等方法）并对趋势进行预测。
分类型数据（只关注它们之间是否相等或者不等的情况）；排序型数据（存在着排序关系）；区间型数据（这种类型数据主要是测量产生的结果，也属于定量性数据）

网络爬虫原理、结构、功能

功能：网络爬虫就是一个抓取网页的程序，程序自动访问网站，提取网页信息并保存。
原理：获取初始的URL——爬取页面内容并获取新的URL——将新的URL放在存储队列中——读取新的URL——判断是否满足条件（是则停止爬取结束，否则回到爬取页面内容并获取新的URL步骤）
抓取策略：深度优先遍历，广度优先遍历，大站优先策略，反向链接数策略，Partial PageRank策略
结构：分布式抓取系统（网页——爬虫程序——数据中心）：
主从式：Master主机，Slave服务器。
对等式：服务器都一样。

数据预处理、概念、原因、目的（P61）

原因：原始数据中存在着各种各样的问题。

杂乱性（系统的数据缺乏统一的标准和定义）
重复性（同一事物在数据库中存在两条或多条完全相同的记录）
不完整性（系统设计的不合理或者使用过程中的某些因素使得属性值缺失或者不确定）
存在噪声（噪声是指测量变量中的随机错误或偏离期望的孤立点值）

目的：为数据挖掘过程提供干净、准确、简介的数据。减少数据处理量，提高数据挖掘的效率和准确率。没有高质量的数据就没有高质量的挖掘结果。
概念：数据预处理是指在主要的处理之前对数据进行的一些处理。
数据预处理主要内容/任务：数据清理、数据集成、数据变换、数据规约。

数据清洗，概念，方法，目的（P61）

概念（目的）：对原始数据进行处理，将“脏”数据转化为“干净的”数据。
其主要任务包括： 填补空缺值，平滑噪声数据，纠正不一致数据，消除冗余数据。

数据噪声产生原因（P61）

数据收集工具的问题，数据输入错误，数据传输错误，技术限制，命名规则的不一致。

掌握用于处理噪声数据的数据分箱法（3种）、平滑（3种）方法

分箱法：等深，等宽，用户自定义区间
平滑处理：
法一：分箱（按箱平均值平滑，按箱边界平滑，按箱中值平滑）
法二：聚类（聚类将相似的值组织成群或类，落在群或类外的值就是孤立点，也就是噪声数据，“+”号用来表示聚类的质心。聚类的质心就是聚类的平均点。不在任何聚类中的点称为孤立点，就是要去掉的噪声数据）【如：K-means聚类算法】
法三：回归（发现两个相关变量之间的变化模式，通过使数据适合一个函数来平滑数据，即拟合函数对数据进行平滑）【如：最小二乘法，线性回归，非线性回归】

数据集成概念、方法（P67）

概念：将多个数据源中的数据结合起来存放在一个一致的数据存储中。
方法：

完成各信息源的匹配（如借助元数据把不同的数据统一成为相同的类型）【即：从多信息源中识别识别现实世界的实体并进行匹配】
完成冗余数据的处理（采取相关性分析方法发现冗余问题）【常用相关性分析方法有：检验法（卡方检验），值越大，则变量的相关性越强】【相关性的存在一般预示着冗余的存在】
1.假设H0为…与…没有关系，H1为…与…有关系
2.计算。期望值TRC=
3.算卡方值=
4.查表求p值

数据变换概念，方法（P70）

概念：将数据转换成适合于进行处理和分析的形式。
方法：

平滑：去除数据中的噪声（分箱、聚类、回归）。
聚集：对数据进行汇总和聚集，常采用数据立方体的构建。
数据概化：沿概念分层向上概化（数据处理和分析过程中不需要那么细化的概念）
规范化：将数据按比例缩放，使之落入一个小的特定区间。 目的在于加快训练速度，消除数值型属性因大小不一而造成数据处理和分析结构的差值。
属性构造：通过现有属性构造新的属性，并添加到属性集中；以增加对高位数据的结构的理解和精确度。

掌握数据规范化方法（3种）

最大—最小规范化【如：百分比换算】
零—均值规范化:（v’ = ）
小数定标规范化（ v’ = v / 10**j ）。其中，j是使得max(|v’|) < 1的最小整数【通过移动小数点，改变原来的数的大小，使其满足在[-1,1]区间内的条件】

数据规约概念，目的（P72）

目的:被分析的对象数据集非常大，分析与挖掘会特别耗时甚至不能进行，通过规约可以减少对象数据集大小。
概念：数据规约技术能够从原有的庞大数据集中获得一个精简的数据集合，并使这一精简的数据集保持原有数据集的完整性，以提高数据挖掘的效率。
对数据规约的要求：

所得规约数据集要小；
规约后的数据集仍接近于保持原数据的完整性；
在规约数据集上所得分析结果应与原始数据集相同/基本相同；
归约处理时间少于<挖掘所节约的时间。

归约策略包含

数据立方体聚集（结构数据量小，不丢失分析任务所需信息，每个属性可能存在概念分层，允许在多个抽象层进行数据分析）；
维归约（检测并伸出不相关、弱相关的或冗余的属性或维）；
数据压缩（使用编码机制压缩数据集）；
数值压缩（用替代的、较小的数据表示来替换或估计数据）；
离散化和概念分层产生（属性的原始值用区间或较高层的概念替换）。

主成分分析概念、目标

概念：通过正交变换将一组可能存在相关性的变量转化为一组线性不相关的变量，转化后的这组变量叫做主成分。
目标：在研究多变量课题时，为减少变量个数太多导致的复杂性，将原先提出的所有变量中的重复变量（关系紧密变量）删去，建立尽可能少的新变量。使这些变量两两不相关，简化课题研究。

主成分保留了原始变量绝大多数信息。

主成分的个数大大少于原始变量的数目。

各个主成分之间互不相关。

每个主成分都是原始变量的线性组合。

大数据挑战（P80）

容量问题

延迟问题（实时性）

安全问题（数据安全、数据隐私）

成本问题（设备，维护）

数据的积累

灵活性（应用千变万化，不同那个场景的应用）

应用感知

针对小用户（个人，小企业，小群体的需求）

云计算、云存储概念、优点（P81）

云计算：一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。基础设施即服务，平台即服务，软件即服务。
云存储：参考云状的网络结构，创建一个新型的云状网络存储系统，这个存储系统由多个存储设备组成，通过集群功能、分布式文件系统或类似计算等功能联合起来协同工作，并通过一定的应用软件或应用接口，对用户提供一定类型的存储服务和访问服务。

云存储并不是一种存储模式，而是一种服务。

并不是指某一具体的设备，而是指一个由许许多多个体存储设备和服务器所构成的集合体。

使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。

云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。

优点：成本低廉，量身定制，易于管理，可扩容能力强。

数据独立性（P83）

文件系统阶段：程序与数据有了一定的独立性，数据的改变不一定要引起程序的改变。

传统关系数据库管理存在的问题（P85）

关系型数据库是创建在关系模型基础上的数据库，借助于集合代数等数学概念方法来处理数据库中的数据，其使用二维表或文件表示二维数据。
存在问题为：关系数据库所采用的的二维表格数据模型不能有效地处理多维数据，不能有效处理互联网应用中半结构化和非结构化的海量数据。

高并发，读写性能低（关系数据库达到一定规模时，非常容易发生死锁等并发问题）。

支撑容量有限。在海量信息下，其很难应付。

数据库的可扩展性和可用性低。无法通过添加更多的硬件和服务节点来扩展性能和负载能力。

建设和运行维护成本太高。

NoSQL，概念，优点

概念：（Not only SQL）是一种与关系型数据库截然不同的数据库管理系统，它的数据存储格式是松散的，并且易于横向扩展。也成为分布式数据管理系统，数据存储被简化，变得更灵活，重点被放在了分布式数据管理上。
优点：

易扩展：数据之间无关系，非常容易扩展。

大数据量，高性能：数据之间无关系，数据库

Hadoop、MapReduce等基本原理及用途

为常用云计算，对大数据进行处理
MapReduce既是一个编程模型，又是一个计算框架。一种以主从结构的形式运行的分布式计算模型，是大数据时代的基本计算模型之一。
==Hadoop是一个开源的、分布式计算的解决方案。可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的。不适合对记录随机读写的在线事务处理模式。

数据可视化概念，重要性，方法，目标（P95）

概念：借助于图形手段，清晰有效地传达与沟通信息。分为两类，一类是科学可视化（主要关注三维现象的可视化），二是信息可视化（旨在研究大数据规模非数值型信息资源呈现，利用图形图像方面的技术与方法，帮助人们理解分析数据）。
重要性：进入大数据时代，人们需要处理复杂的数据结构，需要应对复杂的数据关系，需要厘清复杂的逻辑分类。可视化方式，可以提供一种更为有效的手段，为人们厘清这些复杂的问题。可视化能够帮助人们提高理解与处理数据的效率，可以洞察发现无法分清的结构与细节。
方法：
方法论基础：视觉编码方法论（数据可视化本质是视觉编码）（是指将数据映射成符合用户视觉感知的可见视图的过程）
基础方法：统计图表（饼图，等值线，散点图，韦恩图，热地图，箱线图，雷达图）、视觉隐喻（在视觉上将目标物体或形象与另一领域的参照物进行相似性对比，常用于广告和平面设计之中）、形式化表达、图形符号学。
领域方法：地理信息的可视化、空间数据可视化、时变数据可视化、文本数据可视化、跨媒体数据的可视化、不确定数据的可视化、实时数据的可视化等

数据挖掘概念、目标(P110)：

概念：数据挖掘是从大量的、有噪声的实际应用数据中，提取隐含在其中的、潜在有用的信息和知识的过程。（具体见上）

关联规则概念、原理（P110）：

以支持度、置信度作为主要商品相关性分析指标。以提高度指标来强化说明关联关系。

掌握支持度、置信度、提升度计算（P110）：

支持度：表示项集{X,Y}在总项集里出现的概率。（A和B同时出现在这一事件的概率）（以下是支持度的计算方式：）

其中 N 代表中的事件个数，而 N(A&B) 代表购物篮中同时出现 A 和 B 的事件次数。

置信度：表示在先决条件X发生的情况下，由关联规则 "" 推出 Y 的概率。即：在含有 X 的项集中，含有 Y 的可能性。
含有 X 的条件下，同时含有 Y 的概率与 Y 总体发生的概率之比。

理解提升度指标的含义（P112）：

提升度表征了商品之间的亲密关系，也可称为兴趣度。代表的是商品A 的出现，对商品B的出现概率提升的程度。

关联规则的应用（理解，能拓展到其他领域）（P115）：

不要只见树木，而不见森林（沃尔玛相对于商品销量本身更加注重与购物篮以及顾客的购物需求）

注重相关关系的研究（啤酒与尿布的故事中理解两商品之间的联系）

深挖数据背后的意义

数据分析不能停留在表面（发现现象后一定要深挖本质，不能停留在表面，只有清楚现象背后的原因，才能真正利用这个规律）

包括后续几页案例（P132）：

趋势预测概念、原理：

概念：面对大量数据，通过合理的思维利用，进行对数据的极致利用，并对事件进行预测和分析。
原理：不再拘泥于因果关系，而是注重相关关系。

与测试大数据的核心应用吗？大数据预测一定准吗？怎么提高预测精确度？

预测是大数据的核心应用，大数据预测不一定准（大数据傲慢完全忽视和取代传统数据的分析方法，数据变“脏”），可以通过对原始数据进行清洗，并将大数据得到的结果与传统方法获得的结果互相验证，明辨陷阱来提高预测精度。

大数据与隐私保护（P165）：

对掌握数据的人进行管理，相关规则，立法甚至道德宣讲或者体系建立都应该跟上。掌握数据的人应保护用户数据隐私。

通读案例，了解大数据的应用领域、应用场景，尤其是每一部分的思维启示（P175）

结语这一章（P215）：

机遇与挑战、误区、伦理问题，数据不是万能的，能根据材料进行分析，有自己的观点

数据噪声：与生俱来的不和谐。我们寻求的重要数据信息或客观真理往往会被庞大数据所带来的噪声说淹没，甚至被引入歧途和陷阱，得出错误的结论。
真实性：不得不接受的虚假。在相当长的时间内，即使最优秀的数据科学家、最先进的数据处理方式也无法消除或修正某些数据固有的错误和不足。
代表性：永不可能的全样本。无论科学技术如何发达，来自于物理世界和网络社会的大数据永远都不可能覆盖整个自然界和人类社会。
完整性：广度与深度的缺失。真正核心的数据绝大部分掌握在政府手中，没有政府参与，就没有真正的大数据。
时效性：秒级价值存在。大数据时效性的要求对数据的实时采集、实时加工、实时分发提出了极高的要求。
解释性：不能没有因果关系。相关关系仅代表着过去和个案，没有解释性，有时甚至是错误的，而且不能推而广之。只有掌握了事物之间的因果关系、原因机制和科学原理，才能举一反三，迭代更新，持续推动社会进步。
预测性：让过去决定未来。大数据分析无论被赋予多么绚丽的光环，从根本上讲都只是对过去和现实的归纳和总结，其本身并不具有趋势和方向性的特征。决定趋势的是事物发展的内在因素及相互作用，在此方面大数据无能为力。
误导性：数据也会说谎。与大数据的代表性、真实性、完整性、解释性等局限性相关。对统计现象只看结果不重解释，很可能导致错误甚至危险的结论。
合法性：数据安全与隐私保护。大数据本身及其采集、使用过程都极有可能会涉及个人隐私、商业机密、公众权益和国家信息安全。因此，安全性和合法性问题构成了大数据价值发挥的限制性因素之一。
价值性：投入与收益的平衡。价值密度低是被公认的大数据特征之一，这也在一定程度上限制了大数据的研究和应用。

再看：书P69算法

题型

选择 10 题，10 分

名词解释 5 题，20 分

简答 5 题，30 分

计算题 2 题，25 分

论述题 1 题，15 分

选择题样例

*1.由于大数据存在数据量大、数据类型多、数据处理快三个特点，导致数据价值隐藏在海量的数据中，使得大数据往往表现为（B）。

A、数据价值密度高

B、数据价值密度低

C、数据价值高

D、数据价值低

*2.（A）是模式识别技术在图像领域中的具体应用，是对输入的图像信息建立图像识别模型，分析并提取图像的特征，然后建立分类器，根据图像的特征进行分类识别的一种技术。

A、图像识别

B、图像构建

C、图像修改

D、图像重现

*3.（A）是通过已有的训练样本去训练得到一个最优模型，再利用这个模型将所有的输入映射*

*为相应的输出，对输出进行简单的判断从而实现分类的目的。*

*A、监督学习 B、非监督学习 C、强化学习 D、非强化学习*

*注意：主观题关键是理解，不要死记硬背，用自己的语言描述清楚就能得到全部分数了。*

*名词解释样例*

*⚫ 数据科学*

数据科学是一门通过系统性研究来获取与数据有关的知识体系的科学

*⚫ 数据平滑*

数据的平滑处理是数据清洗的重要步骤，处理噪声数据

*⚫ 数据规范化*

将数据按比例进行缩放，使之落入一个小的特定区域

*⚫ 数据归约*

从原有的庞大数据集中获得一个精简的数据集合，并使其保持原有数据集的完整性，以提高数据挖掘的效率

*⚫******* *数据集成*

多个数据源中的数据结合起来存放在一个一致的数据存储中

*⚫******* *数据变换*

通过变换将数据转换成适合处理和分析的形式

*⚫ 数据清洗*

即填补空缺值、平滑噪声数据、纠正不一致性数据、消除冗余数据

*⚫ 数据仓库*

决策支持系统（dss）和联机分析应用数据源的结构化数据环境

*⚫ 数据挖掘*

从数据库的大量数据中揭示出隐含的、先前未知并有潜在价值的信息的过程

*⚫ NoSQL（非关系型数据库）*

泛指非关系型的数据库，一种数据存储被简化，更加灵活，重点在分布式数据管理上的数据库管理系统

*⚫ 回归分析*

是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。

*⚫ 云存储*

创建一个新型的云状结构的存储系统，通过集群应用等功能联合起来协同工作，并通过一定的应用软件或应用接口，对用户提供一定类型的存储服务和访问服务。

*简答题样例*

*⚫ 简述数据、信息、知识的关系。*

数据是指以指定性或定量的方式来描述事物的符号记录，是可定义为意义的实体，它涉及事物的存在形式

数据是一些符号的组合，而当这些符号被用来指示某个事物或者某件事时，则成了信息

知识是人们对某件物品或现象的理论性或实践性的理解，一般是形式化或系统化的

对数据进行解释和理解后，才可以从数据中提取出有用的信息，对信息进行整合和呈现，才能获得知识

*⚫ 大数据的“价值密度低”特点给数据分析与应用带来哪些挑战？*

给数据的价值“提纯”带来了挑战

一方面，数据噪声、数据污染等因素带来了数据的不一致性、不完整性、模糊性、近似性、伪装性，给数据“提纯”带来了挑战

另一方面，庞大的数据量、复杂的多样性，也给数据“提纯”增加了难度

*⚫ 什么是结构化数据和非结构化数据？物联网传感器采集到的数据属于哪一类？*

结构化数据是存储在数据库里的，可以用二维表结构来表达实现的数据

非结构化数据包括所有格式的办公文档、文本、图片、XML、HTML、报表、图像和音频/视频信息等

属于结构化数据

*⚫ 如何理解“数据是人创造的，是人们主观意志的表现”？*

数据是人为创造的一种对事物的表示方式，是通过观察或实验得来的对现实世界中地方、事件、对象或概念的秒速和反映

由于数据是人造的，因此不管是如何得到的，一定是人的主观意志的表现，带有强烈的主观色彩

*⚫ 简述网络爬虫的原理和功能。*

是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。

从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。

传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件

*⚫ 为什么要对采集的数据进行“预处理”操作？*

1.处理原始数据，使之干净准确简洁，去除其杂乱性、重复性、不完整性。

2.减少数据处理量

3.为数据挖掘提供准确简洁的数据，减少数据处理量，提高数据挖掘的效率和准确性

*⚫ 什么是噪声数据？噪声数据产生的原因主要有哪些？*

噪声数据是指原始数据中存在的随机错误或偏差

\1. 数据收集工具的问题

\2. 数据输入错误

\3. 数据传输错误

\4. 技术限制

\5. 命名规则的不一致

*⚫ 什么是数据规范化？为什么要进行数据规范化处理？*

将数据按比例进行缩放，使之落入一个小的特定区域

为了加快训练速度，消除数值型属性因大小不一而造成数据处理和分析结果的偏差

*⚫ 简述主成分分析法(PCA)基本原理和功能。*

找出数据里最主要的方面，用数据里最主要的方面来代替原始数据

通过正交变换将一组可能存在相关性的变量转换成一组线性不相关的变量，对数据进行压缩，去噪

*⚫ NoSQL 相对于传统关系型数据库有什么优点？*

不一定遵循传统数据库的一些基本要求，数据存储被简化，变得更灵活，重点被放在了分布式数据管理上

*⚫ 如何理解“一幅画最伟大的价值莫过于它能够是我们实际看到的比我们期望看到的内容丰富得多”？*

即数据可视化的功能，旨在借助于图形化手段，清晰有效地传达与沟通信息。

*论述题样例*

*先给一小段材料，读完以后思考分析，回答类似如下的问题：*

*⚫ 简述大数据的“5V”特征，并分析以上描述主要反映了大数据的哪些方面面临的挑战？*

\1. 大量，指高速增加的数据量，因而带来了数据容量问题，且数据量过大，数据保护相对简单，大数据分析往往会混合数据访问，造成安全问题。

\2. 高速，指数据增长的速度，大数据处理技术对处理速度有极严格的要求，面临延迟问题

\3. 多样，指不同的数据类型

\4. 低价值密度，给数据价值的“提纯”带来了挑战

\5. 真实，许多数据没有实际意义，真正解决问题时可能会将人引入歧途，同样给数据“提纯”带来挑战

*⚫ 针对这些挑战，你认为在大数据的分析处理应用实践中应该注意哪些问题？*

*⚫ 什么是相关关系？什么是因果关系？二者有何区别联系（可举例说明）？*

相关关系：即两类现象在发展变化的方向与大小方面存在一定的联系

因果关系：一种现象是另一种现象的原因，而另一种现象是结果。

因果关系的存在，必然会伴随着相关性。但是，从因到果还需时间上的先后顺序、以及合理的机制等。因此，相关性只是因果关系的必要不充分条件。

*⚫ 有观点认为“预测是大数据最核心的应用”，对此你有什么看法？阐述你的观点*

我赞同该观点。

大数据技术的主要功能是对未来事态的预测和对未来事物的想象。因此我认为大数据预测是大数据最核心的应用，它将传统意义的预测拓展到“现测”。大数据预测的优势体现在，它把一个非常困难的预测问题，转化为一个相对简单的描述问题，而这是传统小数据集根本无法企及的。

*计算题*

\1. 等深分箱法，按照对象的个数来划分

\2. 等宽分箱法，按照对象的值来划分，若对象范围划分为等间隔的n块，ab分别是最低和最高的属性值，那么间隔宽度w=（b-a）/n

\3. 用户自定义区间法：自定义

*平滑**处理**方法*

\1. 按箱平均值平滑处理：用平均值代替全部

\2. 按箱边界平滑处理：用两个边界值差异最小的代替全部

\3. 按箱中值平滑处理：用中值代替所有数据

\1. 最小—最大规范化

v’=(v-min)(new_max-new_min)/(max-min)+new_min

\2. 零-值规范化

v’=(v-平均值)/标准差

\3. 小数定标规范化

v’=v/10j次方，j是满足max(|v’|)<1的最小整数

支持度：支持某一事件发生的概率

指a和b组合出现次数与总次数的比例

S(A-B)=N(A&B)/N

置信度：特定个体对特定命题真实性的相信的程度

当你购买了a有多大概率会买b

C(A-B)=N(A&B)/N(A)

提升度：对支持度和置信度进行全面衡量和补充的一项指标

a的出现，对b出现概率提升的程度，先算b的支持度，再用a对b的置信度除这个

L(A-B)=C(A-B)/S(B)

映射最小和最大值为12000和98000到区间[0.0,0.1],问值73600和100000在新区间的值为多少

生命OS

探索

数据科学导论复习笔记_数据科学期末 csdn-CSDN博客

数据科学导论复习笔记_数据科学期末 csdn-CSDN博客]

数据、信息、知识（P4）

大数据及其特征（4V/5V）

数据科学概念与内涵（P11）

大数据的产生原因，互联网，无线互联，物联网（P26）

各个国家、重点企业的大数据战略（看看，了解）（P29）

范式概念、演变过程（P43）

第四范式概念、特点（P46）

科学研究一般流程

数据预处理、概念、原因、目的（P61）

数据清洗，概念，方法，目的（P61）

数据噪声产生原因（P61）

掌握用于处理噪声数据的数据分箱法（3种）、平滑（3种）方法

数据集成概念、方法（P67）

数据变换概念，方法（P70）

掌握数据规范化方法（3种）

数据规约概念，目的（P72）

主成分分析概念、目标

大数据挑战（P80）

云计算、云存储概念、优点（P81）

数据独立性（P83）

传统关系数据库管理存在的问题（P85）

NoSQL，概念，优点

Hadoop、MapReduce等基本原理及用途

数据可视化概念，重要性，方法，目标（P95）

数据挖掘概念、目标(P110)：

关联规则概念、原理（P110）：

掌握支持度、置信度、提升度计算（P110）：

理解提升度指标的含义（P112）：

关联规则的应用（理解，能拓展到其他领域）（P115）：

推荐算法原理（P118-P123）：

包括后续几页案例（P132）：

大数据与隐私保护（P165）：

通读案例，了解大数据的应用领域、应用场景，尤其是每一部分的思维启示（P175）

结语这一章（P215）：

再看：书P69算法

关系图谱

生命OS

探索

数据科学导论复习笔记_数据科学 期末 csdn-CSDN博客

数据科学导论复习笔记_数据科学期末 csdn-CSDN博客]

数据、信息、知识（P4）

大数据及其特征（4V/5V）

数据科学概念与内涵（P11）

大数据的产生原因，互联网，无线互联，物联网（P26）

各个国家、重点企业的大数据战略（看看，了解）（P29）

范式概念、演变过程（P43）

第四范式概念、特点（P46）

科学研究一般流程

数据预处理、概念、原因、目的（P61）

数据清洗，概念，方法，目的（P61）

数据噪声产生原因（P61）

掌握用于处理噪声数据的数据分箱法（3种）、平滑（3种）方法

数据集成概念、方法（P67）

数据变换概念，方法（P70）

掌握数据规范化方法（3种）

数据规约概念，目的（P72）

主成分分析概念、目标

大数据挑战（P80）

云计算、云存储概念、优点（P81）

数据独立性（P83）

传统关系数据库管理存在的问题（P85）

NoSQL，概念，优点

Hadoop、MapReduce等基本原理及用途

数据可视化概念，重要性，方法，目标（P95）

数据挖掘概念、目标(P110)：

关联规则概念、原理（P110）：

掌握支持度、置信度、提升度计算（P110）：

理解提升度指标的含义（P112）：

关联规则的应用（理解，能拓展到其他领域）（P115）：

推荐算法原理（P118-P123）：

包括后续几页案例（P132）：

大数据与隐私保护（P165）：

通读案例，了解大数据的应用领域、应用场景，尤其是每一部分的思维启示（P175）

结语这一章（P215）：

再看：书P69算法

关系图谱

数据科学导论复习笔记_数据科学期末 csdn-CSDN博客