1. 什么是数据分析方法
数据分析方法是从大量的原始数据中提取出有价值的信息、检验假设、支持决策的一系列技术和过程。在数据驱动决策的大背景之下，数据分析方法成为了把原始数据变成业务洞察的桥梁，把繁杂的数值变成可以被运用的知识。
对于博士科研人员来说，掌握数据分析方法既是发表论文的必要条件，也是形成研究论证逻辑的关键能力。不管是心理学实验中t检验，还是经济学研究中面板数据回归，都必须对这些方法有深刻的认识。
常见数据分析方法有如下几种，即描述性统计（均值、中位数、标准差）、回归分析（线性回归、逻辑回归）、聚类分析（K-means、层次聚类）、决策树（C4.5、CART算法）、时间序列预测（ARIMA、指数平滑）、假设检验（t检验、卡方检验、ANOVA）、因子分析（主成分分析、旋转方法）。
这些方法是数据分析的基础，下面将按照分类体系分别进行介绍。
2. 数据分析方法的四大分类体系
按照分析的目的和深度，数据分析的方法分为描述性分析、诊断性分析、预测性分析和规范性分析四种。以下表格展示了7种核心方法按数据类型和业务场景的分类：
数据分析方法四大分类（描述性、诊断性、预测性、规范性）及其核心问题与典型方法
描述性分析方法详解
描述性分析回答的是“发生了什么”这个基本问题，是数据分析的开始。
集中趋势度量：描述数据的中心位置。
- 均值：适用于对称分布，如客户满意度平均分4.2；但易受极端值影响。
- 中位数：适用于偏态分布，如收入数据，中位数更能代表典型水平。
- 众数：适用于分类数据，如最受欢迎的产品类别。
离散程度度量：反映数据的波动性。
- 标准差：衡量数据围绕均值的分散程度，值越大表示数据越分散。
- 方差：标准差的平方，在统计推断中常用。
- 极差：最大值与最小值之差，简单但易受极端值影响。
数据分布形态 ：描述数据分布的形状。
- 正态分布：对称的钟形曲线，许多统计方法的前提假设。
- 偏态分布：左偏（负偏）或右偏（正偏），均值与中位数不相等。
- 峰度：描述分布尾部的厚度，高峯分布表示数据集中在均值附近。
描述性统计核心指标分类：集中趋势（均值、中位数、众数）和离散程度（标准差、方差、极差）
实操示例 ：模拟客户满意度调查数据（1-5分），均值4.2，标准差0.8，分布偏左（负偏），说明大多数客户给出高分，但少数低分拉低了均值。数据来源：公开数据集UCI Wine Quality（模拟生成）。
诊断性分析方法详解
诊断性分析回答“为什么发生”这一深层问题，探索数据背后的因果关系。
相关性分析 ：衡量变量之间的线性关系强度。
- 皮尔逊相关系数：适用于连续变量，取值范围[-1，1]，绝对值越大相关性越强。
- 斯皮尔曼相关系数：适用于等级变量或非线性关系，基于秩次计算。
因果分析：找出变量之间的因果关系。
- A/B测试：用随机实验来检验干预的效果，例如网页设计的改变对转化率的影响。
- 控制实验：在实验室或者自然环境里控制变量，观察因果效应。
根因分析就是对问题的根源进行深入的挖掘。
- 5Why分析：连续问5个为什么来找出根本原因，设备故障→操作不当→培训不足。
- 鱼骨图：从人、机、料、法、环等各个方面系统地整理出可能的原因。
预测性分析方法详解
预测性分析回答的是“未来会发生什么”的问题。
回归分析：建立目标变量和特征变量之间的函数关系。
- 线性回归：适用于连续目标变量，假设线性关系，公式为Y = β₀+β₁X₁+...+βₙXₙ+ε。
- 逻辑回归：适用于二分类目标变量（0/1），输出概率值，公式为logit(p)=ln(p/(1-p))。
时间序列预测：用历史数据的时间依赖关系来预测未来。
- ARIMA模型：由自回归(AR)、差分(I)、移动平均(MA)三部分组成，步骤为识别阶数(d,p,q)、估计参数、模型诊断、预测。
- 指数平滑法：适用于无趋势或者无季节性的数据，给近期的数据赋予较高的权重。
机器学习分类：用算法来学习特征和目标之间的关系。
- 决策树：C4.5算法用信息增益率来选择分裂特征，CART用基尼指数。
- 随机森林：把许多决策树结合在一起，用投票或者平均的方式来提高预测的精度，并且抑制过拟合。
- 支持向量机：找到一个最佳的超平面来分开不同的类别，在高维数据上表现较好。
根据目标变量类型（连续、分类）和时间维度选择预测方法的流程
规范性分析方法详解
规范性分析回答的是应该怎样做的问题，即决策导向的问题。
优化模型：在约束条件下寻找最优解。
- 线性规划：目标函数和约束条件均为线性，如生产计划中的资源分配。
- 整数规划：决策变量为整数，如人员排班、选址问题。
模拟方法：用随机抽样来模拟不确定性。
- 蒙特卡洛模拟：对概率分布做大量的随机抽样，评价各种结果的概率分布，用于项目风险评价。
决策分析：对不同的决策方案进行结构化的评价。
- 决策树分析：画出决策树，算出每个分支的期望值，选最优路径。
- 敏感性分析：改变重要的参数，看结果怎样变化，找出最敏感的因素。
3. 按技术类型划分的数据分析方法
除了按照分析目的来分，数据分析方法还可以按照技术类型来分，从而从方法论的角度去理解。
统计分析方法
统计方法是数据分析的基础，重视推断逻辑。
假设检验是利用样本数据来推断总体参数的。t检验用来比较两组均值的差异，前提是数据接近正态分布；卡方检验用来检验分类变量之间是否独立；方差分析用来比较三组及以上均值的差异。
p值和置信区间：p值是在原假设成立的情况下，观察到当前结果或者更极端结果的概率，p≤0.05时一般会拒绝原假设；置信区间是用一定的置信水平（比如95%）来包含总体参数真值的区间，给出参数估计的精度信息。
因子分析就是把多个变量压缩成少数几个潜在因子。主成分分析用来提取解释方差最大的成分，旋转方法（Varimax）使得因子结构更加清晰易懂。
数据挖掘方法
数据挖掘就是从大量的数据中自动发现模式。
- 聚类分析：将相似的对象分为一组。K-means通过不断更新中心点来实现，计算简单但是需要事先知道聚类的数目K；DBSCAN基于密度进行聚类，可以发现任意形状的聚类，并且可以自动处理噪声点，但是需要调节参数ε和MinPts。
- 关联规则：找出频繁项集，例如购物篮分析中“啤酒和尿布”的关联。
- 异常检测：找出与正常模式有较大差异的观测，例如欺诈交易的检测。
机器学习方法
机器学习是数据挖掘的一个分支，主要关注预测能力。
- 监督学习：用标注数据来训练模型，比如回归分析、决策树、支持向量机。
- 无监督学习：用无标注数据来发现结构，比如聚类分析、主成分分析。
- 半监督学习：少量标注数据和大量未标注数据相结合，适合于标注成本高的情况。
数据可视化方法
可视化是沟通分析结果的桥梁。
- 图表分析：折线图表示趋势，柱状图比较类别，箱线图显示数据分布。
- 交互式仪表盘：使用Tableau、Power BI等工具对数据进行动态的探索，并且可以进行筛选、下钻以及联动。
4. 如何选择合适的数据分析方法
选择数据分析方法属于研究设计的重要部分，按照以下步骤可以防止出现常见的错误。
步骤一：确定业务问题及分析目的
- 描述性目标：统计汇总、报告生成→选择描述性分析。
- 解释性目标：探寻原因、识别驱动因素→选择诊断性分析（相关性、因果分析）。
- 预测性目标：预测未来趋势、分类新样本→选择预测性分析（回归、时间序列、分类）。
- 规范性目标：优化决策、制定行动方案→选择规范性分析（优化、模拟）。
步骤二：评价数据质量及可用性
- 数据类型：连续变量适合回归，分类变量适合逻辑回归或者决策树。
- 样本量：小样本（<30）用非参数检验，大样本用参数方法。
- 缺失值：处理方式有删除（缺失率<5%）、均值填充（MCAR假设）、多重插补。
- 异常值：识别出来之后进行处理，比如截尾、变换或者使用鲁棒方法。
步骤三：考虑分析周期和资源限制
- 快速分析：描述性统计、简单的t检验。
- 深度分析：机器学习算法需要特征工程、调参，周期长。
- 计算资源：深度学习需要GPU，比较耗时。
步骤四：根据业务场景选择方法组合
- 分类问题：决策树可解释性好，SVM精度高，随机森林稳定性好。
- 连续预测：线性回归简单但是假设严格，时间序列适合于时序数据，随机森林适合于非线性关系。
- 原因探索：先做相关性分析筛选变量，再做回归分析验证因果。
以分析目标（描述、诊断、预测、规范）为行，以数据类型（结构化、非结构化、半结构化）为列的选择矩阵
真实案例：研究生王明的数据分析之旅
王明是数据分析方向的研究生，他接到一个项目，即对一家电商公司的客户满意度调查数据进行分析，并预测客户流失风险。
第一步：描述性统计发现数据问题
王明先用描述性统计计算客户满意度均值4.5，但是中位数5.0，标准差0.9，发现数据分布偏左（负偏）。进一步检查发现，有15%的客户满意度评分在3分以下，但是均值被多数高分客户拉高，存在缺失值问题——约8%的问卷没有填写关键问题。王明采用多重插补法（基于链式方程）来处理缺失值，从而保留更多的样本。
第二步：诊断性分析寻找关键因子
王明计算出满意度同各个维度的皮尔逊相关系数，得出“响应速度”相关系数为0.45，“产品质量”为0.38，“客服态度”为0.32。他接着用C4.5决策树算法建立分类模型，自动选出响应速度大于3天、产品质量评分小于4分这两个预测低满意度客户的最强特征。决策树的可解释性使他能够把发现的结果清楚地告诉业务部门。
第三步：预测性分析预测流失率
王明建立了线性回归模型来预测客户流失的概率（连续评分），但是发现残差不符合正态性假设。他改用逻辑回归，把流失定义为满意度小于3分并且未来30天内没有购买行为，然后进行训练，得到AUC为0.82。经过比较可知，在本场景下决策树（CART）的AUC为0.79，比逻辑回归低一些，但是解释性更好。
经验总结：王明在项目中注重方法组合使用，避免单一方法局限性。缺失值处理、异常值识别、模型诊断是他成功的关键。
5. 常见数据分析方法对比表
6. 数据分析方法在不同行业的应用案例
电商行业
- 用户行为分析：用描述性统计统计页面浏览时长、点击率，用聚类分析（K-means）把用户分成高价值、活跃、沉默群体。
- 购物篮分析：用关联规则（Apriori算法）发现客户购买手机后30%会购买手机壳，用于交叉销售推荐。
- 预测销售：用时间序列分析（ARIMA）预测未来3个月销量，用回归分析找出促销活动对销量的影响。
金融行业
- 风控模型：用逻辑回归或者随机森林建立信用评分模型，预测用户违约概率，设定阈值来区分高风险客户。
- 欺诈检测：用异常检测算法（孤立森林、局部异常因子）对交易进行实时监测，发现异常就及时止损。
- 投资组合优化：用线性规划或者蒙特卡洛模拟，在风险约束下最大化收益，配置资产比例。
医疗行业
- 疾病预测：用决策树或者随机森林来评价患者患病的风险，比如根据年龄、生活习惯来预测糖尿病的概率。
- 患者分层：用聚类分析把患者分成不同的亚型，对每个亚型制定个性化的治疗方案。
- 临床决策支持：用逻辑回归分析治疗方案的疗效和副作用，辅助医生决策。
制造业
- 质量检测：用主成分分析（PCA）降维，结合异常检测来识别产品缺陷。
- 预测性维护：用时间序列分析来预测设备的故障时间，提前安排维护，减少停机损失。
- 供应链优化：用线性规划来优化库存管理，平衡采购成本和缺货风险。
不同行业数据分析方法应用场景一览表
常见问题
共 3 个问题，点击展开查看专业解答
根据分析目的和深度，数据分析方法一般可以分为描述性分析、诊断性分析、预测性分析和规范性分析这四种，也可以按照技术类型分为统计分析、机器学习、数据挖掘等。
描述性分析回答的是“发生了什么”，即汇总报表、统计指标等；诊断性分析回答的是“为什么发生”，即因果分析、根因分析、相关性分析等，用来探究数据背后的原因。
建议从描述性统计开始，即均值、中位数、标准差等，然后学习数据可视化、相关分析、假设检验等，最后再学习回归分析、分类预测等方法。
参考文献：
- Anderson，D.R.，Sweeney，D.J.，& Williams，T.A.（2014）. Statistics for Business and Economics（12th ed.）. Cengage Learning.
- Hastie，T.，Tibshirani，R.，& Friedman，J.（2009）. The Elements of Statistical Learning（2nd ed.）. Springer.
- Box，G.E.P.，Jenkins，G.M.，& Reinsel，G.C.（2015）. Time Series Analysis: Forecasting and Control（5th ed.）. Wiley.
- Han，J.，Kamber，M.，& Pei，J.（2011）. Data Mining: Concepts and Techniques（3rd ed.）. Morgan Kaufmann.
- 公开数据集来源：UCI Machine Learning Repository (https://archive.ics.uci.edu/ml/index.php)