全文链接：https://tecdat.cn/?p=33031
分析师：Donglei Niu
判别分析(Discriminant analysis）是一种统计分析方法，旨在通过将一组对象（例如观察数据）分类到已知类别的组中，来发现不同组之间的差异（点击文末“阅读原文”获取完整代码数据）。
什么是判别分析
判别分析有两种主要形式:线性判别分析（LDA）和二次判别分析（QDA）。LDA假设每个类别的协方差矩阵相同，并寻找最优的判别方向来最大化类别之间的距离。QDA假设每个类别的协方差矩阵都不同，并寻找最优的判别方向来最大化类别之间的距离，同时也考虑了每个类别的协方差矩阵。
线性判别分析(LDA)
当我们有一个由n个样本和p 个特征组成的数据集时，LDA的目标是找到一个线性变换，将数据从p维空间映射到k维空间(k
线性判别分析的数学原理
目标函数
将上面的公式化简，得到:
我们最终可以目标函数为
二次判别分析(QDA)
QDA (Quadratic Discriminant Analysis）是一种有监督的机器学习算法，用于分类问题。它是 LDA (Linear Discriminant Analysis，线性判别分析）的一种扩展形式，与LDA类似，QDA 也是一种基于贝叶斯决策理论的分类器。与LDA不同的是，QDA假设每个类别的协方差矩阵不相同，因此在分类时使用的决策边界是二次曲线。
点击标题查阅往期内容
数据分享|R语言逻辑回归、线性判别分析LDA、GAM、MARS、KNN、QDA、决策树、随机森林、SVM分类葡萄酒交叉验证ROC
01
02
03
04
R语言实例介绍
数据包含有关葡萄牙“Vinho Verde”葡萄酒的信息（查看文末了解数据免费获取方式）。该数据集有1599个观测值和12个变量，分别是固定酸度、挥发性酸度、柠檬酸、残糖、氯化物、游离二氧化硫、总二氧化硫、密度、pH值、硫酸盐、酒精和质量。固定酸度、挥发性酸度、柠檬酸、残糖、氯化物、游离二氧化硫、总二氧化硫、密度、pH、硫酸盐和酒精是自变量并且是连续的。质量是因变量，根据 0 到 10 的分数来衡量。
探索性分析
总共有 855 款葡萄酒被归类为“好”品质，744 款葡萄酒被归类为“差”品质。固定酸度、挥发性酸度、柠檬酸、氯化物、游离二氧化硫、总二氧化硫、密度、硫酸盐和酒精度与葡萄酒质量显着相关（ t 检验的 P 值 < 0.05），这表明了重要的预测因子。我们还构建了密度图来探索 11 个连续变量在“差”和“好”葡萄酒质量上的分布。从图中可以看出，品质优良的葡萄酒在PH方面没有差异，而不同类型的葡萄酒在其他变量上存在差异，这与t检验结果一致。
na.oit() %> muate(qal= ase_hen(ality>5 ~good", quaity <=5 ~ "poor")) %>% muate(qua= s.fatrqual)) %>% dpeme1 <- rsparentTme(trans = .4) plot = "density", pch = "|", auto.key = list(columns = 2))
图 1. 葡萄酒品质和预测特征之间的描述图。
表 1. 优质和劣质葡萄酒的基本特征。
# 在表1中创建一个我们想要的变量 b1 <- CeatTableOe(vars litars, straa = ’qual’ da wine tab
模型
我们随机选择 70% 的观测值作为训练数据，其余的作为测试数据。所有 11 个预测变量都被纳入分析。我们使用线性方法、非线性方法、树方法和支持向量机来预测葡萄酒质量的分类。对于线性方法，我们训练（惩罚）逻辑回归模型和线性判别分析（LDA）。逻辑回归的假设包括相互独立的观察结果以及自变量和对数几率的线性关系。LDA 和 QDA 假设具有正态分布的特征，即预测变量对于“好”和“差”的葡萄酒质量都是正态分布的。对于非线性模型，我们进行了广义加性模型（GAM）、多元自适应回归样条（MARS）、KNN模型和二次判别分析（QDA）。对于树模型，我们进行了分类树和随机森林模型。还执行了具有线性和径向内核的 SVM。我们计算了模型选择的 ROC 和准确度，并调查了变量的重要性。10 折交叉验证 (CV) 用于所有模型。
inTrai <- cateatPariti(y winequal, p = 0.7, lit =FASE) traiData <- wine[inexTr, teDt <wi[-idxTrain,]
线性模型 多元逻辑回归显示，在 11 个预测因子中，挥发性酸度、柠檬酸、游离二氧化硫、总二氧化硫、硫酸盐和酒精与葡萄酒质量显着相关（P 值 < 0.05），解释了总方差的 25.1%。酒质。将该模型应用于测试数据时，准确度为 0.75（95%CI：0.71-0.79），ROC 为 0.818，表明数据拟合较好。在进行惩罚性逻辑回归时，我们发现最大化ROC时，最佳调优参数为alpha=1和lambda=0.00086，准确度为0.75（95%CI：0.71-0.79），ROC也为0.818。由于 lambda 接近于零且 ROC 与逻辑回归模型相同，因此惩罚相对较小，
但是，由于逻辑回归要求自变量之间存在很少或没有多重共线性，因此模型可能会受到 11 个预测变量之间的共线性（如果有的话）的干扰。至于LDA，将模型应用于测试数据时，ROC为0.819，准确率为0.762（95%CI：0.72-0.80）。预测葡萄酒品质的最重要变量是酒精度、挥发性酸度和硫酸盐。与逻辑回归模型相比，LDA 在满足正常假设的情况下，在样本量较小或类别分离良好的情况下更有帮助。
### 逻辑回归 cl - tranControlmehod =cv" number 10, summayFunio = TRUE) set.seed(1) moel.gl<- train(x = tainDaa %>% dpyr::selct(-ual), y = trainDaa$qual metod "glm", metic = OC", tContrl = crl # 检查预测因素的重要性 summary(odel.m)
# 建立混淆矩阵 tetred.prb <- rdct(mod.gl, newdat = tstDat tye = "rob test.ped <- rep("good", length(pred.pr confusionMatrix(data = as.factor(test.pred),
# 绘制测试ROC图 oc.l <- roc(testa$al, es.pr.rob$god)
点击标题查阅往期内容
R语言梯度提升机 GBM、支持向量机SVM、正则判别分析RDA模型训练、参数调优化和性能比较可视化分析声纳数据
01
02
03
04
## 测试误差和训练误差 er.st. <- mean(tett$qul!= tt.pred) tranped.obgl <-pric(moel.lmnewda= taiDaa, type = "rob moe.ln <-tai(xtraDa %>% dlyr:seec-qal), y = traD methd = "met", tueGid = lGrid, mtc = "RO", trontrol ctl) plotodel.gl, xTras =uction() lg(x)
#选择最佳参数 mol.mn$bestune
# 混淆矩阵 tes.red2 <- rp"good" ngth(test.ed.prob2$good)) tst.red2[tespre.prob2$good < 0.5] <- "poor conuionMatridata = as.fcto(test.prd2),
【视频】R语言LDA线性判别、QDA二次判别分析分类葡萄酒品质数据|数据分享（下）：/article/1497237
