主成分分析(英语:Principal components analysis,PCA)是一种分析、简化数据集的技术。
通过降维技术把多个变量化为少数几个主成分(综合变量)的统计分析方法。这些主成分能够反映原始变量的绝大部分信息,它们通常表示为原始变量的某种线性组合。
主成分分析经常用于减少数据集的维数,同时保持数据集中的对方差贡献最大的特征。这是通过保留低阶主成分,忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。
主成分分析由卡尔•皮尔逊于1901年发明,用于分析数据及建立数理模型。其方法主要是通过对协方差矩阵进行特征分解,以得出数据的主成分(即特征向量)与它们的权值(即特征值)。
主成分的目的:
(1)变量的降维
(2)主成分的解释(在主成分有意义的情况下)
主成分分析法从冗余特征中提取主要成分,在不太损失模型质量的情况下,提升了模型训练速度。
如上图所示,我们将样本到红色向量的距离称作是投影误差(Projection Error)。以二维投影到一维为例,PCA 就是要找寻一条直线,使得各个特征的投影误差足够小,这样才能尽可能的保留原特征具有的信息。因为PCA仅保留了特征的主成分,所以PCA是一种有损的压缩方式.
PCA分析的一般步骤
1.根据研究问题选取初始分析变量
2.根据初始变量特性判断由协方差阵求主成分还是由相关矩阵求主成分;
3.求协方差阵或相关阵的特征值与相应标准特征向量;
4.判断是否存在明显的多重共线性,若存在,则回到第(1)步;
5.得到主成分的表达式并确定主成分个数,选取主成分;
6.结合主成分对研究问题进行分析并深入研究。
PCA的目标是用一组较少的不相关变量代替大量相关变量,同时尽可能保留初始变量的信息,这些推导所得的变量称为主成分,它们是观测变量的线性组合。
主成分分析法优缺点
优点
↘可消除评估指标之间的相关影响。因为主成分分析法在对原始数据指标变量进行变换后形成了彼此相互独立的主成分,而且实践证明指标间相关程度越高,主成分分析效果越好。
↘可减少指标选择的工作量,对于其他评估方法,由于难以消除评估指标间的相关影响,所以选择指标时要花费不少精力,而主成分分析法由于可以消除这种相关影响,所以在指标选择上相对容易些。
↘主成分分析中各主成分是按方差大小依次排列顺序的,在分析问题时,可以舍弃一部分主成分,只取前面方差较大的几个主成分来代表原变量,从而减少了计算工作量。用主成分分析法作综合评估时,由于选择的原则是累计贡献率≥85%,不至于因为节省了工作量却把关键指标漏掉而影响评估结果。
缺点
↘在主成分分析中,我们首先应保证所提取的前几个主成分的累计贡献率达到一个较高的水平(即变量降维后的信息量须保持在一个较高水平上),其次对这些被提取的主成分必须都能够给出符合实际背景和意义的解释(否则主成分将空有信息量而无实际含义)。
↘主成分的解释其含义一般多少带有点模糊性,不像原始变量的含义那么清楚、确切,这是变量降维过程中不得不付出的代价。因此,提取的主成分个数m通常应明显小于原始变量个数p(除非p本身较小),否则维数降低的“利”可能抵不过主成分含义不如原始变量清楚的“弊”。
↘当主成分的因子负荷的符号有正有负时,综合评价函数意义就不明确。
主成分分析案例
某公司经理拟招聘一名员工,要求其具有较高的工作积极性、自主性、热情和责任感。为此,该经理专门设计了一个测试问卷,配有25项相关问题,拟从315位应聘者中寻找出最合适的候选人。
在这25项相关问题中:
↘Qu3-Qu8、Qu12、Qu13测量的是工作积极性
↘Qu2、Qu14-Qu19测量工作自主性
↘Qu20-Qu25测量的是工作热情
↘Qu1、Qu9-Qu11测量工作责任感
每一个问题都有非常同意“Agree”、同意 “Agree Some”、不确定“Undecided”、不同意 “Disagree Some”和 非常不同意 “Disagree”五个等级。
该经理想根据这25项问题判断应聘者在这四个方面的能力,现收集了应聘者的问卷信息,经汇总整理后部分数据如下:
分析者希望将多个变量归纳为某几项信息进行分析,即降低数据结果的维度。针对这种情况,可以进行主成分提取,但需要先满足2项假设:
↘假设1:观测变量是连续变量或有序分类变量,如本研究中的测量变量都是有序分类变量。
↘假设2:变量之间存在线性相关关系。
SPSS操作
SPSS操作
(1) 在主页面点击Analyze→Dimension Reduction →Factor
(2) 将变量Qu1-Qu25放入Variables栏
(3) 点击Deive,点选Statistics栏的Initial solution选项,并点选Correlation Matrix栏的Coefficients、KMO and Bartlett’s test of sphericity、Reproduced和Anti_image选项
(4) 点击Continue→Extraction,点击Display栏中的Scree plot选项
(5) 点击Continue→Rotation,点选Method栏的Varimax选项,并点选Display栏的Rotated solution和Loading plot(s)选项
(6) 点击Continue→Scores,点击Save as variables,激活Method栏后点击Regression选项
(7) 点击Continue→Options,点击 Sorted by size和Suppress small coefficients选项,在Absolute value below栏内输入“.3”点击Continue→OK
经上述操作,SPSS输出相关矩阵表如下:
该表主要用于判断各变量之间的线性相关关系,从而决定变量的取舍,即如果某一个变量与同一分组中其他变量之间的关联性不强,我们就认为该变量与其他变量测量的内容不同,在主成分提取中不应该纳入该变量。一般来说,如果相关系数大于等于0.3,我们就认为变量之间存在较好的线性相关性。
从本研究的结果来看,在分别对应聘者工作积极性(Q3-Q8,Q12,Q13)、工作自主性 (Q2,Q14-19)、工作热情(Q20-25)和工作责任感(Q1,Q9-11)的测量中,每组变量之间的相关系数均大于0.3,说明各组变量之间具有线性相关关系,提示满足假设2。
KMO检验对数据结构的总体分析
KMO检验主要用于主成分提取的数据情况。KMO检验系数分布在0到1之间,如果系数值大于0.6,则认为样本符合数据结构合理的要求。
部分学者认为,只有当KMO检验系数值大于0.8时,主成分分析的结果才具有较好的实用性,具体系数对应关系如下:
SPSS输出本研究结果如下:
本研究的KMO检验系数为0.833,根据系数对应关系表,我们认为本研究数据结构很好(meritorious),具有相关关系,满足假设2。
KMO检验对各变量的单独分析
SPSS输出各变量的KMO检验结果如下:
整理后各题KMO值:
KMO检验对单个变量的分析结果也在0到1之间分布,如果系数大于0.5,则认为单个变量满足要求;如果系数大于0.8,则认为单个变量结果很好。
分析结论中,任一变量的KMO检验结果均大于0.7,即各变量结果一般,但满足假设2。
Bartlett’s检验
Bartlett’s检
Bartlett’s检验的零假设是研究数据之间的相关矩阵是一个完美矩阵,即所有对角线上的系数为1,非对角线上的系数均为0。
在完美矩阵情况下,各变量之间没有相关关系,即不能将多个变量简化为少数的成分,没有进行主成分提取的必要。因此,我们希望拒绝Bartlett’s检验的零假设。
SPSS输出结果如下:
Bartlett’s检验的P值小于0.001,拒绝零假设,即认为研究数据可以进行主成分提取,满足假设2。
结果解释
对主成分结果的分析主要从公因子方差(communalities)、提取主成分和强制提取主成分三个方面进行。
公因子方差结果
SPSS输出公因子方差结果如下:
研究中有多少个变量数据结果就会输出多少个成分,本研究中共有25个变量,就会对应产生25个成分。
“Extraction”栏提示当只保留选中的成分时,变量变异被解释的程度。
提取主成分
研究中有多少个变量,主成分提取就会产生多少个主成分。我们通过选取主成分对数据进行降维,但同时也要注意尽可能多地包含对数据变异的解释。
一般来说,结果输出的第一主成分包含最多的数据变异,第二主成分次之,之后的主成分包含的变异程度依次递减。SPSS输出结果如下:
本研究中共有25个变量,那总特征值(eigenvalues of variance)是25,即每个变量自身的特征值为1。
Total栏提示的是各主成分对数据变异的解释程度。
以第一主成分为例,其特征值为6.730,占总体变异的6.730/25×100 = 26.919% (% of Variance栏)。同理,第二主成分的特征值为3.342,占总体变异的13.369%,以此类推。
一般来说,如果某一项主成分的特征值小于1,那么我们就认为该主成分对数据变异的解释程度比单个变量小,应该剔除。本研究结果如下:
第五主成分的特征值为1.049,大于1;而第六主成分的特征值为0.951,小于1,即应该保留前五位的主成分,剔除剩余部分。
结论
本研究采用主成分分析,通过25项问题调查315位应聘者的工作能力。
研究变量之间存在线性相关关系(每组变量之间的相关系数均大于0.3),数据结构合理(KMO检验系数为0.833,单个变量的KMO检验系数均大于0.7,Bartlett’s检验结果为P<0.001),提示研究数据可以进行主成分提取。< span=””>
主成分提取结果:研究提取前四位主成分。提取后的主成分累计解释59.9%的数据变异,分别反映应聘者的工作积极性、工作自主性、工作热情和工作责任感(如下图)
笔记本电脑电池有哪些省电小技巧呢? 1 调低屏幕的亮度。同时,虽然ThinkPad笔记本电脑装备有键盘灯ThinkLight,但为了省电,最好只在黑暗的条件下才享用她的关怀。 2 当不使用无线接收装置时,把它关掉。 3 有些用户有事没事都爱打开CD或DVD放音乐,电池的电量也就随着音乐的播放悄悄地...
如果只看、大V、直播红人的造假行为,只能看到简单的操作,比如刷阅读量,刷点赞,直播通过机器或者水军制造假观众。深层次上,我们需要从数据造假黑产业的技术内核出发,回溯产业链的各个环节,才能透过表面看到数据造假给行业带来多大的影响和破坏力。 数据造假不仅发生在网红经济,也肆虐于游戏、、互联网金融等...
跟前几年比,现在的钱是真的难赚。对普通人来说,有哪些比较靠谱的创业机会?投入最低的,当然也是零成本的,是去蜂鸟众包或者美团做骑手,如果还有点钱,可以做网约车司机。如果钱再多一点,很多人都会选择做加盟,自己当老板,给自己打工。前两年很多人都选择加盟奶茶店或者某些连锁餐饮小店,很不巧,赶上了疫情...
如果您购买的 iPhone 是国行版,打开“设置”-“无线局域网”,下拉界面就能够看到“启用 WAPI”选项。 该选项是什么意思呢? WAPI 的中文名是:无线局域网鉴别和保密基础结构。WAPI 既是安全协议,也是中国无线局域网安全强制性标准,目前全球无线局域网领域行业有两...
手机和电脑都有(。-ω-)zzz 马卡龙玩图 马卡龙玩图是一个AI 修图App,只要你有足够大的脑洞,就可以玩出花样。 它可以一键区分人物,动物和背景各种元素,想要替代人物或者背景,分分钟就完成。 而且它还有各种滤镜,轻松把自己的照片变成油画一般,满满的都是中世纪的复古...
国家邮政局14日举行一季度例行新闻发布会,发布2020年快递服务满意度调查和时限测试结果。受疫情影响,2020年,全国重点地区快递服务全程时限为58.23小时,较2019年延长2. 国家邮政局14日举行一季度例行新闻发布会,发布2020年快递服务满意度调查和时限测试结果。受疫情影响,2020年...
快手和抖音是现在发展的比较好的短视频平台,越来越多的商家们开始利用这些平台达到带货的目的,也有很多的达人愿意利用自己的名气来接广告获取佣金,快手直播带货平台怎么收费?一、快手直播带 快手和抖音是现在发展的比较好的短视频平台,越来越多的商家们开始利用这些平台达到带货的目的,也有很多的达人愿意利用自己...
三联屏封面的设置首先,保存一张三联屏封面的底图下载一个叫美图秀秀的软件,点开美图秀秀,在首页点击图片美化然后选择我们刚刚保存好的底图,点击进去,然后选择底下工具栏里的编辑功能进入之 三联屏封面的设置 首先,保存一张三联屏封面的底图 下载一个叫美图秀秀的软件,点开美图秀秀,在首页点击图片美化...
由于新冠肺炎,在家工作现在成为趋势。在家工作,也称为远程工作、远程办公、远程工作等,但远程工作并不是什么新鲜事。在家工作最早是在1979年发明的;作为一项实验,五名IBM员 由于新冠肺炎,在家工作现在成为趋势。在家工作,也称为远程工作、远程办公、远程工作等,但远程工作并不是什么新鲜事。在家工作最早...
扫墓立碑是作为小辈必做的事情之一,这不眼见着就要寒衣节了了,由于很多地方都有立碑这一说到,所以关于立碑墓碑上刻什么图案好一直是大家讨论的焦点,下面小编就和大家一起看看。墓碑上刻什么图案好这要看地方的讲究。墓地是相当有气运 扫墓立碑是作为小辈必做的事情之一,这不眼见着就要寒衣节了了,由于很多地方都有...
武汉公积金最高额度有所调整啦!首套房最高贷款额度可以达到90万,不过是纯公积金,商转公的话并不支持哦!那么,武汉公积金最高额度90万维持多久?一起来看看久久派带来的详细介绍吧!武汉公积金额度90万支持商转公吗不支持,只支 武汉公积金最高额度有所调整啦!首套房最高贷款额度可以达到90万,不过是纯公积...
很久很久以前,我去星巴克只喝咖啡。每次店员给我推荐糕点我都摆手不要,但是尝试了一款甜品之后就像开了挂一样玻璃柜里面的每一个都想尝一尝!小编在这里替你亲测了10款糕点,满分5分~虽然星爸爸价格不便宜,不过最近春季糕点第二个 很久很久以前,我去星巴克只喝咖啡。每次店员给我推荐糕点我都摆手不要,但是...
立冬烧纸钱还是冬至烧纸钱很多人在问的,毕竟冬至作为部分地区的祭祀日,烧纸是肯定避免的,所以该话题一度成为了大家讨论的焦点,下面小编就和大家一起看看冬至烧纸要不要去坟上。立冬烧纸钱还是冬至烧纸钱看地方讲究。北方立冬和冬至都 立冬烧纸钱还是冬至烧纸钱很多人在问的,毕竟冬至作为部分地区的祭祀日,烧纸是肯...
红薯是秋季比较常见的一种食物,它的吃法比较多,可以蒸着吃,可以煮着吃,还可以烤着吃等,烤红薯吃起来会比较香,并且饱腹感会比较强,深受人们喜欢。烤红薯最好现烤现吃,这样味道最好,也可以放到第二天,但是要保持得当,不然就会变 红薯是秋季比较常见的一种食物,它的吃法比较多,可以蒸着吃,可以煮着吃,还可以...
压岁钱是2023年除夕给还是大年初一给是大家常聊的,对于小孩子来讲一年中最为喜爱的节日除了寒暑假就是春节了,毕竟过年长辈给的压岁钱可以说是一笔不小的收入了,下面小编就和大家一同看看什么是压岁钱。压岁钱是2023年除夕给还 压岁钱是2023年除夕给还是大年初一给是大家常聊的,对于小孩子来讲一年中最为...