多元统计分析论文聚类分析

1. 因子分析模型 因子分析法是从研究变量内部相关的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几个综合因子的一种多变量统计分析方法。它的基本思想是将观测变量进行分类，将相关性较高，即联系比较紧密的分在同一类中，而不同类变量之间的相关性则较低，那么每一类变量实际上就代表了一个基本结构，即公共因子。对于所研究的问题就是试图用最少个数的不可测的所谓公共因子的线性函数与特殊因子之和来描述原来观测的每一分量。 因子分析的基本思想： 把每个研究变量分解为几个影响因素变量，将每个原始变量分解成两部分因素，一部分是由所有变量共同具有的少数几个公共因子组成的，另一部分是每个变量独自具有的因素，即特殊因子因子分析模型描述如下： （1）X = (x1，x2，…，xp)￠是可观测随机向量，均值向量E(X)=0，协方差阵Cov(X)=∑，且协方差阵∑与相关矩阵R相等（只要将变量标准化即可实现）。 （2）F = (F1，F2，…，Fm)￠ （m发展的因子分析模型建立后，我们希望知道每个地区经济发展的情况，把区域经济划分归类，哪些地区发展较快，哪些中等发达，哪些较慢等。这时需要将公共因子用变量的线性组合来表示，也即由地区经济的各项指标值来估计它的因子得分。 设公共因子F由变量x表示的线性组合为： Fj = uj1 xj1+ uj2 xj2+…+ujpxjp j=1，2，…，m 该式称为因子得分函数，由它来计算每个样品的公共因子得分。若取m=2，则将每个样品的p个变量代入上式即可算出每个样品的因子得分F1和F2，并将其在平面上做因子得分散点图，进而对样品进行分类或对原始数据进行更深入的研究。 但因子得分函数中方程的个数m小于变量的个数p，所以并不能精确计算出因子得分，只能对因子得分进行估计。估计因子得分的方法较多，常用的有回归估计法，Bartlett估计法，Thomson估计法。 （1）回归估计法 F = X b = X (X ￠X)-1A￠ = XR-1A￠ (这里R为相关阵，且R = X ￠X )。 （2）Bartlett估计法 Bartlett估计因子得分可由最小二乘法或极大似然法导出。 F = [(W-1/2A)￠ W-1/2A]-1(W-1/2A)￠ W-1/2X = (A￠W-1A)-1A￠W-1X （3）Thomson估计法 在回归估计法中，实际上是忽略特殊因子的作用，取R = X ￠X，若考虑特殊因子的作用，此时R = X ￠X＋W，于是有： F = XR-1A￠ = X (X ￠X＋W)-1A￠ 这就是Thomson估计的因子得分，使用矩阵求逆算法(参考线性代数文献)可以将其转换为： F = XR-1A￠ = X (I+A￠W-1A)-1W-1A￠ 5. 因子分析的步骤 因子分析的核心问题有两个：一是如何构造因子变量；二是如何对因子变量进行命名解释。因此，因子分析的基本步骤和解决思路就是围绕这两个核心问题展开的。 （i）因子分析常常有以下四个基本步骤： （1）确认待分析的原变量是否适合作因子分析。 （2）构造因子变量。 （3）利用旋转方法使因子变量更具有可解释性。 （4）计算因子变量得分。 （ii）因子分析的计算过程： （1）将原始数据标准化，以消除变量间在数量级和量纲上的不同。 （2）求标准化数据的相关矩阵； （3）求相关矩阵的特征值和特征向量； （4）计算方差贡献率与累积方差贡献率； （5）确定因子： 设F1，F2，…， Fp为p个因子，其中前m个因子包含的数据信息总量（即其累积贡献率）不低于80%时，可取前m个因子来反映原评价指标； （6）因子旋转： 若所得的m个因子无法确定或其实际意义不是很明显，这时需将因子进行旋转以获得较为明显的实际含义。 （7）用原指标的线性组合来求各因子得分： 采用回归估计法，Bartlett估计法或Thomson估计法计算因子得分。 （8）综合得分 以各因子的方差贡献率为权，由各因子的线性组合得到综合评价指标函数。 F = (w1F1+w2F2+…+wmFm)／(w1+w2+…+wm ) 此处wi为旋转前或旋转后因子的方差贡献率。 （9）得分排序：利用综合得分可以得到得分名次。 在采用多元统计分析技术进行数据处理、建立宏观或微观系统模型时，需要研究以下几个方面的问题： · 简化系统结构，探讨系统内核。可采用主成分分析、因子分析、对应分析等方法，在众多因素中找出各个变量最佳的子集合，从子集合所包含的信息描述多变量的系统结果及各个因子对系统的影响。“从树木看森林”，抓住主要矛盾，把握主要矛盾的主要方面，舍弃次要因素，以简化系统的结构，认识系统的内核。 · 构造预测模型，进行预报控制。在自然和社会科学领域的科研与生产中，探索多变量系统运动的客观规律及其与外部环境的关系，进行预测预报，以实现对系统的最优控制，是应用多元统计分析技术的主要目的。在多元分析中，用于预报控制的模型有两大类。一类是预测预报模型，通常采用多元线性回归或逐步回归分析、判别分析、双重筛选逐步回归分析等建模技术。另一类是描述性模型，通常采用聚类分析的建模技术。 · 进行数值分类，构造分类模式。在多变量系统的分析中，往往需要将系统性质相似的事物或现象归为一类。以便找出它们之间的联系和内在规律性。过去许多研究多是按单因素进行定性处理，以致处理结果反映不出系统的总的特征。进行数值分类，构造分类模式一般采用聚类分析和判别分析技术。 如何选择适当的方法来解决实际问题，需要对问题进行综合考虑。对一个问题可以综合运用多种统计方法进行分析。例如一个预报模型的建立，可先根据有关生物学、生态学原理，确定理论模型和试验设计；根据试验结果，收集试验资料；对资料进行初步提炼；然后应用统计分析方法(如相关分析、逐步回归分析、主成分分析等)研究各个变量之间的相关性，选择最佳的变量子集合；在此基础上构造预报模型，最后对模型进行诊断和优化处理，并应用于生产实际。 Rotated Component Matrix，就是经转轴后的因子负荷矩阵， 当你设置了因子转轴后，便会产生这结果。 转轴的是要得到清晰的负荷形式，以便研究者进行因子解释及命名。 SPSS的Factor Analysis对话框中，有个Rotation钮，点击便会弹出Rotation对话框， 其中有5种因子旋转方法可选择： 1.最大变异法(Varimax)：使负荷量的变异数在因子内最大，亦即，使每个因子上具有最高载荷的变量数最少。 2.四次方最大值法(Quartimax)：使负荷量的变异数在变项内最大，亦即，使每个变量中需要解释的因子数最少。 3.相等最大值法(Equamax)：综合前两者，使负荷量的变异数在因素内与变项内同时最大。 4.直接斜交转轴法(Direct Oblimin)：使因素负荷量的差积（cross-products）最小化。 转轴法：将直交转轴(varimax)的结果再进行有相关的斜交转轴。因子负荷量取2，4，6次方以产生接近0但不为0的值，藉以找出因子间的相关，但仍保有最简化因素的特性。 上述前三者属於「直交(正交)转轴法」(Orthogonal Rotations)，在直交转轴法中，因子与因子之间没有相关，因子轴之间的夹角等於90 度。后两者属於「斜交转轴」(oblique rotations)，表示因子与因子之间彼此有某种程度的相关，因素轴之间的夹角不是90度。 直交转轴法的优点是因子之间提供的讯息不会重叠，受访者在某一个因子的分數与在其他因子的分數，彼此独立互不相关；缺点是研究迫使因素之间不相关，但这种情况在实际的情境中往往并不常存在。至於使用何种转轴方式，须视乎研究题材、研究目的及相关理论，由研究者自行设定。 在根据结果解释因子时，除了要看因子负荷矩阵中，因子对哪些变量呈高负荷，对哪些变量呈低负荷，还须留意之前所用的转轴法代表的意义。2,主成分分析（principal component analysis） 将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法。又称主分量分析。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。但是，在用统计分析方法研究这个多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对于原先提出的所有变量，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。主成分分析首先是由K.皮尔森对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。 （1）主成分分析的原理及基本思想。原理：设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的总和变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是数学上处理降维的一种方法。基本思想：主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现再F2中，用数学语言表达就是要求Cov(F1, F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第P个主成分。（2）步骤Fp=a1mZX1+a2mZX2+……+apmZXp 其中a1i, a2i, ……,api(i=1,……,m)为X的协方差阵∑的特征值多对应的特征向量，ZX1, ZX2, ……, ZXp是原始变量经过标准化处理的值，因为在实际应用中，往往存在指标的量纲不同，所以在计算之前须先消除量纲的影响，而将原始数据标准化，本文所采用的数据就存在量纲影响[注：本文指的数据标准化是指Z标准化]。A=(aij)p×m=(a1,a2,…am,)，Rai=λiai，R为相关系数矩阵，λi、ai是相应的特征值和单位特征向量,λ1≥λ2≥…≥λp≥0 。进行主成分分析主要步骤如下：1. 指标数据标准化（SPSS软件自动执行）；2. 指标之间的相关性判定；3. 确定主成分个数m；4. 主成分Fi表达式；5. 主成分Fi命名；选用以上两种方法时的注意事项如下：1、因子分析中是把变量表示成各因子的线性组合，而主成分分析中则是把主成分表示成个变量的线性组合。 2、主成分分析的重点在于解释个变量的总方差，而因子分析则把重点放在解释各变量之间的协方差。 3、主成分分析中不需要有假设(assumptions)，因子分析则需要一些假设。因子分析的假设包括：各个共同因子之间不相关，特殊因子（specific factor）之间也不相关，共同因子和特殊因子之间也不相关。 4、主成分分析中，当给定的协方差矩阵或者相关矩阵的特征值是唯一的时候，的主成分一般是独特的；而因子分析中因子不是独特的，可以旋转得到不同的因子。 5、在因子分析中，因子个数需要分析者指定（spss根据一定的条件自动设定，只要是特征值大于1的因子进入分析），而指定的因子数量不同而结果不同。在主成分分析中，成分的数量是一定的，一般有几个变量就有几个主成分。和主成分分析相比，由于因子分析可以使用旋转技术帮助解释因子，在解释方面更加有优势。大致说来，当需要寻找潜在的因子，并对这些因子进行解释的时候，更加倾向于使用因子分析，并且借助旋转技术帮助更好解释。而如果想把现有的变量变成少数几个新的变量（新的变量几乎带有原来所有变量的信息）来进入后续的分析，则可以使用主成分分析。当然，这中情况也可以使用因子得分做到。所以这中区分不是绝对的。 总得来说，主成分分析主要是作为一种探索性的技术，在分析者进行多元数据分析之前，用主成分分析来分析数据，让自己对数据有一个大致的了解是非常重要的。主成分分析一般很少单独使用：a，了解数据。(screening the data)，b，和cluster analysis一起使用，c，和判别分析一起使用，比如当变量很多，个案数不多，直接使用判别分析可能无解，这时候可以使用主成份发对变量简化。（reduce dimensionality）d，在多元回归中，主成分分析可以帮助判断是否存在共线性（条件指数），还可以用来处理共线性。 在算法上，主成分分析和因子分析很类似，不过，在因子分析中所采用的协方差矩阵的对角元素不在是变量的方差，而是和变量对应的共同度（变量方差中被各因子所解释的部分）。 (1)了解如何通过SPSS因子分析得出主成分分析结果。首先，选择SPSS中Analyze－Data Reduction－Factor…，在Extraction…对话框中选择主成分方法提取因子，选择好因子提取个数标准后点确定完成因子分析。打开输出结果窗口后找到Total Variance Explained表和Component Matrix表。将Component Matrix表中第一列数据分别除以Total Variance Explained表中第一特征根值的开方得到第一主成分表达式系数，用类似方法得到其它主成分表达式。打开数据窗口，点击菜单项的Analyze－Descriptive Statistics－Descriptives…，在打开的新窗口下方构选Save standardized values as variables，选定左边要分析的变量。点击Options，只构选Means，点确定后既得待分析变量的标准化新变量。选择菜单项Transform－Compute…，在Target Variable中输入：Z1（主成分变量名，可以自己定义），在Numeric Expression中输入例如：（刚才主成分表达式中的系数）*Z人口数（标准化过的新变量名）+*Z第一产业产值+…，点确定即得到主成分得分。通过对主成分得分的排序即可进行各个个案的综合评价。很显然，这里的过程分为四个步骤：Ⅰ.选主成分方法提取因子进行因子分析。Ⅱ.计算主成分表达式系数。Ⅲ.标准化数据。Ⅳ.计算主成分得分。 我们的程序也将依该思路展开开发。（2）对为何要将Component Matrix表数据除以特征根开方的解释我们学过主成分分析和因子分析后不难发现，原来因子分析时的因子载荷矩阵就是主成分分析特征向量矩阵乘以对应特征根开方值的对角阵。而Component Matrix表输出的恰是因子载荷矩阵，所以求主成分特征向量自然是上面描述的逆运算。 成功启动程序后选定分析变量和主成分提取方法即可在数据窗口输出得分和在OUTPUT窗口输出主成分表达式。3,聚类分析(Cluster Analysis) 聚类分析是直接比较各事物之间的性质，将性质相近的归为一类，将性质差别较大的归入不同的类的分析技术 。 在市场研究领域，聚类分析主要应用方面是帮助我们寻找目标消费群体，运用这项研究技术，我们可以划分出产品的细分市场，并且可以描述出各细分市场的人群特征，以便于客户可以有针对性的对目标消费群体施加影响，合理地开展工作。 4.判别分析(Discriminatory Analysis) 判别分析(Discriminatory Analysis)的任务是根据已掌握的1批分类明确的样品，建立较好的判别函数，使产生错判的事例最少，进而对给定的1个新样品，判断它来自哪个总体。根据资料的性质，分为定性资料的判别分析和定量资料的判别分析；采用不同的判别准则，又有费歇、贝叶斯、距离等判别方法。 费歇（FISHER）判别思想是投影，使多维问题简化为一维问题来处理。选择一个适当的投影轴，使所有的样品点都投影到这个轴上得到一个投影值。对这个投影轴的方向的要求是：使每一类内的投影值所形成的类内离差尽可能小，而不同类间的投影值所形成的类间离差尽可能大。贝叶斯（BAYES）判别思想是根据先验概率求出后验概率，并依据后验概率分布作出统计推断。所谓先验概率，就是用概率来描述人们事先对所研究的对象的认识的程度；所谓后验概率，就是根据具体资料、先验概率、特定的判别规则所计算出来的概率。它是对先验概率修正后的结果。 距离判别思想是根据各样品与各母体之间的距离远近作出判别。即根据资料建立关于各母体的距离判别函数式，将各样品数据逐一代入计算，得出各样品与各母体之间的距离值，判样品属于距离值最小的那个母体。 5.对应分析(Correspondence Analysis) 对应分析是一种用来研究变量与变量之间联系紧密程度的研究技术。 运用这种研究技术，我们可以获取有关消费者对产品品牌定位方面的图形，从而帮助您及时调整营销策略，以便使产品品牌在消费者中能树立起正确的形象。 这种研究技术还可以用于检验广告或市场推广活动的效果，我们可以通过对比广告播出前或市场推广活动前与广告播出后或市场推广活动后消费者对产品的不同认知图来看出广告或市场推广活动是否成功的向消费者传达了需要传达的信息。

论文数据方法有多选题研究、聚类分析和权重研究三种。

1、多选题研究：多选题分析可分为四种类型包括：多选题、单选-多选、多选-单选、多选-多选。

2、聚类分析：聚类分析以多个研究标题作为基准，对样本对象进行分类。如果是按样本聚类，则使用SPSSAU的进阶方法模块中的“聚类”功能，系统会自动识别出应该使用K-means聚类算法还是K-prototype聚类算法。

3、权重研究：权重研究是用于分析各因素或指标在综合体系中的重要程度，最终构建出权重体系。权重研究有多种方法包括：因子分析、熵值法、AHP层次分析法、TOPSIS、模糊综合评价、灰色关联等。

拓展资料：

一、回归分析

在实际问题中，经常会遇到需要同时考虑几个变量的情况，比如人的身高与体重，血压与年龄的关系，他们之间的关系错综复杂无法精确研究，以致于他们的关系无法用函数形式表达出来。为研究这类变量的关系，就需要通过大量实验观测获得数据，用统计方法去寻找他们之间的关系，这种关系反映了变量间的统计规律。而统计方法之一就是回归分析。

最简单的就是一元线性回归，只考虑一个因变量y和一个自变量x之间的关系。例如，我们想研究人的身高与体重的关系，需要搜集大量不同人的身高和体重数据，然后建立一个一元线性模型。接下来，需要对未知的参数进行估计，这里可以采用最小二乘法。最后，要对回归方程进行显著性检验，来验证y是否随着x线性变化。这里，我们通常采用t检验。

二、方差分析

在实际工作中，影响一件事的因素有很多，人们希望通过实验来观察各种因素对实验结果的影响。方差分析是研究一种或多种因素的变化对实验结果的观测值是否有显著影响，从而找出较优的实验条件或生产条件的一种数理统计方法。

人们在实验中所观察到的数量指标称为观测值，影响观测值的条件称为因素，因素的不同状态称为水平，一个因素可能有多种水平。

在一项实验中，可以得到一系列不同的观测值，有的是处理方式不同或条件不同引起的，称为因素效应。有的是误差引起的，称做实验误差。方差分析的主要工作是将测量数据的总变异按照变异原因的不同分解为因素效应和试验误差，并对其作出数量分析，比较各种原因在总变异中所占的重要程度，作为统计推断的依据。

例如，我们有四种不同配方下生产的元件，想判断他们的使用寿命有无显著差异。在这里，配方是影响元件使用寿命的因素，四种不同的配方成为四种水平。可以利用方差分析来判断。

三、判别分析

判别分析是用来进行分类的统计方法。我来举一个判别分析的例子，想要对一个人是否有心脏病进行判断，可以取一批没有心脏病的病人，测其一些指标的数据，然后再取一批有心脏病的病人，测量其同样指标的数据，利用这些数据建立一个判别函数，并求出相应的临界值。

这时候，对于需要判别的病人，还是测量相同指标的数据，将其带入判别函数，求得判别得分和临界值，即可判别此人是否属于有心脏病的群体。

四、聚类分析

聚类分析同样是用于分类的统计方法，它可以用来对样品进行分类，也可以用来对变量进行分类。我们常用的是系统聚类法。首先，将n个样品看成n类，然后将距离最近的两类合并成一个新类，我们得到n-1类，再找出最接近的两类加以合并变成n-2类，如此下去，最后所有的样品均在一类，将上述过程画成一张图。在图中可以看出分成几类时候每类各有什么样品。

比如，对中国31个省份的经济发展情况进行分类，可以通过收集各地区的经济指标，例如GDP，人均收入，物价水平等等，并进行聚类分析，就能够得到不同类别数量下是如何分类的。

五、主成分分析

主成分分析是对数据做降维处理的统计分析方法，它能够从数据中提取某些公共部分，然后对这些公共部分进行分析和处理。

在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。

主成分分析是对于原先提出的所有变量，将重复的变量（关系紧密的变量）删去多余，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。

最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。

如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1, F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第P个主成分。

六、因子分析

因子分析是主成分分析的推广和发展，它也是多元统计分析中降维的一种方法。因子分析将多个变量综合为少数几个因子，以再现原始变量与因子之间的相关关系。

在主成分分析中，每个原始变量在主成分中都占有一定的分量，这些分量（载荷）之间的大小分布没有清晰的分界线，这就造成无法明确表述哪个主成分代表哪些原始变量，也就是说提取出来的主成分无法清晰的解释其代表的含义。

因子分析解决主成分分析解释障碍的方法是通过因子轴旋转。因子轴旋转可以使原始变量在公因子（主成分）上的载荷重新分布，从而使原始变量在公因子上的载荷两级分化，这样公因子（主成分）就能够用哪些载荷大的原始变量来解释。以上过程就解决了主成分分析的现实含义解释障碍。

例如，为了了解学生的学习能力，观测了许多学生数学，语文，英语，物理，化学，生物，政治，历史，地理九个科目的成绩。为了解决这个问题，可以建立一个因子模型，用几个互不相关的公共因子来代表原始变量。我们还可以根据公共因子在原始变量上的载荷，给公共因子命名。

例如，一个公共因子在英语，政治，历史变量上的载荷较大，由于这些课程需要记忆的内容很多，我们可以将它命名为记忆因子。以此类推，我们可以得到几个能评价学生学习能力的因子，假设有记忆因子，数学推导因子，计算能力因子等。

接下来，可以计算每个学生的各个公共因子得分，并且根据每个公共因子的方差贡献率，计算出因子总得分。通过因子分析，能够对学生各方面的学习能力有一个直观的认识。

七、典型相关分析

典型相关分析同样是用于数据降维处理，它用来研究两组变量之间的关系。它分别对两组变量提取主成分。从同一组内部提取的主成分之间互不相关。用从两组之间分别提取的主成分的相关性来描述两组变量整体的线性相关关系。