数学建模|数学建模常见的一些方法【05相关系数】

2021/08/23 数学建模 共 3302 字,约 10 分钟

数学建模常见的一些方法

1. 相关系数

  • 皮尔逊 pearson相关系数和斯皮尔曼spearman等级相关系数。它们可用来衡量两个变量之间的相关性的大小,根据数据满足的不同条件,我们要选择不同的相关系数进行计算和分析(建模论文中最容易用错的方法)。

1.1 总体和样本

总体

——所要考察对象的全部个体叫做总体. 我们总是希望得到总体数据的一些特征(例如均值方差等)

样本

——从总体中所抽取的一部分个体叫做总体的一个样本.

  计算这些抽取的样本的统计量来估计总体的统计量:   例如使用样本均值样本标准差来估计总体的均值(平均水平)和总体的标准差(偏离程度)。 例子:   我国10年进行一次的人口普查得到的数据就是总体数据。   大家自己在QQ群发问卷叫同学帮忙填写得到的数据就是样本数据。

1.2 总体皮尔逊Pearson相关系数

Alt Text Alt Text

1.3 样本皮尔逊Pearson相关系数

Alt Text

1.4 相关性可视化

Alt Text

1.5 关于皮尔逊 相关系数的一些理解误区

借鉴明羊羊链接

Alt Text


这里的相关系数只是用来衡量两个变量线性相关程度的指标; 换句话说,必须先确认这两个变量是线性相关的,然后这个相关系数才能判断相关程度如何。


注意:   如果两个变量本身就是线性的关系,那么皮尔逊相关系数绝对值大的就是相关性强,小的就是相关性弱;   在不确定两个变量是什么关系的情况下,即使算出皮尔逊相关系数,发现很大,也不能说明那两个变量线性相关,甚至不能说他们相关,我们一定要画出散点图来看才行。

1.6 对相关系数大小的解释

Alt Text

1.7 描述性统计

Matlab中基本统计量的函数(一般用标粗的) | 函数名 |功能 | |–|–| | min | 数组的最小元素| |mink | 计算数组的 k 个最小元素 | |max | 数组的最大元素 | | maxk| 计算数组的 k 个最大元素 | |bounds | 最小元素和最大元素 | | topkrows |按排序顺序的前若干行| | mean | 数组的均值 | | median | 数组的中位数值| | mode | 数组的众数 | | skewness |数组的偏度 | | kurtosis | 数组的峰度 | |std | 标准差| |var| 方差 |

代码演示
MIN = min(Test); % 每一列的最小值
MAX = max(Test); % 每一列的最大值
MEAN = mean(Test); % 每一列的均值
MEDIAN = median(Test); %每一列的中位数
SKEWNESS = skewness(Test); %每一列的偏度
KURTOSIS = kurtosis(Test); %每一列的峰度
STD = std(Test); % 每一列的标准差
RESULT = [MIN;MAX;MEAN;MEDIAN;SKEWNESS;KURTOSIS;STD]
%将这些统计量放到一个矩阵中表示
RESULT =

   1.0e+03 *

    0.1350    0.0160    1.4500    0.0078    0.0520    0.0005
    0.1710    0.0650    3.2720    0.0150    0.2050    0.0175
    0.1560    0.0468    2.3332    0.0108    0.1668    0.0095
    0.1570    0.0470    2.3910    0.0107    0.1670    0.0096
   -0.0003   -0.0004   -0.0003    0.0007   -0.0008   -0.0002
    0.0027    0.0094    0.0028    0.0033    0.0084    0.0028
    0.0074    0.0050    0.3504    0.0013    0.0168    0.0029

1.8 EXCEL的数据分析工具

Alt Text 标题栏:数据 – 数据分析 如果没有找到,链接:Excel数据分析功能在哪里? Alt Text Alt Text 得到结果: Alt Text

1.9 皮尔逊相关系数的计算

  • R = corrcoef(A) 返回 A 的相关系数的矩阵,其中 A 的列表示随机变量(指标),行表示观测值(样本)
  • R = corrcoef(A,B) 返回两个随机变量A和B(两个向量)之间的系数。
  • [R,P] = corrcoef(Test) R返回的是相关系数表,P返回的是对应于每个相关系数的p值

1.10 对皮尔逊相关系数进行假设检验

Alt Text Alt Text Alt Text Alt Text

代码演示
%% 假设检验部分
x = -4:0.1:4;
y = tpdf(x,28);  %求t分布的概率密度值 28是自由度  
figure(1)
plot(x,y,'-')
grid on  % 在画出的图上加上网格线
hold on  % 保留原来的图以便继续在上面操作

% matlab可以求出临界值函数如下
tinv(0.975,28)    %    2.0484

% 这个函数是累积密度函数cdf的反函数
plot([-2.048,-2.048],[0,tpdf(-2.048,28)],'r-')
plot([2.048,2.048],[0,tpdf(2.048,28)],'r-')

Alt Text

1.11 更好用的方法:p值判断法

Alt Text

代码演示
%% 计算p值
x = -4:0.1:4;
y = tpdf(x,28);
figure(2)
plot(x,y,'-')
grid on 
hold on

% 画线段的方法
plot([-3.055,-3.055],[0,tpdf(-3.055,28)],'r-')
plot([3.055,3.055],[0,tpdf(3.055,28)],'r-')
disp('该检验值对应的p值为:')
disp((1-tcdf(3.055,28))*2)  %双侧检验的p值要乘以2

%% 计算各列之间的相关系数以及p值
[R,P] = corrcoef(Test)
% 在EXCEL表格中给数据右上角标上显著性符号吧
P < 0.01  % 标记3颗星的位置
(P < 0.05) .* (P > 0.01)  % 标记2颗星的位置
(P < 0.1) .* (P > 0.05) % % 标记1颗星的位置

1.12 皮尔逊相关系数假设检验的条件

Alt Text

1.13 正态分布JB检验(大样本 n>30)

Alt Text

1.14 偏度和峰度

Alt Text

代码演示
x = normrnd(2,3,100,1)  

% 生成100*1的随机向量每个元素是均值为2标准差为3的正态分布
skewness(x)  %偏度
kurtosis(x)  %峰度

1.15 MATLAB结果

MATLAB中进行JB检验的语法:[h,p] = jbtest(x,alpha) 当输出 h等于1时,表示拒绝原假设; h等于0则代表不能拒绝原假设。 alpha就是显著性水平,一般取0.05,此时置信水平为1‐0.05=0.95 x就是我们要检验的随机变量,注意这里的x只能是向量。

%% 正态分布检验
% 检验第一列数据是否为正态分布
[h,p] = jbtest(Test(:,1),0.05)

% 用循环检验所有列的数据
n_c = size(Test,2); % number of column 数据的列数
H = zeros(1,6);
P = zeros(1,6);
for i = 1:n_c
	[h,p] = jbtest(Test(:,i),0.05);
	H(i)=h;
	P(i)=p;
end
disp(H)
disp(P)

1.16 小样本3≤n≤50:Shapiro-wilk检验

Alt Text

1.17 另一种常见的方法:Q-Q图

Alt Text

qqplot(Test(:,1))  % 第一列数据和正态分布的Q-Q图

Alt Text

1.18 斯皮尔曼spearman相关系数

斯皮尔曼相关系数被定义成等级之间的皮尔逊相关系数。 Alt Text

代码演示
% MATLAB求解皮尔逊相关系数
RX = [2 5 3 4 1]
RY = [1 4.5 3 4.5 2]
R = corrcoef(RX,RY)
>> %% MATLAB求解皮尔逊相关系数
RX = [2 5 3 4 1]
RY = [1 4.5 3 4.5 2]
R = corrcoef(RX,RY)

RX = 2     5     3     4     1

RY = 1.0000    4.5000    3.0000    4.5000    2.0000

R = 1.0000    0.8721
    0.8721    1.0000

1.19 MATLAB中计算斯皮尔曼相关系

Alt Text

代码演示
X = [3 8 4 7 2]' % 一定要是列向量,一撇'表示求转置
Y = [5 10 9 10 6]'
coeff = corr(X , Y , 'type' , 'Spearman')
代码过程
>> X = [3 8 4 7 2]' % 一定要是列向量,一撇'表示求转置
Y = [5 10 9 10 6]'
coeff = corr(X , Y , 'type' , 'Spearman')

X =
     3
     8
     4
     7
     2

Y =
     5
    10
     9
    10
     6

coeff = 0.8721  %这说明Matlab使用的是第二种计算方法

1.20 斯皮尔曼相关系数的假设检验

Alt Text Alt Text Alt Text

1.21 两个相关系数的比较

Alt Text 参考链接

文档信息

Search

    Table of Contents