& 概率基础和R语言
概率基础和R语言
，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。
R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用R语言。
要成为有理想的极客，我们不能停留在语法上，要掌握牢固的数学，概率，统计知识，同时还要有创新精神，把R语言发挥到各个领域。让我们一起动起来吧，开始R的极客理想。
关于作者：
张丹(Conan), 程序员Java,R,PHP,Javascript
weibo：@Conan_Z
转载请注明出处：
R语言是统计语言，概率又是统计的基础，所以可以想到，R语言必然要从底层API上提供完整、方便、易用的概率计算的函数。让R语言帮我们学好概率的基础课。
随机变量的数字特征
1. 随机变量
什么是随机变量？
离散型随机变量
连续型随机变量
1). 什么是随机变量？
随机变量（random variable）表示随机现象各种结果的实值函数。随机变量是定义在样本空间S上，取值在实数载上的函数，由于它的自变量是随机试验的结果，而随机实验结果的出现具有随机性，因此，随机变量的取值具有一定的随机性。
R程序：生成一个在(0,1,2,3,4,5)的随机变量
> S sample(S,1)
> sample(S,1)
> sample(S,1)
2). 离散型随机变量
如果随机变量X的全部可能的取值只有有限多个或可列无穷多个，则称X为离散型随机变量。
R程序：生成样本空间为(1,2,3)的随机变量X，X的取值是有限的
> S X<-sample(S,1);X
3). 连续型随机变量
随机变量X，取值可以在某个区间内取任一实数，即变量的取值可以是连续的，这随机变量就称为连续型随机变量
R程序：生成样本在空间(0,1)的连续随机函数，取10个值
> runif(10,0,1)
[1] 0.........1883553
[10] 0.3741653
2. 随机变量的数字特征
各种分步的期望和方差
常用统计量(最大,最小,中位数,四分位数)
矩(原点矩,中心矩,偏度,峰度)
协方差矩阵
1). 数学期望(mathematical expectation)
离散型随机变量：的一切可能的取值xi与对应的概率Pi(=xi)之积的和称为该离散型随机变量的数学期望，记为E(x)。数学期望是最基本的数学特征之一。它反映随机变量平均取值的大小。
R程序：计算样本(1,2,3,7,21)的数学期望
> S mean(S)
连续型随机变量：若随机变量X的分布函数F(x)可表示成一个非负可积函数f(x)的积分，则称X为连续性随机变量，f(x)称为X的概率密度函数，积分值为X的数学期望，记为E(X)。
2). 方差(Variance)
方差是各个数据与平均数之差的平方的平均数。在概率论和数理统计中，方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。
设X为随机变量，如果E{[X-E(X)]^2}存在，则称E{[X-E(X)]^2}为X的方差，记为Var(X)。
R程序：计算样本(1,2,3,7,21)的方差
> S var(S)
3). 标准差(Standard Deviation)
标准差是方差的算术平方根sqrt(var(X))。标准差能反映一个数据集的离散程度。平均数相同的，标准差未必相同。
R程序：计算样本(1,2,3,7,21)标准差
[1] 8.258329
4). 各种分步的期望和方差
离散型分布：两点分布，二项分布，泊松分布等
连续型分布：均匀分布，指数分布，正态分布，伽马分布等
对于某一特定场景，其所符合的分布规律一般先验给出
请参考文章：
5). 常用统计量
众数(Mode): 一组数据中出现次数最多的数值，叫众数，有时众数在一组数中有好几个。
R程序：计算样本(1,2,3,3,3,7,7,7,7,9,10,21)的众数
> S names(which.max(table(S)))
最小值(minimum): 在给定情形下可以达到的最小数量或最小数值
R程序：计算样本(2,3,3,3,7,7,7,7,9,10,21)的最小值
> S min(S)
#最小值的索引
> which.min(S)
最大值(maximum): 在给定情形下可以达到的最大数量或最大数值
R程序：计算样本(2,3,3,3,7,7,7,7,9,10,21)的最大值
> S max(S)
#最大值的索引
> which.max(S)
中位数(Medians): 是指将统计总体当中的各个变量值按大小顺序排列起来，形成一个数列，处于变量数列中间位置的变量值就称为中位数。
R程序：计算样本(1,2,3,4,5)的中位数
> S median(S)
四分位数(Quartile): 用于描述任何类型的数据，尤其是偏态数据的离散程度,即将全部数据从小到大排列，正好排列在上1/4位置叫上四分位数，下1/4位置上的数就叫做下四分位数.
R程序：计算样本(1,2,3,4,5,6,7,8,9)的四分位数
> S quantile(S)
> fivenum(S)
[1] 1 3 5 7 9
通用的计算统计函数：
R程序：计算样本(1,2,3,4,5,6,7,8,9)的统计函数
> S summary(S)
Min. 1st Qu.
Mean 3rd Qu.
6). 协方差(Covariance)
协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。设X,Y为两个随机变量，称E{[X-E(X)][Y-E(Y)]}为X和Y的协方差，记录Cov(X,Y)。
R程序：计算X(1,2,3,4)和Y(5,6,7,8)的协方差
> X Y cov(X,Y)
[1] 1.666667
7). 相关系数(Correlation coefficient)
相关系数是用以反映变量之间相关关系密切程度的统计指标。相关系数是按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度。当Var(X)>0, Var(Y)>0时，称Cov(X,Y)/sqrt(Var(X)*Var(Y))为X与Y的相关系统。
R程序：计算X(1,2,3,4)和Y(5,7,8,9)的相关系数
> X Y cor(X,Y)
[1] 0.9827076
原点矩(moment about origin): 对于正整数k，如果E|X^k|存在，称V^k=E(X^k)为随机变量X的k阶原点矩。X的数学期望是X的一阶原点矩，即E(x)=v1.
R程序：计算S(1,2,3,4,5)的一阶原点矩(均值)
> S mean(S)
中心矩(moment about centre): 对于正整数k，如果EX存在，且E(|X - EX|^k)也存在，则称E[X-EX]^k为随机变量X的k阶中心矩。如X的方差是X的二阶中心矩，即D(X)=E{[X-E(X)]^2}
R程序：计算S(1,2,3,4,5)的二阶中心矩(方差)
> S var(S)
距是广泛应用的一类数学特征，均值和方差分别就是一阶原点矩和二阶中心矩。
偏度(skewness): 是统计数据分布偏斜方向和程度的度量，是统计数据分布非对称程度的数字特征。设分布函数F(x)有中心矩u2=E(X -E(X))^2, u3 = E(X -E(X))^3，则Cs=u3/u2^(3/2)为偏度系数。
当Cs>0时，概率分布偏向均值右则,Cs<0时，概率分布偏向均值左则。
R语言：计算10000个正态分布的样本的偏度
> library(PerformanceAnalytics)
> S skewness(S)
> hist(S,breaks=100)
峰度(kurtosis): 又称峰态系数。表征概率密度分布曲线在平均值处峰值高低的特征数。峰度刻划不同类型的分布的集中和分散程序。设分布函数
F(x)有中心矩u2=E(X -E(X))^2, u4=E(X -E(X))^4，则Ck=u4/(u2^2-3)为峰度系数。
R语言：计算10000个正态分布的样本的峰度，(同偏度的样本数据)
> library(PerformanceAnalytics)
> kurtosis(S)
> hist(S,breaks=100)
8). 协方差矩阵(covariance matrix)
协方差矩阵是一个矩阵，其每个元素是各个向量元素之间的协方差。是从标量随机变量到高维度随机向量的自然推广。设X = (X1,X2, ... ,Xn), Y = (Y1, Y2, ..., Ym) 为两个随机变量，则Cov(X,Y)为X,Y的协方差矩阵.
R语言：计算协方差矩阵
> x=as.data.frame(matrix(rnorm(10),ncol=2))
3. 极限定理
中心极限定理
1). 大数定律
大数定律(law of large numbers)，又称大数定理，是判断随机变量的算术平均值是否向常数收敛的定律，是概率论和数理统计学的基本定律之一。
设X1,X2,...,Xk, 是随机变量序列且E(Xk)存在(k=1,2,3...), Yn = 1/n * (X1 +X2+ ... + Xk)，对于任意给定的ε > 0, 有
则称随机变量序列{Xk}服从大数定律。
三个重要定律
Bernoulli大数定律
Chebyshev(切比雪夫)大数定律
Khintchin(辛钦)大数定律
Bernoulli(贝努力)大数定律
设Na是n次独立重复试验中A发生的次数，p是事件A在每次试验中发生的概率，则对任意的正数ε > 0,有
Bernoulli大数定律揭示了“频率稳定于概率”说法的实质。
Chebyshev(切比雪夫)大数定律
设随机变量X1,X2,...Xk相互独立，且具有相同的期望与方差：E(Xk)=μ, Var(Xk) = σ^2, (k = 1, 2, ...), 则对于任意的正数ε > 0,
有
Khintchin(辛钦)大数定律
设随机变量X1,X2...Xk相互独立，服从相同的分布，且其期望E(Xk) = μ , (k = 1, 2,...), 则对于任意的正数ε > 0,
有
若对随机变量序列X1, X2, ...Xk存在常数a, 使得对于任意的正数ε > 0,
有
成立，则称Xk依概率收敛于a，则Chebyshev大数定律和Khintchin大数定律有
大数定律定理
设随机变量X具有期望E(X)=μ,方差Var(X) = σ2, 则对于任意ε > 0, 有
R语言：假设投硬币，正面概率是0.5，投4次时，计算得到2次正面的概率？根据大数定律，如果投是10000次，计算5000次正面的概率？
#计算2次正面的的概率
> choose(4,2)/2^4 #choose组合数的计算：从4中选择2个
#计算5000次正面的的概率
> pbinom(, 0.5) #pbinom二向分布，5000为分位数，产生10000个随机数，每个概率0.5
[1] 0.5039893
2). 中心极限定理(central limit theorem)
中心极限定理是判断随机变量序列部分和的分布是否渐近于正态分布的一类定理。在自然界及生产科学实践中，一些现象受到许多相互独立的随机因素的影响，如果每个因素的影响都很小，那么部的影响可以看作是服从正太分布。中心极限定理正是从数学上论证了这一现象。
设从均值为μ、方差为σ^2;（有限）的任意一个总体中抽取样本量为n的样本，当n充分大时，样本均值的抽样分布近似服从均值为μ、方差为σ^2/n的正态分布。
两个最著名的中心极限宣
列维定理(Lindburg-Levy)
拉普拉斯定理(de Movire - Laplace)
列维定理(Lindburg-Levy)
即独立同分布随机变量序列的中心极限定理。它表明，独立同分布、且数学期望和方差有限的随机变量序列的标准化和以标准正态分布为极限。
设随机变量X1，X2，......Xn，......相互独立，服从同一分布，且具有数学期望和方差：E（Xk）=μ，D（Xk）=σ^2>0(k=1,2....),则随机变量之和的标准化变量的分布函数Fn（x）对于任意x满足limFn（x）=Φ（x），n→∞　其中Φ(x)是标准正态分布的分布函数。
拉普拉斯定理(de Movire - Laplace)
即服从二项分布的随机变量序列的中心极限定理。它指出，参数为n, p的二项分布以np为均值、np(1-p)为方差的正态分布为极限。
R语言：中心极限定理模拟，从指数分布到正态分布
if (!require(animation)) install.packages("animation")
library(animation)
ani.options(interval = 0.1, nmax = 100)
par(mar = c(4, 4, 1, 0.5))
掌握R语言，就可以快速的把概率的知识，用R语言进行现实，非常有利于帮助我们解决生活中遇到的问题。
参考资料：
图书：统计建模与R软件
转载请注明出处：
This entry was posted in
Designed by【图文】R语言S_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
评价文档：
上传于|0|0|暂无简介
大小：4.42MB
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢R语言如何检验1个数据集的分布，R语言如何画QQ图（转载）_qq语言-牛宝宝文章网
R语言如何检验1个数据集的分布，R语言如何画QQ图（转载） qq语言
R语言如何检验1个数据集的分布，R语言如何画QQ图我们可以用很多方法分析1个单变量数据集的分布。最简单的办法就是直接看数字。利用函数summary 和fivenum 会得到2个稍稍有点差异的汇总信息。此外，stem(\茎叶"图)也会反映整个数据集的数字信息。& attach(faithful)& summary(eruptions)Min. 1st Qu. Median Mean 3rd Qu. Max.1.600 2.163 4.000 3.488 4.454 5.100& fivenum(eruptions)[1] 1.5 4.5 5.1000& stem(eruptions)The decimal point is 1 digit(s) to the left of the |16 | 18 | 88820 | 22 | 357824 | 0022826 | 2328 | 08030 | 732 | 233734 | 25007736 | 38 | 557740 | 557777842 | 7777844 | 46 | 48 | 0033350 | 0370茎叶图和柱状图相似，R 用函数hist 绘制柱状图。& hist(eruptions)& ## 让箱距缩小，绘制密度图& hist(eruptions, seq(1.6, 5.2, 0.2),prob=TRUE)& lines(density(eruptions, bw=0.1))& rug(eruptions) # 显示实际的数据点更为精致的密度图是用函数density 绘制的。在这个例子中，我们加了一条由density 产生的曲线。你可以用试错法（trial-and-error）选择带宽bw（bandwidth）因为默认的带宽值让密度曲线过于平滑（这样做常常会让你得到非常有\意思"的密度分布）。(现在已经有一些自动的带宽挑选方法2，在这个例子中bw = "SJ"给出的结果不错。)我们可以用函数ecdf 绘制1个数据集的经验累积分布（empirical cumulativedistribution）函数。& plot(ecdf(eruptions), do.points=FALSE,verticals=TRUE)显然，这个分布和其他标准分布差异很大。那么右边的情况怎么样呢，就是火山爆发3分钟后的状况？我们可以拟合1个正态分布，并且重叠前面得到的经验累积密度分布。& long &- eruptions[eruptions& 3]& plot(ecdf(long), do.points=FALSE,verticals=TRUE)& x &- seq(3, 5.4, 0.01)& lines(x, pnorm(x, mean=mean(long),sd=sqrt(var(long))), lty=3)分位比较图（Quantile-quantile (Q-Q) plot）便于我们更细致地研究二者的吻合程度。par(pty="s") # 设置1个方形的图形区域qqnorm(long); qqline(long)上述命令得到的QQ图表明二者还是比较吻合的，但右侧尾部偏离期望的正态分布。我们可以用t 分布获得一些模拟数据以重复上面的过程x &- rt(250, df = 5)qqnorm(x); qqline(x)这里得到的QQ图常常会出现偏离正态期望的长尾区域(如果是随机样本)。我们可以用下面的命令针对特定的分布绘制Q-Q图qqplot(qt(ppoints(250), df = 5), x, xlab = "Q-Q plot for tdsn")qqline(x)最后，我们可能需要1个比较正规的正态性检验方法。R提供了Shapiro-Wilk 检验& shapiro.test(long)Shapiro-Wilk normality testdata: longW = 0.9793, p-value = 0.01052和Kolmogorov-Smirnov 检验& ks.test(long, "pnorm", mean = mean(long), sd =sqrt(var(long)))One-sample Kolmogorov-Smirnov testdata: longD = 0.0661, p-value = 0.4284alternative hypothesis: two.sided(注意一般的统计分布理论（distribution theory）在这里可能无效，因为我们用同样的样本对正态分布的参数进行估计的。)转载于：http:（www.NIuBb.nEt)//www.biostatistic.net/thread-.html欢迎您转载分享：
更多精彩：一、数据管理
vector：向量 numeric：数值型向量 logical：逻辑型向量 character；字符型向量 list：列表 data.frame：数据框 c：连接为向量或列表 length：求长度 subset：求子集 seq，from:to，sequence：等差序列 rep：重复 NA：缺失值 NULL：空对象 sort，order，unique，rev：排序 unlist：展平列表 attr，attributes：对象属性 mode，typeof：对象存储模式与类型 names：对象的名字属性
二、字符串处理
character：字符型向量 nchar：字符数 substr：取子串 format，formatC：把对象用格式转换为字符串 paste，strsplit：连接或拆分 charmatch，pmatch：字符串匹配 grep，sub，gsub：模式匹配与替换 　
complex，Re，Im，Mod，Arg，Conj：复数函数 　
factor：因子 codes：因子的编码 levels：因子的各水平的名字 nlevels：因子的水平个数 cut：把数值型对象分区间转换为因子 table：交叉频数表 split：按因子分组 aggregate：计算各数据子集的概括统计量 tapply：对&不规则&数组应用函数
+, -, *, /, ^, %%, %/%：四则运算 ceiling，floor，round，signif，trunc，zapsmall：舍入 max，min，pmax，pmin：最大最小值 range：最大值和最小值 sum，prod：向量元素和，积 cumsum，cumprod，cummax，cummin：累加、累乘 sort：排序 approx和approx fun：插值 diff：差分 sign：符号函数 　
二、数学函数
abs，sqrt：绝对值，平方根 log, exp, log10, log2：对数与指数函数 sin，cos，tan，asin，acos，atan，atan2：三角函数 sinh，cosh，tanh，asinh，acosh，atanh：双曲函数
beta，lbeta，gamma，lgamma，digamma，trigamma，tetragamma，pentagamma，choose ，lchoose：与贝塔函数、伽玛函数、组合数有关的特殊函数
fft，mvfft，convolve：富利叶变换及卷积 polyroot：多项式求根 poly：正交多项式 spline，splinefun：样条差值 besselI，besselK，besselJ，besselY，gammaCody：Bessel函数 deriv：简单表达式的符号微分或算法微分
array：建立数组 matrix：生成矩阵 data.matrix：把数据框转换为数值型矩阵 lower.tri：矩阵的下三角部分 mat.or.vec：生成矩阵或向量 t：矩阵转置 cbind：把列合并为矩阵 rbind：把行合并为矩阵 diag：矩阵对角元素向量或生成对角矩阵 aperm：数组转置 nrow, ncol：计算数组的行数和列数 dim：对象的维向量 dimnames：对象的维名 row/colnames：行名或列名 %*%：矩阵乘法 crossprod：矩阵交叉乘积（内积） outer：数组外积 kronecker：数组的Kronecker积 apply：对数组的某些维应用函数 tapply：对&不规则&数组应用函数 sweep：计算数组的概括统计量 aggregate：计算数据子集的概括统计量 scale：矩阵标准化 matplot：对矩阵各列绘图 cor：相关阵或协差阵 Contrast：对照矩阵 row：矩阵的行下标集 col：求列下标集 　
四、线性代数
solve：解线性方程组或求逆 eigen：矩阵的特征值分解 svd：矩阵的奇异值分解 backsolve：解上三角或下三角方程组 chol：Choleski分解 qr：矩阵的QR分解 chol2inv：由Choleski分解求逆 　
五、逻辑运算
&，&，&=，&=，==，!=：比较运算符 !，&，&&，|，||，xor()：逻辑运算符 logical：生成逻辑向量 all，any：逻辑向量都为真或存在真ifelse()：二者择一 match，%in%：查找 unique：找出互不相同的元素 which：找到真值下标集合 duplicated：找到重复元素 　
六、优化及求根
optimize，uniroot，polyroot：一维优化与求根
一、控制结构
if，else，ifelse，switch：分支 for，while，repeat，break，next：循环 apply，lapply，sapply，tapply，sweep：替代循环的函数。 　
function：函数定义 source：调用文件 call：函数调用 .C，.Fortran：调用C或者Fortran子程序的动态链接库。 Recall：递归调用 browser，debug，trace，traceback：程序调试 options：指定系统参数 missing：判断虚参是否有对应实参 nargs：参数个数 stop：终止函数执行on.exit：指定退出时执行 eval，expression：表达式计算 system.time：表达式计算计时 invisible：使变量不显示 menu：选择菜单（字符列表菜单）
其它与函数有关的还有：delay，delete.response，deparse，do.call，dput，environment ，，formals，，interactive，is.finite，is.function，is.language，is.recursive ，match.arg，match.call，match.fun，model.extract，name，parse，substitute，sys.parent ，warning，machine
三、输入输出
cat，print：显示对象 sink：输出转向到指定文件 dump，save，dput，write：输出对象 scan，read.table，load，dget：读入 　
四、工作环境
ls，objects：显示对象列表 rm, remove：删除对象 q，quit：退出系统 .First，.Last：初始运行函数与退出运行函数。 options：系统选项 ?，help，help.start，apropos：帮助功能 data：列出数据集
一、统计分布
每一种分布有四个函数：d――density（密度函数），p――分布函数，q――分位数函数，r――随机数函数。比如，正态分布的这四个函数为dnorm，pnorm，qnorm，rnorm。下面我们列出各分布后缀，前面加前缀d、p、q或r就构成函数名：
norm：正态，t：t分布，f：F分布，chisq：卡方（包括非中心） unif：均匀，exp：指数，weibull：威布尔，gamma：伽玛，beta：贝塔 lnorm：对数正态，logis：逻辑分布，cauchy：柯西， binom：二项分布，geom：几何分布，hyper：超几何，nbinom：负二项，pois：泊松 signrank：符号秩，wilcox：秩和，tukey：学生化极差 　
二、简单统计量
sum, mean, var, sd, min, max, range, median, IQR（四分位间距）等为统计量，sort，order，rank与排序有关，其它还有ave，fivenum，mad，quantile，stem等。
三、统计检验
R中已实现的有chisq.test，prop.test，t.test。 　
四、多元分析
cor，cov.wt，var：协方差阵及相关阵计算 biplot，biplot.princomp：多元数据biplot图 cancor：典则相关 princomp：主成分分析 hclust：谱系聚类 kmeans：k-均值聚类 cmdscale：经典多维标度 其它有dist，mahalanobis，cov.rob。 　
五、时间序列
ts：时间序列对象 diff：计算差分 time：时间序列的采样时间 window：时间窗 　
六、统计模型
lm，glm，aov：线性模型、广义线性模型、方差分析
阅读(...) 评论()}