网站 界面python开源网站源码

网站 界面,python开源网站源码,公司网站模版,网站 chat now怎么做最大似然估计#xff08;Maximum Likelihood Estimation#xff0c;MLE#xff09;是一种在统计学中用于估计概率分布参数的方法。其核心思想是#xff1a;在已知观测数据的概率分布模型的情况下#xff0c;通过调整模型参数#xff0c;使得观测到当前数据的概率最大。以…最大似然估计Maximum Likelihood EstimationMLE是一种在统计学中用于估计概率分布参数的方法。其核心思想是在已知观测数据的概率分布模型的情况下通过调整模型参数使得观测到当前数据的概率最大。以下从定义、数学原理和详细范例进行介绍定义设有一组独立同分布的观测数据X { x 1 , x 2 , ⋯ , x n } X \{x_1, x_2, \cdots, x_n\}X{x1​,x2​,⋯,xn​}其概率密度函数连续情况或概率质量函数离散情况为p ( x ∣ θ ) p(x|\theta)p(x∣θ)其中θ \thetaθ是待估计的参数。最大似然估计的目标是找到一个参数值θ ^ \hat{\theta}θ^使得似然函数L ( θ ∣ X ) ∏ i 1 n p ( x i ∣ θ ) L(\theta|X)\prod_{i 1}^{n}p(x_i|\theta)L(θ∣X)∏i1n​p(xi​∣θ)取得最大值。为了方便计算通常会对似然函数取对数得到对数似然函数ln ⁡ L ( θ ∣ X ) ∑ i 1 n ln ⁡ p ( x i ∣ θ ) \ln L(\theta|X)\sum_{i 1}^{n}\ln p(x_i|\theta)lnL(θ∣X)∑i1n​lnp(xi​∣θ)然后求其对θ \thetaθ的导数并令其为0解方程得到θ ^ \hat{\theta}θ^。数学原理似然函数它是在给定参数θ \thetaθ的情况下观测到数据X XX的联合概率。由于观测数据X XX已经发生所以将似然函数看作参数θ \thetaθ的函数其值越大意味着在当前参数下观测到给定数据的可能性越大。对数似然函数因为乘积的运算不如求和方便且对数函数是单调递增函数所以对似然函数取对数后使函数更容易处理同时不改变参数的极值点。范例抛硬币实验实验设定假设有一枚硬币我们想知道它正面朝上的概率p pp。为了估计这个概率我们进行抛硬币实验独立重复抛n nn次记录正面朝上的次数k kk。建立概率模型每次抛硬币是一个伯努利试验设x i x_ixi​表示第i ii次抛硬币的结果x i 1 x_i 1xi​1表示正面朝上x i 0 x_i 0xi​0表示反面朝上。则x i x_ixi​服从参数为p pp的伯努利分布其概率质量函数为p ( x i ∣ p ) p x i ( 1 − p ) 1 − x i p(x_i|p)p^{x_i}(1 - p)^{1 - x_i}p(xi​∣p)pxi​(1−p)1−xi​。构建似然函数由于n nn次抛硬币是相互独立的所以n nn次抛硬币的联合概率似然函数为L ( p ∣ x 1 , x 2 , ⋯ , x n ) ∏ i 1 n p x i ( 1 − p ) 1 − x i L(p|x_1,x_2,\cdots,x_n)\prod_{i 1}^{n}p^{x_i}(1 - p)^{1 - x_i}L(p∣x1​,x2​,⋯,xn​)∏i1n​pxi​(1−p)1−xi​构建对数似然函数对似然函数取对数可得ln ⁡ L ( p ∣ x 1 , x 2 , ⋯ , x n ) ∑ i 1 n [ x i ln ⁡ p ( 1 − x i ) ln ⁡ ( 1 − p ) ] \ln L(p|x_1,x_2,\cdots,x_n)\sum_{i 1}^{n}[x_i\ln p(1 - x_i)\ln(1 - p)]lnL(p∣x1​,x2​,⋯,xn​)∑i1n​[xi​lnp(1−xi​)ln(1−p)] ( ∑ i 1 n x i ) ln ⁡ p ( n − ∑ i 1 n x i ) ln ⁡ ( 1 − p ) \left(\sum_{i 1}^{n}x_i\right)\ln p\left(n-\sum_{i 1}^{n}x_i\right)\ln(1 - p)(∑i1n​xi​)lnp(n−∑i1n​xi​)ln(1−p)设k ∑ i 1 n x i k \sum_{i 1}^{n}x_ik∑i1n​xi​即正面朝上的总次数则上式可化为ln ⁡ L ( p ∣ k ) k ln ⁡ p ( n − k ) ln ⁡ ( 1 − p ) \ln L(p|k)k\ln p(n - k)\ln(1 - p)lnL(p∣k)klnp(n−k)ln(1−p)求解最大似然估计对ln ⁡ L ( p ∣ k ) \ln L(p|k)lnL(p∣k)关于p pp求导并令导数为0d ln ⁡ L ( p ∣ k ) d p k p − n − k 1 − p 0 \frac{d\ln L(p|k)}{dp}\frac{k}{p}-\frac{n - k}{1 - p}0dpdlnL(p∣k)​pk​−1−pn−k​0解上述方程k p − n − k 1 − p 0 k ( 1 − p ) − p ( n − k ) 0 k − k p − p n k p 0 k − p n 0 p k n \begin{align*} \frac{k}{p}-\frac{n - k}{1 - p}0\\ k(1 - p)-p(n - k)0\\ k - kp - pn kp0\\ k - pn0\\ p\frac{k}{n} \end{align*}pk​−1−pn−k​k(1−p)−p(n−k)k−kp−pnkpk−pnp​0000nk​​再对ln ⁡ L ( p ∣ k ) \ln L(p|k)lnL(p∣k)关于p pp求二阶导数d 2 ln ⁡ L ( p ∣ k ) d p 2 − k p 2 − n − k ( 1 − p ) 2 0 \frac{d^2\ln L(p|k)}{dp^2}-\frac{k}{p^2}-\frac{n - k}{(1 - p)^2}0dp2d2lnL(p∣k)​−p2k​−(1−p)2n−k​0二阶导数小于0说明ln ⁡ L ( p ∣ k ) \ln L(p|k)lnL(p∣k)在p k n p \frac{k}{n}pnk​处取得最大值。所以抛硬币正面朝上概率p pp的最大似然估计值为p ^ k n \hat{p}\frac{k}{n}p^​nk​即正面朝上的频率。例如若抛100次硬币正面朝上40次则p pp的最大似然估计值为p ^ 40 100 0.4 \hat{p}\frac{40}{100}0.4p^​10040​0.4。