1樓：聽風起啊
如果的你問題還是為什麼logistic迴歸的優化演算法為什麼用梯度下降而不用最小二乘法（姑且這麼叫吧），答案是最小二乘法只能解決線性最小二乘問題，而logistic迴歸的損失函式不是線性最小二乘問題，這就好比你用十字交叉法解三次方程一樣。
我覺得最小二乘這幾個字課本上處理的不好，正常的，我們指的最小二乘其實是一大類問題，而不是方法，而課本上和ng所講的最小二乘法，是一種求解方法，但只能求解線性最小二乘問題，所以搞得我弄不清題主的意思。
最小二乘法是一種演算法，最小二乘問題是乙個loss function. <
2樓：佳作如此佳人
對於乙個資料集，首先你要根據資料的特點和目的來選擇合適模型。
就你問的而言，選定的模型是logistic regression。現在既然已經選擇了模型，那麼接下來的問題是：怎麼才能讓這個模型儘可能好的擬合或者分類資料呢？
那麼就需要有目標，所以要定下模型的cost function，但是cost function怎麼定呢？憑直覺隨便選嗎！不！
可！能！我們都知道，linear regression的cost function是最小二乘，即。
但是logistic regression的cost function卻是。
為什麼logistic regression不使用最小二乘做cost function呢？ <
最小二乘法和梯度下降法的區別
3樓：鐵楓亢宛筠
其實，在計算量方面，兩者有很大的不同，因而在面對給定的問題時，可以有選擇性的根據問題的性質選擇兩種方法中的乙個。
具體來說，最小二乘法的矩陣公式是。這裡的。a
是乙個矩陣，b
是乙個向量。
如果有離散資料點，而想要擬合的方程又大致形如。
那麼，a就是乙個。
的矩陣，第。
i行的資料點分別是。而。b
則是乙個向量，其值為。
而又已知，計算乙個矩陣的逆是相當耗費時間的，而且求逆也會存在數值不穩定的情況。
比如對希爾伯特矩陣求逆就幾乎是不可能的).
因而這樣的計算方法有時不值得提倡。
相比之下，梯度下降法雖然有一些弊端，迭代的次數可能也比較高，但是相對來說計算量並不是特別大。
而且，在最小二乘法這個問題上，收斂性***。
故在大資料量的時候，反而是梯度下降法。
其實應該是其他一些更好的迭代方法)
更加值得被使用。
當然，其實梯度下降法還有別的其他用處，比如其他找極值問題。
另外，牛頓法也是一種不錯的方法，迭代收斂速度快於梯度下降法，只是計算代價也比較高。
最小二乘法和梯度下降法的區別
4樓：網友
其實， 在計算量方面， 兩者有很大的不同， 因而在面對給定的問題時， 可以有選擇性的根據問題的性質選擇兩種方法中的乙個。
具體來說， 最小二乘法的矩陣公式是 , 這裡的 a 是乙個矩陣， b 是乙個向量。 如果有離散資料點， ,而想要擬合的方程又大致形如 , 那麼， a 就是乙個 的矩陣， 第 i 行的資料點分別是 , 而 b 則是乙個向量， 其值為 . 而又已知， 計算乙個矩陣的逆是相當耗費時間的， 而且求逆也會存在數值不穩定的情況 (比如對希爾伯特矩陣求逆就幾乎是不可能的).
因而這樣的計算方法有時不值得提倡。
相比之下， 梯度下降法雖然有一些弊端， 迭代的次數可能也比較高， 但是相對來說計算量並不是特別大。 而且， 在最小二乘法這個問題上， 收斂性***。 故在大資料量的時候， 反而是梯度下降法 (其實應該是其他一些更好的迭代方法) 更加值得被使用。
當然， 其實梯度下降法還有別的其他用處， 比如其他找極值問題。 另外， 牛頓法也是一種不錯的方法， 迭代收斂速度快於梯度下降法， 只是計算代價也比較高。
陳老師，您好！請問最小二乘法和極大似然估計法有什麼區別，分別適用於哪些分佈
1 最小二乘法的典型應用是求解一套x和y的成對資料對應的曲線 或者直線 方程。其思想是 設y和x之間的關係可以用一個公式在表示，但其係數為待定係數。然後，將各個點的實測資料與計算求得的資料相減，得到 誤差 或者不符值 有正有負，但其平方都是正的 將這些不符值的平方相加，得到總的 誤差 通過調整公式中...
逐步迴歸和最小二乘區別，使用最小二乘法做線性迴歸的目標
關於逐步迴歸和最小二乘區別，我覺得那就是他們，那肯定是有很多不一樣的地方吧。使用最小二乘法做線性迴歸的目標 用最小二乘法對有兩個樣本點的線性迴歸直線方程進行了直接推導，主要是分別對關於a和b的二次函式進行研究，由配方法求其最值及所需條件。最小二乘法可以幫助我們在進行線性擬合時，如何選擇 最好 的直線...
matlab的極大似然估計問題
結合傳統優化方法中的懲罰函式法，描述了遺傳演算法和大型工程計算軟體matlab 中遺傳優化工具箱的使用方法。應用表明，將。如何由樣本估計三引數威布林分佈的引數是工程中的一個重要問題，常用方法是極大似然法和圖估計法進行引數估計。極大似然估計 設xi 1 第i次抽樣得到的球是黑球 xi 0 第i次抽樣得...