Strojové učenie je odvetvie umelej inteligencie, ktoré sa zameriava na vývoj algoritmov a štatistických modelov, ktoré sa dokážu poučiť a predpovedať údaje. Lineárna regresia je tiež typ algoritmu strojového učenia, konkrétnejšie a algoritmus strojového učenia pod dohľadom ktorý sa učí z označených dátových súborov a mapuje dátové body k najoptimalizovanejším lineárnym funkciám. ktoré možno použiť na predikciu nových súborov údajov.

V prvom rade by sme mali vedieť, čo sú to supervidované algoritmy strojového učenia. Je to typ strojového učenia, kde sa algoritmus učí z označených údajov. Označené údaje znamenajú súbor údajov, ktorého príslušná cieľová hodnota je už známa. Učenie pod dohľadom má dva typy:

• Klasifikácia : Predpovedá triedu súboru údajov na základe nezávislej vstupnej premennej. Trieda je kategorické alebo diskrétne hodnoty. ako obraz zvieraťa je mačka alebo pes?
• Regresia : Predpovedá spojité výstupné premenné na základe nezávislej vstupnej premennej. ako je predikcia cien nehnuteľností na základe rôznych parametrov, ako je vek domu, vzdialenosť od hlavnej cesty, poloha, oblasť atď.

Tu budeme diskutovať o jednom z najjednoduchších typov regresie, t.j. Lineárna regresia.

Obsah

• Čo je lineárna regresia?
• Typy lineárnej regresie
• Aká je najlepšia Fit Line?
• Nákladová funkcia pre lineárnu regresiu
• Predpoklady jednoduchej lineárnej regresie
• Predpoklady viacnásobnej lineárnej regresie
• Metriky hodnotenia pre lineárnu regresiu
• Implementácia lineárnej regresie v Pythone
• Regularizačné techniky pre lineárne modely
• Aplikácie lineárnej regresie
• Výhody a nevýhody lineárnej regresie
• Lineárna regresia – často kladené otázky (FAQ)

Čo je lineárna regresia?

Lineárna regresia je typ strojové učenie pod dohľadom algoritmus, ktorý počíta lineárny vzťah medzi závislou premennou a jedným alebo viacerými nezávislými znakmi prispôsobením lineárnej rovnice pozorovaným údajom.

Ak existuje iba jeden nezávislý prvok, je známy ako Jednoduchá lineárna regresia , a ak existuje viac ako jedna funkcia, označuje sa ako Viacnásobná lineárna regresia .

Podobne, keď existuje iba jedna závislá premenná, berie sa do úvahy Jednorozmerná lineárna regresia , zatiaľ čo keď existuje viac ako jedna závislá premenná, je to známe ako Multivariačná regresia .

Prečo je lineárna regresia dôležitá?

Interpretovateľnosť lineárnej regresie je pozoruhodnou silnou stránkou. Rovnica modelu poskytuje jasné koeficienty, ktoré objasňujú vplyv každej nezávislej premennej na závislú premennú, čo uľahčuje hlbšie pochopenie základnej dynamiky. Jeho jednoduchosť je cnosť, pretože lineárna regresia je transparentná, ľahko implementovateľná a slúži ako základný koncept pre zložitejšie algoritmy.

Lineárna regresia nie je len prediktívny nástroj; tvorí základ pre rôzne pokročilé modely. Techniky ako regularizácia a podporné vektorové stroje čerpajú inšpiráciu z lineárnej regresie a rozširujú jej užitočnosť. Lineárna regresia je navyše základným kameňom testovania predpokladov, čo umožňuje výskumníkom overiť kľúčové predpoklady o údajoch.

Typy lineárnej regresie

Existujú dva hlavné typy lineárnej regresie:

Jednoduchá lineárna regresia

Toto je najjednoduchšia forma lineárnej regresie a zahŕňa iba jednu nezávislú premennú a jednu závislú premennú. Rovnica pre jednoduchú lineárnu regresiu je:
y=eta_{0}+eta_{1}X
kde:

čo je základná zostava ubuntu

• Y je závislá premenná
• X je nezávislá premenná
• β0 je priesečník
• β1 je sklon

Viacnásobná lineárna regresia

To zahŕňa viac ako jednu nezávislú premennú a jednu závislú premennú. Rovnica pre viacnásobnú lineárnu regresiu je:
y=eta_{0}+eta_{1}X+eta_{2}X+………eta_{n}X
kde:

• Y je závislá premenná
• X1, X2, …, Xp sú nezávislé premenné
• β0 je priesečník
• β1, β2, …, βn sú sklony

Cieľom algoritmu je nájsť najlepšia Fit línia rovnica, ktorá dokáže predpovedať hodnoty na základe nezávislých premenných.

V regresii je prítomná množina záznamov s hodnotami X a Y a tieto hodnoty sa používajú na učenie funkcie, takže ak chcete predpovedať Y z neznámeho X, môžete použiť túto naučenú funkciu. V regresii musíme nájsť hodnotu Y, takže je potrebná funkcia, ktorá predpovedá spojité Y v prípade regresie, ak je X ako nezávislé znaky.

Aká je najlepšia Fit Line?

Naším hlavným cieľom pri používaní lineárnej regresie je nájsť najvhodnejšiu líniu, čo znamená, že chyba medzi predpokladanými a skutočnými hodnotami by mala byť minimálna. Najmenších chýb bude v rade, ktorá sa najlepšie hodí.

Najlepšia rovnica Fit Line poskytuje priamku, ktorá predstavuje vzťah medzi závislými a nezávislými premennými. Sklon čiary udáva, ako veľmi sa mení závislá premenná pri jednotkovej zmene v nezávislej premennej (premenných).

Lineárna regresia

Y sa tu nazýva závislá alebo cieľová premenná a X sa nazýva nezávislá premenná známa aj ako prediktor Y. Existuje mnoho typov funkcií alebo modulov, ktoré možno použiť na regresiu. Lineárna funkcia je najjednoduchší typ funkcie. Tu môže byť X jedna funkcia alebo viacero funkcií reprezentujúcich problém.

základný jazyk java

Lineárna regresia vykonáva úlohu predpovedať hodnotu závislej premennej (y) na základe danej nezávislej premennej (x). Preto je názov lineárna regresia. Na obrázku vyššie X (vstup) je pracovná skúsenosť a Y (výstup) je plat osoby. Regresná čiara je najvhodnejšia čiara pre náš model.

Na výpočet najlepších hodnôt používame funkciu nákladov, aby sme získali najvhodnejšiu čiaru, pretože rôzne hodnoty váh alebo koeficient čiar vedú k rôznym regresným čiaram.

Funkcia hypotézy v lineárnej regresii

Ako sme už skôr predpokladali, našou nezávislou črtou je skúsenosť, tj X a príslušný plat Y je závislá premenná. Predpokladajme, že medzi X a Y existuje lineárny vzťah, potom je možné predpovedať plat pomocou:

hat{Y} = heta_1 + heta_2X

ALEBO

hat{y}_i = heta_1 + heta_2x_i

Tu,

• y_i epsilon Y ;; (i= 1,2, cdots , n) sú označenia údajov (učenie pod dohľadom)
• x_i epsilon X ;; (i= 1,2, cdots , n) sú vstupné nezávislé tréningové dáta (jednorozmerné – jedna vstupná premenná (parameter))
• hat{y_i} epsilon hat{Y} ;; (i= 1,2, cdots , n) sú predpokladané hodnoty.

Model získa najlepšiu líniu regresnej zhody nájdením najlepšieho θ₁a θ₂hodnoty.

• i ₁ : zachytiť
• i ₂ : koeficient x

Akonáhle nájdeme to najlepšie θ₁a θ₂hodnoty, dostaneme najvhodnejšiu líniu. Takže keď konečne použijeme náš model na predikciu, predpovedá hodnotu y ako vstupnú hodnotu x.

Ako aktualizovať θ ₁ a θ ₂ hodnoty, aby ste získali najvhodnejšiu líniu?

Aby sa dosiahla najvhodnejšia regresná čiara, model sa zameriava na predpovedanie cieľovej hodnotyhat{Y} tak, že rozdiel medzi chybami medzi predpokladanou hodnotouhat{Y} a skutočná hodnota Y je minimálna. Preto je veľmi dôležité aktualizovať θ₁a θ₂hodnoty, aby sa dosiahla najlepšia hodnota, ktorá minimalizuje chybu medzi predpovedanou hodnotou y (pred) a skutočnou hodnotou y (y).

minimizefrac{1}{n}sum_{i=1}^{n}(hat{y_i}-y_i)^2

Nákladová funkcia pre lineárnu regresiu

The nákladová funkcia alebo stratová funkcia nie je nič iné ako chyba alebo rozdiel medzi predpokladanou hodnotouhat{Y} a skutočná hodnota Y.

Pri lineárnej regresii je Stredná štvorcová chyba (MSE) používa sa nákladová funkcia, ktorá vypočítava priemer druhej mocniny chýb medzi predpokladanými hodnotamihat{y}_i a skutočné hodnoty{y}_i . Účelom je určiť optimálne hodnoty pre záber heta_1 a koeficient vstupného znaku heta_2 poskytnutie najvhodnejšej čiary pre dané dátové body. Lineárna rovnica vyjadrujúca tento vzťah jehat{y}_i = heta_1 + heta_2x_i .

Funkciu MSE možno vypočítať ako:

ext{Cost function}(J) = frac{1}{n}sum_{n}^{i}(hat{y_i}-y_i)^2

Pomocou funkcie MSE sa na aktualizáciu hodnôt heta_1 & heta_2 . To zaisťuje, že hodnota MSE konverguje ku globálnym minimám, čo znamená najpresnejšie prispôsobenie lineárnej regresnej čiary súboru údajov.

Tento proces zahŕňa nepretržité nastavovanie parametrov ( heta_1) a ( heta_2) na základe gradientov vypočítaných z MSE. Konečným výsledkom je lineárna regresná línia, ktorá minimalizuje celkové štvorcové rozdiely medzi predpokladanými a skutočnými hodnotami a poskytuje optimálne znázornenie základného vzťahu v údajoch.

Gradient Descent pre lineárnu regresiu

Lineárny regresný model je možné trénovať pomocou optimalizačného algoritmu gradientný zostup iteratívnym upravovaním parametrov modelu na zníženie stredná štvorcová chyba (MSE) modelu na tréningovom súbore údajov. Ak chcete aktualizovať θ₁a θ₂hodnoty, aby sa znížila funkcia Cost (minimalizácia hodnoty RMSE) a aby sa dosiahla najvhodnejšia línia, ktorú model používa Gradient Descent. Cieľom je začať s náhodným θ₁a θ₂hodnoty a potom ich opakovane aktualizujte, čím sa dosiahnu minimálne náklady.

Gradient nie je nič iné ako derivácia, ktorá definuje účinky na výstupy funkcie s malou variáciou vstupov.

Rozlišujme nákladovú funkciu (J) vzhľadom na heta_1

egin {aligned} {J}’_{ heta_1} &=frac{partial J( heta_1, heta_2)}{partial heta_1} &= frac{partial}{partial heta_1} left[frac{1}{n} left(sum_{i=1}^{n}(hat{y}_i-y_i)^2 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_1}(hat{y}_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_1}( heta_1 + heta_2x_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(1+0-0 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}(hat{y}_i-y_i) left(2 ight ) ight] &= frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i) end {aligned}

np.klip

Rozlišujme nákladovú funkciu (J) vzhľadom na heta_2

egin {aligned} {J}’_{ heta_2} &=frac{partial J( heta_1, heta_2)}{partial heta_2} &= frac{partial}{partial heta_2} left[frac{1}{n} left(sum_{i=1}^{n}(hat{y}_i-y_i)^2 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_2}(hat{y}_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_2}( heta_1 + heta_2x_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(0+x_i-0 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}(hat{y}_i-y_i) left(2x_i ight ) ight] &= frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i)cdot x_i end {aligned}

Cieľom lineárnej regresie je nájsť koeficienty lineárnej rovnice, ktoré najlepšie zodpovedajú tréningovým údajom. Pohybom v smere záporného gradientu strednej štvorcovej chyby vzhľadom na koeficienty je možné koeficienty meniť. A príslušný priesečník a koeficient X budú akalpha je rýchlosť učenia.

Gradientný zostup

egin{aligned} heta_1 &= heta_1 – alpha left( {J}’_{ heta_1} ight) &= heta_1 -alpha left( frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i) ight) end{aligned} egin{aligned} heta_2 &= heta_2 – alpha left({J}’_{ heta_2} ight) &= heta_2 – alpha left(frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i)cdot x_i ight) end{aligned}

Predpoklady jednoduchej lineárnej regresie

Lineárna regresia je výkonný nástroj na pochopenie a predpovedanie správania premennej, avšak na to, aby boli presné a spoľahlivé riešenia, musí spĺňať niekoľko podmienok.

1. Linearita : Nezávislé a závislé premenné majú navzájom lineárny vzťah. To znamená, že zmeny v závislej premennej nasledujú zmeny v nezávislej premennej (premenných) lineárnym spôsobom. To znamená, že by mala existovať priama čiara, ktorú je možné nakresliť cez dátové body. Ak vzťah nie je lineárny, potom lineárna regresia nebude presným modelom.
   
2. Nezávislosť : Pozorovania v súbore údajov sú navzájom nezávislé. To znamená, že hodnota závislej premennej pre jedno pozorovanie nezávisí od hodnoty závislej premennej pre iné pozorovanie. Ak pozorovania nie sú nezávislé, potom lineárna regresia nebude presným modelom.
3. homoskedasticita : Naprieč všetkými úrovňami nezávislej premennej (premenných) je rozptyl chýb konštantný. To naznačuje, že množstvo nezávislej premennej (premenných) nemá žiadny vplyv na rozptyl chýb. Ak rozptyl rezíduí nie je konštantný, potom lineárna regresia nebude presným modelom.
   

   Homoscedasticita v lineárnej regresii

   hodnota reťazca

4. Normálnosť : Zvyšky by mali byť normálne rozdelené. To znamená, že zvyšky by mali sledovať krivku v tvare zvona. Ak rezíduá nie sú normálne rozdelené, potom lineárna regresia nebude presným modelom.

Predpoklady viacnásobnej lineárnej regresie

Pre viacnásobnú lineárnu regresiu platia všetky štyri predpoklady z jednoduchej lineárnej regresie. Okrem toho je nižšie uvedených niekoľko ďalších:

1. Žiadna multikolinearita : Medzi nezávislými premennými neexistuje vysoká korelácia. To naznačuje, že medzi nezávislými premennými existuje malá alebo žiadna korelácia. Multikolinearita nastáva, keď dve alebo viac nezávislých premenných navzájom vysoko koreluje, čo môže sťažiť určenie individuálneho účinku každej premennej na závislú premennú. Ak existuje multikolinearita, potom viacnásobná lineárna regresia nebude presným modelom.
2. Aditívnosť: Model predpokladá, že vplyv zmien v prediktorovej premennej na premennú odozvy je konzistentný bez ohľadu na hodnoty ostatných premenných. Tento predpoklad znamená, že medzi premennými neexistuje interakcia v ich účinkoch na závislú premennú.
3. Výber funkcií: Pri viacnásobnej lineárnej regresii je nevyhnutné starostlivo vybrať nezávislé premenné, ktoré budú zahrnuté do modelu. Zahrnutie irelevantných alebo nadbytočných premenných môže viesť k nadmernému prispôsobeniu a skomplikovať interpretáciu modelu.
4. Nadmerné vybavenie: Prepracovanie nastane, keď sa model prispôsobí tréningovým dátam príliš tesne, pričom zachytí šum alebo náhodné výkyvy, ktoré nereprezentujú skutočný základný vzťah medzi premennými. To môže viesť k slabému výkonu zovšeobecnenia na nových, neviditeľných údajoch.

Multikolinearita

Multikolinearita je štatistický jav, ktorý sa vyskytuje, keď dve alebo viac nezávislých premenných vo viacnásobnom regresnom modeli vysoko koreluje, čo sťažuje posúdenie individuálnych účinkov každej premennej na závislú premennú.

Detekcia multikolinearity zahŕňa dve techniky:

• Korelačná matica: Skúmanie korelačnej matice medzi nezávislými premennými je bežný spôsob detekcie multikolinearity. Vysoké korelácie (blízko 1 alebo -1) naznačujú potenciálnu multikolinearitu.
• VIF (inflačný faktor odchýlky): VIF je miera, ktorá kvantifikuje, o koľko sa zvýši rozptyl odhadovaného regresného koeficientu, ak sú vaše prediktory korelované. Vysoký VIF (zvyčajne nad 10) naznačuje multikolinearitu.

Metriky hodnotenia pre lineárnu regresiu

Rôzne hodnotiace opatrenia možno použiť na určenie sily akéhokoľvek lineárneho regresného modelu. Tieto hodnotiace metriky často naznačujú, ako dobre model vytvára pozorované výstupy.

Najbežnejšie merania sú:

Stredná štvorcová chyba (MSE)

Stredná štvorcová chyba (MSE) je hodnotiaca metrika, ktorá vypočítava priemer druhej mocniny rozdielov medzi skutočnými a predpokladanými hodnotami pre všetky dátové body. Rozdiel je umocnený, aby sa zabezpečilo, že negatívne a pozitívne rozdiely sa navzájom nezrušia.

MSE = frac{1}{n}sum_{i=1}^{n}left ( y_i – widehat{y_{i}} ight )^2

Tu,

• n je počet dátových bodov.
• a_ije skutočná alebo pozorovaná hodnota pre i^thdátový bod.
• widehat{y_{i}} je predpokladaná hodnota pre i^thdátový bod.

MSE je spôsob, ako kvantifikovať presnosť predpovedí modelu. MSE je citlivý na odľahlé hodnoty, pretože veľké chyby významne prispievajú k celkovému skóre.

Stredná absolútna chyba (MAE)

Stredná absolútna chyba je hodnotiaca metrika používaná na výpočet presnosti regresného modelu. MAE meria priemerný absolútny rozdiel medzi predpokladanými hodnotami a skutočnými hodnotami.

Matematicky je MAE vyjadrené ako:

MAE =frac{1}{n} sum_{i=1}^{n}|Y_i – widehat{Y_i}|

Tu,

• n je počet pozorovaní
• A_ipredstavuje skutočné hodnoty.
• widehat{Y_i} predstavuje predpokladané hodnoty

Nižšia hodnota MAE indikuje lepší výkon modelu. Nie je citlivý na odľahlé hodnoty, keďže považujeme za absolútne rozdiely.

Root Mean Squared Error (RMSE)

Druhá odmocnina rozptylu zvyškov je Root Mean Squared Error . Popisuje, ako dobre sa pozorované údajové body zhodujú s očakávanými hodnotami alebo absolútna zhoda modelu s údajmi.

V matematickom zápise to možno vyjadriť takto:
RMSE=sqrt{frac{RSS}{n}}=sqrtfrac{{{sum_{i=2}^{n}(y^{actual}_{i}}- y_{i}^{predicted})^2}}{n}
Namiesto delenia celého počtu údajových bodov v modeli počtom stupňov voľnosti je potrebné rozdeliť súčet druhých mocnín rezíduí, aby sa získal nezaujatý odhad. Potom sa tento údaj označuje ako zvyšková štandardná chyba (RSE).

V matematickom zápise to možno vyjadriť takto:
RMSE=sqrt{frac{RSS}{n}}=sqrtfrac{{{sum_{i=2}^{n}(y^{actual}_{i}}- y_{i}^{predicted})^2}}{(n-2)}

RSME nie je taká dobrá metrika ako R-squared. Root Mean Squared Error môže kolísať, keď sa jednotky premenných menia, pretože jej hodnota závisí od jednotiek premenných (nie je to normalizovaná miera).

Koeficient determinácie (R-štvorec)

R-štvorcový je štatistika, ktorá udáva, koľko variácií dokáže vyvinutý model vysvetliť alebo zachytiť. Vždy je v rozsahu 0 až 1. Vo všeobecnosti platí, že čím lepšie sa model zhoduje s údajmi, tým väčšie je druhé druhé číslo.
V matematickom zápise to možno vyjadriť takto:
R^{2}=1-(^{frac{RSS}{TSS}})

hrubá bodka

• Zvyškový súčet štvorcov (RSS): The súčet štvorcov rezídua pre každý údajový bod v grafe alebo údajoch je známy ako zvyškový súčet štvorcov alebo RSS. Je to meranie rozdielu medzi výstupom, ktorý bol pozorovaný, a tým, čo sa očakávalo.
  RSS=sum_{i=2}^{n}(y_{i}-b_{0}-b_{1}x_{i})^{2}
• Celkový súčet štvorcov (TSS): Súčet chýb dátových bodov z priemeru premennej odpovede je známy ako celkový súčet štvorcov alebo TSS.
  TSS= sum_{}^{}(y-overline{y_{i}})^2

R-kvadratická metrika je mierou podielu rozptylu v závislej premennej, ktorá je vysvetlená ako nezávislé premenné v modeli.

Upravená R-Squared Error

Upravené R²meria podiel rozptylu v závislej premennej, ktorý je vysvetlený nezávislými premennými v regresnom modeli. Upravený R-štvorec zohľadňuje počet prediktorov v modeli a penalizuje model za zahrnutie irelevantných prediktorov, ktoré významne neprispievajú k vysvetleniu rozptylu v závislých premenných.

Matematicky upravené R²sa vyjadruje ako:

Adjusted , R^2 = 1 – (frac{(1-R^2).(n-1)}{n-k-1})

Tu,

• n je počet pozorovaní
• k je počet prediktorov v modeli
• R²je koeficient determinácie

Upravený R-štvorec pomáha predchádzať nadmernému namontovaniu. Penalizuje model ďalšími prediktormi, ktoré významne neprispievajú k vysvetleniu rozptylu v závislej premennej.

Implementácia lineárnej regresie v Pythone

Importujte potrebné knižnice:

Načítajte množinu údajov a oddeľte vstupné a cieľové premenné

Tu je odkaz na súbor údajov: Odkaz na množinu údajov

Zostavte model lineárnej regresie a nakreslite regresnú čiaru

Kroky:

• Pri doprednom šírení sa lineárna regresná funkcia Y=mx+c aplikuje počiatočným priradením náhodnej hodnoty parametra (m & c).
• Napísali sme funkciu na nájdenie nákladovej funkcie, tj strednej hodnoty