tabula 4

x n

g n

tabula 5

y i

0,705

0,495

0,426

0,357

0,368

0,406

0,549

0,768

6. tabula

№0

x

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

y

3,030

3,142

3,358

3,463

3,772

3,251

3,170

3,665

№ 1

3,314

3,278

3,262

3,292

3,332

3,397

3,487

3,563

№ 2

1,045

1,162

1,264

1,172

1,070

0,898

0,656

0,344

№ 3

6,715

6,735

6,750

6,741

6,645

6,639

6,647

6,612

№ 4

2,325

2,515

2,638

2,700

2,696

2,626

2,491

2,291

№ 5

1.752

1,762

1,777

1,797

1,821

1,850

1,884

1,944

№ 6

1,924

1,710

1,525

1,370

1,264

1,190

1,148

1,127

№ 7

1,025

1,144

1,336

1,419

1,479

1,530

1,568

1,248

№ 8

5,785

5,685

5,605

5,545

5,505

5,480

5,495

5,510

№ 9

4,052

4,092

4,152

4,234

4,338

4,468

4,599

KURSA DARBS

pēc disciplīnas: Informātika

Tēma: Mazāko kvadrātu funkcijas aproksimācija

Ievads

1. Problēmas izklāsts

2. Aprēķinu formulas

Aprēķins, izmantojot tabulas, kas izveidotas, izmantojot Microsoft Excel

Algoritma diagramma

Aprēķins programmā MathCad

Rezultāti, kas iegūti, izmantojot lineāro funkciju

Rezultātu prezentēšana grafiku veidā

Ievads

Kursa darba mērķis ir padziļināt zināšanas datorzinātnēs, attīstīt un nostiprināt prasmes strādāt ar Microsoft Excel izklājlapu procesoru un MathCAD programmatūras produktu un to izmantošanu problēmu risināšanai, izmantojot datoru no ar pētniecību saistītās mācību priekšmetu jomas.

Aproksimācija (no latīņu valodas "approximare" - "tuvoties") - jebkura matemātisku objektu (piemēram, skaitļu vai funkciju) aptuvena izteiksme, izmantojot citus vienkāršākus, ērtāk lietojamus vai vienkārši labāk zināmus. Zinātniskajos pētījumos aproksimāciju izmanto, lai aprakstītu, analizētu, vispārinātu un turpmāk izmantotu empīriskos rezultātus.

Kā zināms, starp lielumiem var būt precīza (funkcionāla) sakarība, kad viena argumenta vērtība atbilst vienai konkrētai vērtībai, un mazāk precīza (korelācijas) sakarība, kad viena konkrēta argumenta vērtība atbilst aptuvenai vērtībai vai funkcijas vērtību kopa, kas ir vairāk vai mazāk tuvu viena otrai. Veicot zinātniskus pētījumus, apstrādājot novērojumu vai eksperimentu rezultātus, parasti nākas saskarties ar otro variantu.

Pētot dažādu rādītāju kvantitatīvās atkarības, kuru vērtības tiek noteiktas empīriski, parasti ir zināma mainība. Daļēji to nosaka pētīto nedzīvās un it īpaši dzīvās dabas objektu neviendabīgums, daļēji - novērošanas kļūda un materiālu kvantitatīvā apstrāde. Pēdējo komponentu ne vienmēr ir iespējams pilnībā izslēgt, to var samazināt tikai rūpīgi izvēloties adekvātu pētījumu metodi un darba precizitāti. Tāpēc, veicot jebkuru pētniecisko darbu, rodas problēma identificēt pētāmo rādītāju atkarības patieso būtību, šī vai tā pakāpe tiek maskēta ar neuzskaitīto mainīgumu: vērtības. Šim nolūkam tiek izmantota aproksimācija - aptuvens mainīgo korelācijas atkarības apraksts ar piemērotu funkcionālās atkarības vienādojumu, kas atspoguļo atkarības galveno tendenci (vai tās "tendenci").

Izvēloties tuvinājumu, jāvadās no konkrētas pētījuma problēmas. Parasti, jo vienkāršāku vienādojumu izmanto tuvināšanai, jo aptuvenāks būs atkarības apraksts. Tāpēc ir svarīgi izlasīt, cik nozīmīgas un kas izraisīja konkrētu vērtību novirzes no iegūtās tendences. Aprakstot empīriski noteiktu vērtību atkarību, ir iespējams panākt daudz lielāku precizitāti, izmantojot kādu sarežģītāku, daudzparametrisku vienādojumu. Tomēr nav jēgas censties ar maksimālu precizitāti nodot nejaušas vērtību novirzes noteiktās empīrisko datu sērijās. Daudz svarīgāk ir aptvert vispārējo modeli, kas šajā gadījumā visloģiskāk un ar pieņemamu precizitāti ir izteikts ar jaudas funkcijas divu parametru vienādojumu. Tādējādi, izvēloties aproksimācijas metodi, pētnieks vienmēr pieņem kompromisu: izlemj, cik lielā mērā šajā gadījumā ir ieteicams un lietderīgi “upurēt” detaļas un attiecīgi cik vispārīgi jāizsaka salīdzināmo mainīgo atkarība. Līdztekus modeļu identificēšanai, ko maskē empīrisko datu nejaušas novirzes no vispārējā modeļa, aproksimācija ļauj atrisināt arī daudzas citas svarīgas problēmas: formalizēt atrasto atkarību; atrast nezināmas atkarīgā mainīgā vērtības, izmantojot interpolāciju vai, ja piemērojams, ekstrapolāciju.

Katrā uzdevumā formulēti uzdevuma nosacījumi, sākuma dati, rezultātu izsniegšanas forma, norādītas galvenās matemātiskās atkarības uzdevuma risināšanai. Atbilstoši problēmas risināšanas metodei tiek izstrādāts risinājuma algoritms, kas tiek attēlots grafiskā veidā.

1. Problēmas izklāsts

1. Izmantojot mazāko kvadrātu metodi, tabulā norādītā funkcija ir aptuvena:

a) pirmās pakāpes polinoms ;

b) otrās pakāpes polinoms;

c) eksponenciālā atkarība.

Aprēķiniet katras atkarības determinisma koeficientu.

Aprēķināt korelācijas koeficientu (tikai a gadījumā).

Katrai atkarībai uzzīmējiet tendenču līniju.

Izmantojot funkciju LINEST, aprēķiniet atkarības skaitliskos raksturlielumus.

Salīdziniet savus aprēķinus ar rezultātiem, kas iegūti, izmantojot LINEST.

Izdariet secinājumu, kura no iegūtajām formulām vislabāk tuvina funkciju.

Uzrakstiet programmu vienā no programmēšanas valodām un salīdziniet skaitīšanas rezultātus ar iepriekš iegūtajiem.

3. variants. Funkcija ir dota tabulā. viens.

1. tabula.

2. Aprēķinu formulas

Bieži vien, analizējot empīriskos datus, rodas nepieciešamība atrast funkcionālas attiecības starp x un y vērtībām, kas iegūtas pieredzes vai mērījumu rezultātā.

Xi (neatkarīgo vērtību) dod eksperimentētājs, un yi, ko sauc par empīriskām vai eksperimentālām vērtībām, iegūst pieredzes rezultātā.

Funkcionālās atkarības, kas pastāv starp x un y vērtībām, analītiskā forma parasti nav zināma, tāpēc rodas praktiski svarīgs uzdevums - atrast empīrisku formulu.

, (1)

(kur ir parametri), kuru vērtības, ja iespējams, maz atšķirtos no eksperimentālajām vērtībām.

Saskaņā ar mazāko kvadrātu metodi labākie ir tie koeficienti, kuriem atrastās empīriskās funkcijas noviržu kvadrātu summa no dotajām funkcijas vērtībām ir minimāla.

Izmantojot vairāku mainīgo funkcijas ekstrēma nepieciešamo nosacījumu - parciālo atvasinājumu vienādību ar nulli, atrodiet koeficientu kopu, kas nodrošina ar (2) formulu definētās funkcijas minimumu un iegūstiet normālu sistēmu koeficientu noteikšanai. :

(3)

Tādējādi koeficientu atrašana tiek reducēta uz risināšanas sistēmu (3).

Sistēmas veids (3) ir atkarīgs no tā, kuras empīrisko formulu klases mēs meklējam atkarību (1). Lineāras atkarības gadījumā sistēma (3) iegūst šādu formu:

(4)

Kvadrātiskās atkarības gadījumā sistēma (3) iegūst šādu formu:

(5)

Dažos gadījumos kā empīriska formula tiek ņemta funkcija, kurā nedefinētie koeficienti nonāk nelineāri. Šajā gadījumā dažreiz problēma var būt linearizēta, t.i. samazināt līdz lineāram. Šīs atkarības ietver eksponenciālo atkarību

kur a1 un a2 ir nedefinēti koeficienti.

Linearizāciju panāk, ņemot vienādības (6) logaritmu, pēc kura iegūstam sakarību

(7)

Apzīmēsim un attiecīgi ar un, tad atkarību (6) var ierakstīt formā, kas ļauj pielietot formulas (4) ar a1 aizstāšanu ar un ar.

Atjaunotās funkcionālās atkarības y (x) grafiku pēc mērījumu rezultātiem (xi, yi), i = 1,2,…, n sauc par regresijas līkni. Lai pārbaudītu konstruētās regresijas līknes atbilstību eksperimenta rezultātiem, parasti tiek ieviesti šādi skaitliskie raksturlielumi: korelācijas koeficients (lineārā atkarība), korelācijas koeficients un determinisma koeficients.

Korelācijas koeficients ir lineārās attiecības mērs starp atkarīgiem gadījuma mainīgajiem: tas parāda, cik labi vidēji viens no mainīgajiem var tikt attēlots kā otra lineāra funkcija.

Korelācijas koeficientu aprēķina pēc formulas:

(8)

(9)

kur ir attiecīgi x, y vidējais aritmētiskais.

Korelācijas koeficients starp nejaušiem mainīgajiem absolūtā vērtībā nepārsniedz 1. Jo tuvāk 1, jo ciešāka ir lineārā sakarība starp x un y.

Nelineāras korelācijas gadījumā nosacītās vidējās vērtības atrodas netālu no izliektās līnijas. Šajā gadījumā kā saites stiprības raksturlielumu ieteicams izmantot korelācijas koeficientu, kura interpretācija nav atkarīga no pētāmās atkarības veida.

Korelācijas koeficientu aprēķina pēc formulas:

(10)

kur un skaitītājs raksturo nosacīto vidējo izkliedi ap beznosacījuma vidējo.

Ir vienmēr. Vienādība = atbilst nejaušām nekorelētām vērtībām; = tad un tikai tad, ja starp x un y pastāv precīza funkcionāla sakarība. Gadījumā, ja y ir lineāra atkarība no x, korelācijas koeficients sakrīt ar korelācijas koeficienta kvadrātu. Vērtība tiek izmantota kā rādītājs, kas parāda regresijas novirzi no linearitātes.

Korelācijas koeficients ir korelācijas mērs starp y c x jebkurā formā, taču tas nevar sniegt priekšstatu par empīrisko datu tuvuma pakāpi īpašai formai. Lai noskaidrotu, cik precīzi uzzīmētā 5. līkne atspoguļo empīriskos datus, tiek ieviests vēl viens raksturlielums - determinisma koeficients.

Determinisma koeficientu nosaka pēc formulas:

kur Sres = ir atlikušā kvadrātu summa, kas raksturo eksperimentālo datu novirzi no teorētiskajiem, pilna ir kvadrātu kopējā summa, kur vidējā vērtība ir yi.

- regresijas kvadrātu summa, kas raksturo datu izkliedi.

Jo mazāka ir atlikušā kvadrātu summa salīdzinājumā ar kopējo kvadrātu summu, jo lielāks ir determinisma koeficients r2, kas parāda, cik labi ar regresijas analīzi iegūtais vienādojums izskaidro attiecības starp mainīgajiem. Ja tas ir vienāds ar 1, tad pastāv pilnīga korelācija ar modeli, t.i. nav atšķirības starp faktiskajām un aprēķinātajām y vērtībām. Pretējā gadījumā, ja determinisma koeficients ir 0, tad regresijas vienādojums nespēj paredzēt y vērtības.

Determinisma koeficients ne vienmēr pārsniedz korelācijas koeficientu. Gadījumā, ja vienlīdzība ir izpildīta, tad varam pieņemt, ka konstruētā empīriskā formula visprecīzāk atspoguļo empīriskos datus.

3. Aprēķins, izmantojot tabulas, kas izveidotas, izmantojot Microsoft Excel

Lai veiktu aprēķinus, datus vēlams sakārtot 2. tabulas veidā, izmantojot Microsoft Excel izklājlapu procesora rīkus.

2. tabula

Paskaidrosim, kā tiek sastādīta 2. tabula.

1. darbība. Šūnās A1: A25 ievadiet vērtības xi.

2. solis Šūnās B1: B25 ievadām ui vērtības.

3. darbība Šūnā C1 ievadiet formulu = A1 ^ 2.

4. darbība. Šūnās C1: C25 šī formula tiek kopēta.

5. darbība Šūnā D1 ievadiet formulu = A1 * B1.

6. darbība Šī formula tiek kopēta šūnās D1: D25.

7. darbība Šūnā F1 ievadiet formulu = A1 ^ 4.

8. darbība Šī formula tiek kopēta šūnās F1: F25.

9. darbība Šūnā G1 ievadiet formulu = A1 ^ 2 * B1.

10. darbība Šī formula tiek kopēta šūnās G1: G25.

11. darbība Šūnā H1 ievadiet formulu = LN (B1).

12. darbība. Šūnās H1: H25 šī formula tiek kopēta.

13. darbība Šūnā I1 ievadiet formulu = A1 * LN (B1).

14. darbība. Šūnās I1: I25 šī formula tiek kopēta.

Nākamās darbības tiek veiktas, izmantojot autosum S.

15. darbība. Šūnā A26 ievadiet formulu = SUM (A1: A25).

16. darbība. Šūnā B26 ievadiet formulu = SUM (B1: B25).

17. darbība. Šūnā C26 ievadiet formulu = SUM (C1: C25).

18. darbība. Šūnā D26 ievadiet formulu = SUM (D1: D25).

19. darbība. Šūnā E26 ievadiet formulu = SUM (E1: E25).

20. darbība. Šūnā F26 ievadiet formulu = SUM (F1: F25).

21. darbība. Šūnā G26 ievadiet formulu = SUM (G1: G25).

22. darbība. Šūnā H26 ievadiet formulu = SUM (H1: H25).

23. darbība. Šūnā I26 ievadiet formulu = SUM (I1: I25).

Aptuvināsim funkciju ar lineāru funkciju. Noteikt koeficientus un izmantot sistēmu (4). Izmantojot 2. tabulas kopējās summas, kas atrodas šūnās A26, B26, C26 un D26, mēs ierakstām sistēmu (4) formā

(11)

to atrisinot, mēs iegūstam un .

Sistēma tika atrisināta ar Krāmera metodi. Kuras būtība ir šāda. Apsveriet n algebrisku lineāru vienādojumu sistēmu ar n nezināmajiem:

(12)

Sistēmas determinants ir sistēmas matricas determinants:

(13)

Mēs apzīmējam determinantu, ko iegūst no sistēmas determinanta Δ, aizstājot j-to kolonnu ar kolonnu

Tādējādi lineārajai tuvināšanai ir forma

Sistēma (11) tiek atrisināta, izmantojot Microsoft Excel rīkus. Rezultāti ir parādīti 3. tabulā.

3. tabula

3. tabula šūnās A32: B33 satur formulu (= MOBR (A28: B29)).

Šūnās E32: E33 tiek ierakstīta formula (= MULTIPLE (A32: B33), (C28: C29)).

Tālāk mēs aproksim funkciju ar kvadrātfunkciju ... Lai noteiktu koeficientus a1, a2 un a3, mēs izmantojam sistēmu (5). Izmantojot 2. tabulas kopējās summas, kas atrodas šūnās A26, B26, C26, D26, E26, F26, G26, mēs ierakstām sistēmu (5) formā

(16)

to atrisinot, iegūstam a1 = 10,663624, un

Tādējādi kvadrātiskajai tuvināšanai ir forma

Sistēma (16) tiek atrisināta, izmantojot Microsoft Excel rīkus. Rezultāti ir parādīti 4. tabulā.

4. tabula

4. tabulā šūnās A41: C43 ir rakstīta formula (= MOBR (A36: C38)).

Šūnas F41: F43 satur formulu (= VAIRĀKI (A41: C43), (D36: D38)).

Tagad mēs tuvinām funkciju ar eksponenciālu funkciju. Lai noteiktu koeficientus, mēs logaritējam vērtības un, izmantojot 2. tabulas kopējās summas, kas atrodas šūnās A26, C26, H26 un I26, iegūstam sistēmu

(18)

Atrisinot sistēmu (18), iegūstam un.

Pēc potencēšanas mēs iegūstam.

Tādējādi eksponenciālajai tuvināšanai ir forma

Sistēma (18) tiek atrisināta, izmantojot Microsoft Excel rīkus. Rezultāti ir parādīti 5. tabulā.

5. tabula

Šūnās A50: B51 tiek ierakstīta formula (= MOBR (A46: B47)).

Šūnās E49: E50 tiek ierakstīta formula (= MULTIPLE (A50: B51), (C46: C47)).

Šūnā E51 ir formula = EXP (E49).

Aprēķināsim vidējo aritmētisko, izmantojot formulas:

Aprēķinu rezultāti, izmantojot Microsoft Excel, ir parādīti 6. tabulā.

6. tabula

Šūnā B54 ir formula = A26/25.

Šūnā B55 ir formula = B26/25

7. tabula

Esmu programmatūras matemātiķis. Lielākais lēciens manā karjerā bija tad, kad iemācījos teikt: "ES neko nesaprotu!" Tagad es nekaunos stāstīt zinātnes spīdeklim, ka viņš man lasa lekciju, ka es nesaprotu, par ko tā man stāstīja. Un tas ir ļoti grūti. Jā, ir grūti un apkaunojoši atzīt savu nezināšanu. Kuram patīk atzīties, ka viņš kaut ko nezina-tur. Savas profesijas dēļ man ir jāapmeklē liels skaits prezentāciju un lekciju, kurās, atzīstos, vairumā gadījumu gribas gulēt, jo neko nesaprotu. Bet es nesaprotu, jo pašreizējās zinātnes situācijas milzīgā problēma slēpjas matemātikā. Tas pieņem, ka visi klausītāji pārzina absolūti visas matemātikas jomas (kas ir absurdi). Žēl atzīt, ka jūs nezināt, kas ir atvasinājums (ka tas ir nedaudz vēlāk).

Bet es iemācījos teikt, ka es nezinu, kas ir reizināšana. Jā, es nezinu, kas ir apakšgebra virs melu algebra. Jā, es nezinu, kāpēc kvadrātvienādojumi ir vajadzīgi dzīvē. Starp citu, ja esi pārliecināts, ka zini, tad mums ir par ko parunāt! Matemātika ir triku sērija. Matemātiķi cenšas sabiedrību mulsināt un iebiedēt; kur nav neskaidrību, nav reputācijas, nav autoritātes. Jā, ir prestiži runāt pēc iespējas abstraktākā valodā, kas pats par sevi ir pilnīgs absurds.

Vai jūs zināt, kas ir atvasinājums? Visticamāk, jūs man pastāstīsit par starpības koeficienta robežu. Sanktpēterburgas Valsts universitātes matemātikas un mehānikas pirmajā kursā Viktors Petrovičs Havins identificēts atvasinājums kā funkcijas Teilora sērijas pirmā vārda koeficients punktā (tā bija atsevišķa vingrošana, lai noteiktu Teilora sēriju bez atvasinājumiem). Es ilgi smējos par šo definīciju, līdz beidzot sapratu, par ko ir runa. Atvasinājums nav nekas vairāk kā tikai mērs tam, cik lielā mērā mūsu diferencētā funkcija atgādina funkciju y = x, y = x ^ 2, y = x ^ 3.

Tagad man ir tas gods lasīt lekcijas studentiem, kuri bailes matemātika. Ja jums ir bail no matemātikas, mēs esam uz viena ceļa. Tiklīdz jūs mēģināt izlasīt kādu tekstu un jums šķiet, ka tas ir pārāk sarežģīti, tad ziniet, ka tas ir slikti uzrakstīts. Es apgalvoju, ka nav nevienas matemātikas jomas, par kuru nevarētu runāt "uz pirkstiem", nezaudējot precizitāti.

Tuvākās nākotnes uzdevums: uzdevu saviem skolēniem saprast, kas ir lineāri kvadrātiskais regulators. Nevilcinieties, pavadiet trīs savas dzīves minūtes, sekojiet saitei. Ja jūs neko nesaprotat, tad mēs esam ceļā ar jums. Es (profesionāls matemātiķis-programmētājs) arī neko nesapratu. Un es jums apliecinu, ka jūs to varat izdomāt uz pirkstiem. Šobrīd es nezinu, kas tas ir, bet apliecinu, ka mēs to varēsim izdomāt.

Tātad, pirmā lekcija, ko es lasīšu saviem studentiem pēc tam, kad viņi šausmās pieskrien pie manis ar vārdiem, ka lineārais-kvadrātiskais regulators ir briesmīga byaka, kuru manā dzīvē nekad neapgūšu. mazāko kvadrātu metodes... Vai jūs varat atrisināt lineāros vienādojumus? Ja jūs lasāt šo tekstu, visticamāk, nē.

Tātad, ņemot vērā divus punktus (x0, y0), (x1, y1), piemēram, (1,1) un (3,2), uzdevums ir atrast taisnes vienādojumu, kas iet caur šiem diviem punktiem:

ilustrācija

Šai rindai ir jābūt šādam vienādojumam:

Šeit alfa un beta mums nav zināmi, taču mēs zinām divus šīs taisnes punktus:

Šo vienādojumu var uzrakstīt matricas formā:

Te būtu jāizdara liriska atkāpe: kas ir matrica? Matrica nav nekas vairāk kā divdimensiju masīvs. Tas ir datu glabāšanas veids; jums nevajadzētu tam piešķirt lielāku nozīmi. Tas ir atkarīgs no mums, kā precīzi interpretēt noteiktu matricu. Periodiski es to interpretēšu kā lineāru displeju, periodiski kā kvadrātveida formu un dažreiz tikai kā vektoru kopu. Tas viss tiks noskaidrots kontekstā.

Aizstāsim konkrētas matricas ar to simboliskajiem attēlojumiem:

Tad (alfa, beta) var viegli atrast:

Konkrētāk par mūsu iepriekšējiem datiem:

Kas noved pie šāda taisnes, kas iet caur punktiem (1,1) un (3,2), vienādojumu:

Labi, šeit viss ir skaidrs. Atradīsim cauri ejošās taisnes vienādojumu trīs punkti: (x0, y0), (x1, y1) un (x2, y2):

Ak, ak, bet mums ir trīs vienādojumi diviem nezināmajiem! Standarta matemātiķis teiks, ka risinājuma nav. Ko teiks programmētājs? Sākumā viņš pārrakstīs iepriekšējo vienādojumu sistēmu šādā formā:

Mūsu gadījumā vektori i, j, b ir trīsdimensiju, tāpēc (vispārējā gadījumā) šai sistēmai nav risinājuma. Jebkurš vektors (alfa \ * i + beta \ * j) atrodas plaknē, ko aptver vektori (i, j). Ja b nepieder pie šīs plaknes, tad risinājums neeksistē (vienādību vienādojumā nevar panākt). Ko darīt? Meklēsim kompromisu. Apzīmēsim ar e (alfa, beta) cik tālu mēs neesam sasnieguši vienlīdzību:

Un mēs centīsimies samazināt šo kļūdu:

Kāpēc kvadrāts?

Mēs meklējam ne tikai normas minimumu, bet gan normas kvadrāta minimumu. Kāpēc? Pats minimālais punkts sakrīt, un kvadrāts dod vienmērīgu funkciju (argumentu kvadrātiskā funkcija (alfa, beta)), bet vienkārši garums dod konusam līdzīgu funkciju, kas nav diferencējama minimālajā punktā. Brr. Laukums ir ērtāks.

Acīmredzot kļūda tiek samazināta līdz minimumam, kad vektors e ir ortogonāls plaknei, ko aptver vektori i un j.

Ilustrācija

Citiem vārdiem sakot: mēs meklējam līniju, kurā attālumu kvadrātā summa no visiem punktiem līdz šai taisnei ir minimāla:

ATJAUNINĀJUMS: šeit man ir pacēlums, attālums līdz taisnei jāmēra vertikāli, nevis ortogonālā projekcija. Šim komentētājam ir taisnība.

Ilustrācija

Pavisam savādāk (rūpīgi, slikti formalizēts, bet tam jābūt skaidram uz pirkstiem): mēs ņemam visas iespējamās taisnes starp visiem punktu pāriem un meklējam vidējo taisni starp visiem:

Ilustrācija

Vēl viens skaidrojums par pirkstiem: mēs pievienojam atsperi starp visiem datu punktiem (šeit mums ir trīs) un taisno līniju, kuru mēs meklējam, un līdzsvara stāvokļa taisne ir tieši tas, ko mēs meklējam.

Kvadrātiskās formas minimums

Citiem vārdiem sakot, mēs meklējam vektoru x = (alfa, beta), lai:

Atgādināšu, ka šis vektors x = (alfa, beta) ir kvadrātiskās funkcijas minimums || e (alfa, beta) || ^ 2:

Šeit būs noderīgi atcerēties, ka matricu var interpretēt kā kvadrātveida formu, piemēram, vienību matricu ((1,0), (0,1)) var interpretēt kā funkciju x ^ 2 + y ^ 2 :

kvadrātiskā forma

Visa šī vingrošana ir pazīstama kā lineārā regresija.

Laplasa vienādojums ar Dirihlē robežnosacījumu

Sākotnējā apņemšanās ir pieejama. Lai samazinātu ārējās atkarības, es paņēmu sava programmatūras renderētāja kodu, jau izmantojot Habré. Lai atrisinātu lineāro sistēmu, es izmantoju OpenNL, tas ir lielisks risinātājs, kuru tomēr ir ļoti grūti instalēt: jums ir jākopē divi faili (.h + .c) uz mapi ar savu projektu. Visas antialiasing tiek veiktas ar šādu kodu:

For (int d = 0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i& seja = sejas [i]; for (int j = 0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

X, Y un Z koordinātas ir atdalāmas, es tās izlīdzinu atsevišķi. Tas ir, es atrisinu trīs lineāro vienādojumu sistēmas, katra ar mainīgo skaitu, kas vienāds ar virsotņu skaitu manā modelī. Pirmajās n matricas A rindās ir tikai viena vienība katrā rindā, un vektora b pirmajām n rindām ir sākotnējās modeļa koordinātas. Tas ir, es atsperu sasaisti starp jauno virsotņu pozīciju un veco virsotnes pozīciju - jaunām nevajadzētu pārāk tālu novirzīties no vecajām.

Visām nākamajām matricas A rindām (faces.size () * 3 = visu režģa trīsstūru malu skaits) ir viens gadījums 1 un viens gadījums -1, un vektoram b ir nulle pretējo komponentu. Tas nozīmē, ka es pakarinu atsperi katrā mūsu trīsstūrveida sieta malā: visas malas mēģina iegūt vienu un to pašu virsotni kā sākuma un beigu punktu.

Vēlreiz: visas virsotnes ir mainīgas, un tās nevar pārvietoties tālu no sākotnējās pozīcijas, bet tajā pašā laikā tās cenšas kļūt līdzīgas viena otrai.

Lūk, rezultāts:

Viss būtu labi, modelis tiešām nogludināts, bet attālinājies no sākotnējās malas. Mazliet mainīsim kodu:

For (int i = 0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

Mūsu matricā A virsotnēm, kas atrodas uz malas, es pievienoju nevis rindu no v_i = verts [i] [d] bita, bet 1000 * v_i = 1000 * verts [i] [d]. Ko tas maina? Un tas maina mūsu kvadrāta likuma kļūdu. Tagad viena novirze no virsotnes malā maksās nevis vienu vienību, kā iepriekš, bet 1000 * 1000 vienības. Tas ir, mēs piekārtām stiprāku atsperi galējās virsotnēs, risinājums dod priekšroku vairāk stiept pārējās. Lūk, rezultāts:

Divkāršosim atsperes starp virsotnēm:
nlKoeficients (seja [j], 2); nlKoeficients (seja [(j + 1)% 3], -2);

Loģiski, ka virsma ir kļuvusi gludāka:

Un tagad tas ir pat simts reizes spēcīgāks:

Kas tas? Iedomājieties, ka iemērciet stieples gredzenu ziepjūdenī. Rezultātā izveidotā ziepju plēve centīsies iegūt mazāko izliekumu, cik vien iespējams, pieskaroties robežai - mūsu stieples gredzenam. Tas ir tieši tas, ko mēs ieguvām, piestiprinot apmali un prasot gludu virsmu iekšpusē. Apsveicam, mēs tikko atrisinājām Laplasa vienādojumu ar Dirihlē robežnosacījumiem. Izklausās forši? Bet patiesībā ir jāatrisina tikai viena lineāro vienādojumu sistēma.

Puasona vienādojums

Pieņemsim, ka man ir šāds attēls:

Visi ir labi, tikai man nepatīk krēsls.

Es pārgriezu bildi uz pusēm:

Un es izcelšu krēslu ar savām rokām:

Tad es vilkšu visu, kas maskā ir balts uz attēla kreiso pusi, un tajā pašā laikā visā bildē teikšu, ka divu blakus esošo pikseļu atšķirībai jābūt vienādai ar starpību starp diviem blakus esošajiem labās puses pikseļiem. bilde:

For (int i = 0; i

Lūk, rezultāts:

Reālās dzīves piemērs

Man ir vairāki audumu paraugu fotoattēli, piemēram:

Mans uzdevums ir izveidot viengabalainas faktūras no šādas kvalitātes fotogrāfijām. Pirmkārt, es (automātiski) meklēju atkārtotu modeli:

Ja es izgriezu šo taisnstūri tieši, tad kropļojumu dēļ malas nesaplūdīs, šeit ir četras reizes atkārtota raksta piemērs:

Slēpts teksts

Šeit ir fragments, kur šuve ir skaidri redzama:

Tāpēc es negriezīšu pa taisnu līniju, šeit ir griezuma līnija:

Slēpts teksts

Un šeit ir četras reizes atkārtots modelis:

Slēpts teksts

Un fragments no tā, lai būtu skaidrāks:

Vēl labāk, ka griezums negāja taisnā līnijā, apejot visdažādākās lokas, bet tomēr šuve ir redzama nevienmērīgā apgaismojuma dēļ oriģinālajā bildē. Šeit tiek izmantota Puasona vienādojuma mazāko kvadrātu metode. Šeit ir gala rezultāts pēc apgaismojuma izlīdzināšanas:

Tekstūra iznāca perfekti viengabalaina, un tas viss bija automātiski no ļoti viduvēja fotoattēla. Nebaidieties no matemātikas, meklējiet vienkāršus skaidrojumus, un jums būs inženiertehniskā laime.

Parastie mazākie kvadrāti (OLS)- matemātiska metode, ko izmanto dažādu uzdevumu risināšanai, kuras pamatā ir dažu funkciju noviržu kvadrātu summas samazināšana no vēlamajiem mainīgajiem. To var izmantot, lai "atrisinātu" pārāk noteiktas vienādojumu sistēmas (kad vienādojumu skaits pārsniedz nezināmo skaitu), lai atrastu risinājumu parastu (nepārnoteiktu) nelineāru vienādojumu sistēmu gadījumā, lai tuvinātu punktu vērtības. kādu funkciju. OLS ir viena no pamata regresijas analīzes metodēm nezināmu regresijas modeļu parametru novērtēšanai, pamatojoties uz izlases datiem.

Koleģiāls YouTube

1 / 5

✪ Mazāko kvadrātu metode. Temats

✪ Mazāko kvadrātu nodarbība 1/2. Lineāra funkcija

✪ Ekonometrija. 5. lekcija Mazāko kvadrātu metode

✪ Mitin IV - Fizikālo rezultātu apstrāde. Eksperiments — mazāko kvadrātu metode (4. lekcija)

✪ Ekonometrija: 2. mazāko kvadrātu izpratne

Subtitri

Stāsts

Līdz 19. gadsimta sākumam. zinātniekiem nebija noteiktu noteikumu, lai atrisinātu vienādojumu sistēmu, kurā nezināmo skaits ir mazāks par vienādojumu skaitu; Līdz tam tika izmantotas noteiktas metodes, kas bija atkarīgas no vienādojumu veida un kalkulatoru asprātības, un tāpēc dažādi kalkulatori, pamatojoties uz vieniem un tiem pašiem novērojumu datiem, nonāca pie atšķirīgiem secinājumiem. Gauss (1795) bija pirmās metodes pielietojuma autors, un Leģendrs (1805) to neatkarīgi atklāja un publicēja ar mūsdienu nosaukumu (fr. Méthode des moindres quarrés). Laplass saistīja metodi ar varbūtības teoriju, un amerikāņu matemātiķis Edreins (1808) apsvēra tās teorētiskos un varbūtības pielietojumus. Metode tika izplatīta un pilnveidota turpmākajos pētījumos, ko veica Encke, Bessel, Hansen un citi.

Mazāko kvadrātu metodes būtība

Ļaujiet x (\ displaystyle x)- komplekts n (\ displeja stils n) nezināmi mainīgie (parametri), f i (x) (\ displaystyle f_ (i) (x)), , m> n (\ displaystyle m> n)- funkciju kopa no šīs mainīgo kopas. Uzdevums ir izvēlēties šādas vērtības x (\ displaystyle x) lai šo funkciju vērtības būtu pēc iespējas tuvākas dažām vērtībām y i (\ displeja stils y_ (i))... Būtībā mēs runājam par pārmērīgi noteiktas vienādojumu sistēmas "risinājumu". f i (x) = y i (\ displeja stils f_ (i) (x) = y_ (i)), i = 1,…, m (\ displeja stils i = 1, \ lpunkti, m) norādītajā nozīmē sistēmas kreisās un labās daļas maksimālo tuvumu. LSM būtība ir izvēlēties kreisās un labās puses noviržu kvadrātu summu kā "tuvuma mēru" | f i (x) - y i | (\ displeja stils | f_ (i) (x) -y_ (i) |)... Tādējādi OLS būtību var izteikt šādi:

Ja vienādojumu sistēmai ir risinājums, tad kvadrātu summas minimums būs nulle un precīzus vienādojumu sistēmas atrisinājumus var atrast analītiski vai, piemēram, ar dažādām skaitliskās optimizācijas metodēm. Ja sistēma tiek definēta no jauna, tas ir, runājot brīvi, neatkarīgo vienādojumu skaits ir lielāks par meklēto mainīgo skaitu, tad sistēmai nav precīza risinājuma un mazāko kvadrātu metode ļauj atrast kādu "optimālo" vektoru. x (\ displaystyle x) vektoru maksimālā tuvuma nozīmē y (\ displeja stils y) un f (x) (\ displaystyle f (x)) vai noviržu vektora maksimālais tuvums e (\ displaystyle e) līdz nullei (tuvums tiek saprasts Eiklīda attāluma nozīmē).

Piemērs - lineāro vienādojumu sistēma

Jo īpaši mazāko kvadrātu metodi var izmantot, lai "atrisinātu" lineāro vienādojumu sistēmu

kur A (\ displeja stils A) taisnstūra izmēra matrica m × n, m> n (\ displeja stils m \ reizes n, m> n)(t.i., matricas A rindu skaits ir lielāks nekā meklēto mainīgo skaits).

Vispārīgā gadījumā šādai vienādojumu sistēmai nav atrisinājuma. Tāpēc šo sistēmu var "atrisināt" tikai tāda vektora izvēles nozīmē x (\ displaystyle x) lai samazinātu "attālumu" starp vektoriem A x (\ displaystyle Ax) un b (\ displeja stils b)... Lai to izdarītu, varat izmantot kritēriju, lai samazinātu atšķirību kvadrātu summu starp sistēmas vienādojumu kreiso un labo pusi, tas ir, (A x - b) T (A x - b) → min x (\ displeja stils (Ax-b) ^ (T) (Ax-b) \ labā bultiņa \ min _ (x))... Ir viegli parādīt, ka šīs minimizācijas problēmas risinājums noved pie šādas vienādojumu sistēmas risinājuma

OLS regresijas analīzē (datu atbilstība)

Lai ir n (\ displeja stils n) kāda mainīgā vērtības y (\ displeja stils y)(tie var būt novērojumu, eksperimentu u.c. rezultāti) un atbilstošie mainīgie x (\ displaystyle x)... Uzdevums ir nodrošināt, ka attiecības starp y (\ displeja stils y) un x (\ displaystyle x) aptuvens ar kādu zināmu funkciju līdz dažiem nezināmiem parametriem b (\ displeja stils b), tas ir, faktiski atrodiet labākās parametru vērtības b (\ displeja stils b), maksimāli tuvinot vērtības f (x, b) (\ displeja stils f (x, b)) uz faktiskajām vērtībām y (\ displeja stils y)... Faktiski tas tiek samazināts līdz pārmērīgi noteiktas vienādojumu sistēmas "risinājumam" attiecībā uz b (\ displeja stils b):

F (x t, b) = y t, t = 1,…, n (\ displeja stils f (x_ (t), b) = y_ (t), t = 1, \ lpunkti, n).

Regresijas analīzē un jo īpaši ekonometrijā izmanto varbūtības modeļus attiecībām starp mainīgajiem.

Y t = f (x t, b) + ε t (\ displeja stils y_ (t) = f (x_ (t), b) + \ varepsilon _ (t)),

kur ε t (\ displaystyle \ varepsilon _ (t))- tā saucamais nejaušas kļūdas modeļiem.

Attiecīgi novēroto vērtību novirzes y (\ displeja stils y) no modeļa f (x, b) (\ displeja stils f (x, b)) tiek pieņemts jau pašā modelī. OLS (parastā, klasiskā) būtība ir atrast šādus parametrus b (\ displeja stils b) kuriem noviržu kvadrātu summa (kļūdas, regresijas modeļiem tās bieži sauc par regresijas atlikumiem) e t (\ displaystyle e_ (t)) būs minimāls:

kur R S S (\ displaystyle RSS)- Angļu. Kvadrātu atlikušo summu definē šādi:

Vispārīgā gadījumā šo problēmu var atrisināt ar skaitliskās optimizācijas (minimizācijas) metodēm. Šajā gadījumā viņi runā par nelineārie mazākie kvadrāti(NLS vai NLLS — angļu valodas nelineārie mazākie kvadrāti). Daudzos gadījumos var iegūt analītisko risinājumu. Lai atrisinātu minimizēšanas problēmu, ir jāatrod funkcijas stacionārie punkti R S S (b) (\ displaystyle RSS (b)), atšķirot to pēc nezināmiem parametriem b (\ displeja stils b), pielīdzinot atvasinājumus ar nulli un atrisinot iegūto vienādojumu sistēmu:

OLS lineārajai regresijai

Lai regresijas atkarība būtu lineāra:

Ļaujiet y ir izskaidrojamā mainīgā novērojumu kolonnas vektors, un X (\ displaystyle X)- to (n × k) (\ displeja stils ((n \ reizes k)))-faktoru novērojumu matrica (matricas rindas ir faktoru vērtību vektori noteiktā novērojumā, pa kolonnām - noteikta faktora vērtību vektors visos novērojumos). Lineārā modeļa matricas attēlojums ir šāds:

Tad izskaidrotā mainīgā aplēšu vektors un regresijas atlikuma vektors būs vienādi

attiecīgi regresijas atlikuma kvadrātu summa būs

Šīs funkcijas diferencēšana attiecībā uz parametru vektoru b (\ displeja stils b) un pielīdzinot atvasinājumus ar nulli, mēs iegūstam vienādojumu sistēmu (matricas formā):

Atšifrētā matricas formā šī vienādojumu sistēma izskatās šādi:

(∑ xt 1 2 ∑ xt 1 xt 2 ∑ xt 1 xt 3… ∑ xt 1 xtk ∑ xt 2 xt 1 ∑ xt 2 2 ∑ xt 2 xt 3… ∑ xt 2 xt 3 x 1 xt 3 xtk ∑ xt 3 2… ∑ xt 3 xtk ⋮ ⋮ ⋮ ⋱ ⋮ ∑ xtkxt 1 ∑ xtkxt 2 ∑ xtkxt 3… ∑ xtk 2) (b 1 b 2 b t 3) (b 1 b 2 b t 3 x t ∑yt ∈ t 3 yt ⋮ ∑ xtkyt), (\ displaystyle (\ start (pmatrix) \ summa x_ (t1) ^ (2) & \ summa x_ (t1) x_ (t2) & \ summa x_ (t1) x_ (t3) & \ ldots & \ summa x_ (t1) x_ (tk) \\\ summa x_ (t2) x_ (t1) & \ summa x_ (t2) ^ (2) & \ summa x_ (t2) x_ (t3) & \ ldots & \ summa x_ (t2) x_ (tk) \\\ summa x_ (t3) x_ (t1) & \ summa x_ (t3) x_ (t2) & \ summa x_ (t3) ^ (2) & \ lpunkti & \ summa x_ (t3) x_ (tk) \\\ vdots & \ vdots & \ vdots & \ ddots & \ vdots \\\ summa x_ (tk) x_ (t1) & \ summa x_ (tk) x_ (t2) & \ sum x_ (tk) x_ (t3) & \ lpunkti & \ summa x_ (tk) ^ (2) \\\ beigas (pmatrica)) (\ sākums (pmatrica) b_ (1) \\ b_ (2) \\ b_ (3) ) \\\ vdots \\ b_ (k) \\\ beigas (pmatrica)) = (\ sākums (pmatrica) \ summa x_ (t1) y_ (t) \\\ summa x_ (t2) y_ (t) \\ \ summa x_ (t3) y_ (t) \\\ vpunkti \\\ summa x_ (tk) y_ (t) \\\ beigas (pmatrica)),) kur visas summas pārņem visas pieļaujamās vērtības t (\ displeja stils t).

Ja modelī ir iekļauta konstante (kā parasti), tad x t 1 = 1 (\ displeja stils x_ (t1) = 1) ar visu t (\ displeja stils t), tāpēc vienādojumu sistēmas matricas augšējā kreisajā stūrī ir novērojumu skaits n (\ displeja stils n), bet pārējos pirmās rindas un pirmās kolonnas elementos - tikai mainīgo vērtību summa: ∑ x t j (\ displeja stils \ summa x_ (tj)) un pirmais sistēmas labās puses elements ir ∑ y t (\ displeja stils \ summa y_ (t)).

Šīs vienādojumu sistēmas risinājums sniedz vispārīgo OLS aplēšu formulu lineārajam modelim:

Analītiskiem nolūkiem šīs formulas pēdējais attēlojums izrādās noderīgs (vienādojumu sistēmā, dalot ar n, summas vietā parādās vidējie aritmētiskie). Ja regresijas modelī dati centrēts, tad šajā attēlojumā pirmajai matricai ir faktoru izlases kovariācijas matricas nozīme, bet otrā ir faktoru kovariācijas vektors ar atkarīgo mainīgo. Ja turklāt dati ir arī normalizēts uz SKO (tas ir, galu galā standartizēts), tad pirmajai matricai ir faktoru selektīvās korelācijas matricas nozīme, otrajam vektoram ir faktoru selektīvo korelāciju vektors ar atkarīgo mainīgo.

Svarīga OLS aplēšu īpašība modeļiem ar nemainīgu- konstruētās regresijas līnija iet caur parauga datu smaguma centru, tas ir, vienādība ir izpildīta:

Jo īpaši galējā gadījumā, kad vienīgais regresors ir konstante, mēs atklājam, ka vienīgā parametra (pašas konstantes) OLS novērtējums ir vienāds ar izskaidrojamā mainīgā vidējo vērtību. Tas ir, vidējais aritmētiskais, kas pazīstams ar savām labajām īpašībām no lielu skaitļu likumiem, arī ir OLS aprēķins - tas atbilst minimālās noviržu kvadrātu summas kritērijam.

Vienkāršākie īpašie gadījumi

Pāru lineārās regresijas gadījumā y t = a + b x t + ε t (\ displeja stils y_ (t) = a + bx_ (t) + \ varepsilon _ (t)), kad tiek novērtēta viena mainīgā lineārā atkarība no cita, aprēķinu formulas tiek vienkāršotas (var iztikt bez matricas algebras). Vienādojumu sistēma ir šāda:

Tādējādi ir viegli atrast koeficientu aprēķinus:

Neskatoties uz to, ka vispārīgā gadījumā priekšroka dodama modelim ar konstanti, dažos gadījumos no teorētiskiem apsvērumiem ir zināms, ka konstante a (\ displeja stils a) jābūt nullei. Piemēram, fizikā sprieguma un strāvas attiecībai ir forma U = I ⋅ R (\ displaystyle U = I \ cdot R); mērot spriegumu un strāvas stiprumu, nepieciešams novērtēt pretestību. Šajā gadījumā mēs runājam par modeli y = b x (\ displeja stils y = bx)... Šajā gadījumā vienādojumu sistēmas vietā mums ir vienīgais vienādojums

(∑ x t 2) b = ∑ x t y t (\ displeja stils \ pa kreisi (\ summa x_ (t) ^ (2) \ pa labi) b = \ summa x_ (t) y_ (t)).

Līdz ar to viena koeficienta novērtēšanas formulai ir forma

B ^ = ∑ t = 1 nxtyt ∑ t = 1 nxt 2 = xy ¯ x 2 ¯ (\ displeja stils (\ cepure (b)) = (\ frac (\ summa _ (t = 1) ^ (n) x_ (t ) y_ (t)) (\ summa _ (t = 1) ^ (n) x_ (t) ^ (2))) = (\ frac (\ overline (xy)) (\ overline (x ^ (2)) ))).

Polinoma modeļa gadījums

Ja dati ir aprīkoti ar viena mainīga polinoma regresijas funkciju f (x) = b 0 + ∑ i = 1 k b i x i (\ displeja stils f (x) = b_ (0) + \ summa \ ierobežojumi _ (i = 1) ^ (k) b_ (i) x ^ (i)), tad, uztverot pakāpi x i (\ displeja stils x ^ (i)) kā neatkarīgi faktori ikvienam i (\ displaystyle i) ir iespējams novērtēt modeļa parametrus, pamatojoties uz vispārīgo formulu lineāra modeļa parametru novērtēšanai. Lai to izdarītu, pietiek ņemt vērā vispārējo formulu, ka ar šādu interpretāciju x t i x t j = x t i x t j = x t i + j (\ displeja stils x_ (ti) x_ (tj) = x_ (t) ^ (i) x_ (t) ^ (j) = x_ (t) ^ (i + j)) un x t j y t = x t j y t (\ displeja stils x_ (tj) y_ (t) = x_ (t) ^ (j) y_ (t))... Līdz ar to matricas vienādojumi šajā gadījumā būs šādi:

(n ∑ nxt… ∑ nxtk ∑ nxt ∑ nxt 2… ∑ nxtk + 1 ∑ nxtk + 1 ⋮ ⋮ ⋱ ⋮ ∑ nxtk ∑ nxtk + 1… bky t ⋑ 1… bky ⋑ nyt ]. (\ displaystyle (\ begin (pmatrix) n & \ summa \ limits _ (n) x_ (t) & \ ldots & \ sum \ limits _ (n) x_ (t) ^ (k) \\\ summa \ limits _ (n) x_ (t) & \ summa \ limits _ (n) x_ (t) ^ (2) & \ ldots & \ summa \ limits _ (n) x_ (t) ^ (k + 1) \\\ vdots & \ vdots & \ ddots & \ vdots \\\ summa \ limits _ (n) x_ (t) ^ (k) & \ summa \ limits _ (n) x_ (t) ^ (k + 1) & \ ldots & \ summa \ limits _ (n) x_ (t) ^ (2k) \ end (pmatrix)) (\ begin (bmatrix) b_ (0) \\ b_ (1) \\\ vdots \\ b_ (k) \ end ( bmatrix)) = (\ begin (bmatrix) \ summa \ limits _ (n) y_ (t) \\\ summa \ limits _ (n) x_ (t) y_ (t) \\\ vdots \\\ summa \ robežas _ (n) x_ (t) ^ (k) y_ (t) \ beigas (bmatrica)).)

OLS aprēķinu statistiskās īpašības

Pirmkārt, mēs atzīmējam, ka lineārajiem modeļiem OLS aprēķini ir lineāri aprēķini, kā izriet no iepriekš minētās formulas. Lai OLS aplēses būtu neobjektīvas, ir nepieciešams un pietiek, lai izpildītu regresijas analīzes svarīgāko nosacījumu: nejaušas kļūdas matemātiskajai cerībai, kas ir nosacīta faktoru izteiksmē, jābūt vienādai ar nulli. Šis nosacījums jo īpaši ir izpildīts, ja

1. nejaušu kļūdu matemātiskā cerība ir nulle, un
2. faktori un nejaušās kļūdas ir neatkarīgi nejauši mainīgie.

Otrs nosacījums - eksogēno faktoru stāvoklis - ir fundamentāls. Ja šī īpašība netiek ievērota, varam pieņemt, ka gandrīz jebkuras aplēses būs ārkārtīgi neapmierinošas: tās pat nebūs konsekventas (tas ir, pat ļoti liels datu apjoms šajā gadījumā neļauj iegūt kvalitatīvus aprēķinus). Klasiskā gadījumā tiek izteikts spēcīgāks pieņēmums par faktoru determinismu, nevis nejaušu kļūdu, kas automātiski nozīmē eksogēnā nosacījuma izpildi. Vispārīgā gadījumā aplēšu konsekvencei pietiek ar eksogenitātes nosacījumu izpildi kopā ar matricas konverģenci V x (\ displeja stils V_ (x)) uz kādu nedeģenerētu matricu, palielinot izlases lielumu līdz bezgalībai.

Lai papildus konsekvencei un objektīvumam (parasto) mazāko kvadrātu aprēķini būtu efektīvi (labākie lineāro objektīvo aplēšu klasē), ir jāizpilda nejaušas kļūdas papildu īpašības:

Šos pieņēmumus var formulēt nejaušo kļūdu vektora kovariācijas matricai V (ε) = σ 2 I (\ displaystyle V (\ varepsilon) = \ sigma ^ (2) I).

Tiek saukts lineārs modelis, kas atbilst šiem nosacījumiem klasiskais... OLS aprēķini klasiskajai lineārajai regresijai ir objektīvi, konsekventi un visefektīvākie aprēķini visu lineāro objektīvo aplēšu klasē (angļu literatūrā saīsinājums ZILS (Labākais lineārais objektīvs novērtētājs) ir labākais lineārais objektīvais novērtējums; pašmāju literatūrā biežāk tiek citēta Gausa-Markova teorēma). Kā ir viegli parādīt, koeficientu aprēķinu vektora kovariācijas matrica būs vienāda ar:

V (b ^ OLS) = σ 2 (XTX) - 1 (\ displeja stils V ((\ cepure (b)) _ (OLS)) = \ sigma ^ (2) (X ^ (T) X) ^ (- 1 )).

Efektivitāte nozīmē, ka šī kovariācijas matrica ir "minimāla" (jebkurai koeficientu lineārai kombinācijai un jo īpaši pašiem koeficientiem ir minimālā dispersija), tas ir, lineāro objektīvo novērtējumu klasē vislabākie ir OLS aprēķini. Šīs matricas diagonālie elementi - koeficientu aplēšu dispersijas - ir svarīgi iegūto novērtējumu kvalitātes parametri. Tomēr nav iespējams aprēķināt kovariācijas matricu, jo nejaušo kļūdu dispersija nav zināma. Var pierādīt, ka objektīvs un konsekvents (klasiskajam lineārajam modelim) nejaušo kļūdu dispersijas novērtējums ir vērtība:

S 2 = R S S / (n - k) (\ displaystyle s ^ (2) = RSS / (n-k)).

Aizvietojot šo vērtību formulā kovariācijas matricai, mēs iegūstam kovariācijas matricas novērtējumu. Iegūtās aplēses ir arī objektīvas un konsekventas. Svarīgi ir arī tas, ka kļūdu dispersijas (un līdz ar to arī koeficientu dispersijas) novērtējums un modeļa parametru aplēses ir neatkarīgi gadījuma lielumi, kas ļauj iegūt testa statistiku hipotēžu pārbaudei par modeļa koeficientiem.

Jāņem vērā, ka, ja klasiskie pieņēmumi netiek izpildīti, OLS parametru aplēses nav visefektīvākās un kur W (\ displeja stils W)- kāda simetriska pozitīva noteikta svara matrica. Parastā OLS ir šīs pieejas īpašs gadījums, kad svara matrica ir proporcionāla identitātes matricai. Kā zināms, simetriskām matricām (vai operatoriem) notiek dekompozīcija W = P T P (\ displeja stils W = P ^ (T) P)... Tāpēc šo funkciju var attēlot šādi e TPTP e = (P e) TP e = e ∗ T e ∗ (\ displeja stils e ^ (T) P ^ (T) Pe = (Pe) ^ (T) Pe = e _ (*) ^ (T ) e_ ( *)), tas ir, šo funkcionālo var attēlot kā dažu pārveidotu "atlikumu" kvadrātu summu. Tādējādi mēs varam izdalīt mazāko kvadrātu metožu klasi - LS-metodes (Least Squares).

Ir pierādīts (Aitkena teorēma), ka vispārinātam lineārās regresijas modelim (kurā nejaušo kļūdu kovariācijas matricai nav noteikti ierobežojumi) visefektīvākie (lineāro objektīvo novērtējumu klasē) ir aplēses t.s. vispārināts OLS (OLS, GLS — vispārinātie mazākie kvadrāti)- LS metode ar svara matricu, kas vienāda ar nejaušu kļūdu apgriezto kovariācijas matricu: W = V ε - 1 (\ displaystyle W = V _ (\ varepsilon) ^ (- 1)).

Var parādīt, ka formulai OLS aplēsēm lineāra modeļa parametriem ir forma

B ^ GLS = (XTV - 1 X) - 1 XTV - 1 y (\ displeja stils (\ cepure (b)) _ (GLS) = (X ^ (T) V ^ (- 1) X) ^ (- 1) X ^ (T) V ^ (- 1) y).

Šo aplēšu kovariācijas matrica attiecīgi būs vienāda ar

V (b ^ GLS) = (XTV — 1 X) – 1 (\ displeja stils V ((\ cepure (b)) _ (GLS)) = (X ^ (T) V ^ (- 1) X) ^ (- viens)).

Faktiski OLS būtība ir oriģinālo datu noteikta (lineāra) transformācija (P) un ierastā OLS pielietošana pārveidotajiem datiem. Šīs transformācijas mērķis ir panākt, lai pārveidotajiem datiem nejaušās kļūdas jau atbilstu klasiskajiem pieņēmumiem.

Svērtais OLS

Diagonālās svara matricas (un līdz ar to nejaušu kļūdu kovariācijas matricas) gadījumā mums ir tā sauktie mazākie svērtie kvadrāti (WLS). Šajā gadījumā modeļa atlikuma kvadrātu svērtā summa tiek samazināta līdz minimumam, tas ir, katrs novērojums saņem "svaru", kas ir apgriezti proporcionāls nejaušās kļūdas dispersijai šajā novērojumā: e TW e = ∑ t = 1 neto 2 σ t 2 (\ displaystyle e ^ (T) Mēs = \ summa _ (t = 1) ^ (n) (\ frac (e_ (t) ^ (2)) (\ sigma _ (t) ^ (2))))... Faktiski dati tiek pārveidoti, sverot novērojumus (dalot ar vērtību, kas ir proporcionāla nejaušo kļūdu aprēķinātajai standarta novirzei), un svērtajiem datiem tiek piemērota regulāra OLS.

ISBN 978-5-7749-0473-0.

To plaši izmanto ekonometrikā tā parametru skaidras ekonomiskās interpretācijas veidā.

Lineārā regresija tiek reducēta līdz formas vienādojuma atrašanai

vai

Formas vienādojums pieļauj dotās parametru vērtības X ir efektīvā rādītāja teorētiskās vērtības, aizstājot tajā faktora faktiskās vērtības X.

Lineārās regresijas konstrukcija ir samazināta līdz tās parametru novērtēšanai - a un v. Lineārās regresijas parametru novērtējumus var atrast ar dažādām metodēm.

Klasiskā pieeja lineārās regresijas parametru novērtēšanai ir balstīta uz mazāko kvadrātu metode(OLS).

OLS ļauj iegūt šādus parametru aprēķinus a un v, pie kuras iegūtā atribūta faktisko vērtību noviržu kvadrātu summa (y) no aprēķinātā (teorētiskā) minimālais:

Lai atrastu funkcijas minimumu, ir jāaprēķina parciālie atvasinājumi attiecībā pret katru no parametriem a un b un iestatiet tos uz nulli.

Mēs apzīmējam caur S, tad:

Pārveidojot formulu, iegūstam šādu normālo vienādojumu sistēmu parametru novērtēšanai a un v:

Atrisinot normālo vienādojumu sistēmu (3.5) vai nu ar mainīgo secīgās eliminācijas metodi, vai ar determinantu metodi, atrodam nepieciešamos parametru aplēses a un v.

Parametrs v sauc par regresijas koeficientu. Tās vērtība parāda vidējās rezultāta izmaiņas, mainoties koeficientam par vienu vienību.

Regresijas vienādojums vienmēr tiek papildināts ar attiecību stingrības rādītāju. Lietojot lineāro regresiju, lineārās korelācijas koeficients darbojas kā šāds rādītājs. Lineārās korelācijas koeficienta formulai ir dažādas modifikācijas. Daži no tiem ir uzskaitīti zemāk:

Kā zināms, lineārās korelācijas koeficients ir diapazonā: -1 ≤ ≤ 1.

Lai novērtētu lineārās funkcijas izvēles kvalitāti, tiek aprēķināts kvadrāts

Lineārās korelācijas koeficients sauc determinācijas koeficients. Determinācijas koeficients raksturo efektīvā rādītāja dispersijas proporciju y, izskaidrots ar regresiju efektīvās pazīmes kopējā dispersijā:

Attiecīgi vērtība 1 - raksturo dispersijas proporciju y, ko izraisa citu modelī neņemtu faktoru ietekme.

Jautājumi paškontrolei

1. Kāda ir mazāko kvadrātu metodes būtība?

2. Cik mainīgo ir nodrošināta pāru regresija?

3. Kāds ir koeficients, kas nosaka izmaiņu attiecības stingrību?

4. Kādās robežās tiek noteikts determinācijas koeficients?

5. Parametra b novērtējums korelācijas-regresijas analīzē?

1. Kristofers Dogertijs. Ievads ekonometrikā. - M .: INFRA - M, 2001 - 402 lpp.

2.S.A. Borodičs. Ekonometrija. Minska SIA "Jaunās zināšanas" 2001.

3. R.U. Rakhmetova Īss ekonometrijas kurss. Apmācība. Almati. 2004. -78s.

4. I.I. Elisejeva, Ekonometrija. - M .: "Finanses un statistika", 2002

5. Ikmēneša informatīvais un analītiskais žurnāls.

Nelineārie ekonomikas modeļi. Nelineārās regresijas modeļi. Mainīgo lielumu konvertēšana.

Nelineārie ekonomikas modeļi.

Mainīgo lielumu konvertēšana.

Elastības koeficients.

Ja starp ekonomiskajām parādībām pastāv nelineāras attiecības, tad tās izsaka, izmantojot atbilstošās nelineārās funkcijas: piemēram, vienādmalu hiperbolu. , otrās pakāpes parabolas un utt.

Ir divas nelineārās regresijas klases:

1. Regresijas, kas ir nelineāras attiecībā uz analīzē iekļautajiem skaidrojošajiem mainīgajiem, bet lineāras attiecībā uz aprēķinātajiem parametriem, piemēram:

Dažādu pakāpju polinomi - , ;

Vienādmalu hiperbola -;

Daļēji logaritmiskā funkcija -.

2. Regresijas, kas novērtētajos parametros ir nelineāras, piemēram:

Jauda -;

Orientējoši -;

Eksponenciāls -.

Efektīvā rādītāja individuālo vērtību noviržu kopējā kvadrātu summa plkst no vidējā ir daudzu iemeslu dēļ. Nosacīti sadalīsim visu iemeslu kopumu divās grupās: pētīts faktors x un citi faktori.

Ja faktors rezultātu neietekmē, tad regresijas taisne grafikā ir paralēla asij Ak un

Tad visa efektīvās pazīmes dispersija ir saistīta ar citu faktoru ietekmi, un kopējā noviržu kvadrātu summa sakritīs ar atlikumu. Ja citi faktori rezultātu neietekmē, tad tu esi piesiets Ar X funkcionāli un atlikušā kvadrātu summa ir nulle. Šajā gadījumā ar regresiju izskaidroto noviržu kvadrātu summa ir tāda pati kā kvadrātu kopējā summa.

Tā kā ne visi korelācijas lauka punkti atrodas uz regresijas taisnes, tad to izkliede vienmēr notiek kā faktora ietekmes dēļ. X, t.i., regresija plkst ieslēgts X, un citi cēloņi (neizskaidrojamas izmaiņas). Regresijas taisnes piemērotība prognozēšanai ir atkarīga no tā, cik liela ir raksturlieluma kopējās variācijas plkst attiecas uz izskaidroto variantu

Acīmredzot, ja regresijas izraisīto noviržu kvadrātu summa ir lielāka par atlikušo kvadrātu summu, tad regresijas vienādojums ir statistiski nozīmīgs un faktors X būtiski ietekmē rezultātu plkst.

, tas ir, ar pazīmes neatkarīgas variācijas brīvības skaitu. Brīvības pakāpju skaits ir saistīts ar populācijas vienību skaitu n un ar no tā noteikto konstantu skaitu. Saistībā ar pētāmo problēmu brīvības pakāpju skaitam jāparāda, cik neatkarīgas novirzes no P

Regresijas vienādojuma nozīmīguma novērtējums kopumā dots ar palīdzību F-Fišera kritērijs. Tajā pašā laikā tiek izvirzīta nulles hipotēze, ka regresijas koeficients ir nulle, t.i. b = 0, un līdz ar to koeficients X neietekmē rezultātu plkst.

Pirms F kritērija tiešā aprēķina tiek veikta dispersijas analīze. Centrālo vietu tajā ieņem mainīgā lieluma noviržu kvadrātu kopējās summas sadalīšana plkst no vidējā plkst divās daļās - "izskaidrotais" un "neizskaidrotais":

- kopējā noviržu kvadrātu summa;

- ar regresiju izskaidrotās novirzes kvadrātu summa;

- novirzes kvadrātu atlikušā summa.

Jebkura noviržu kvadrātu summa ir saistīta ar brīvības pakāpju skaitu , tas ir, ar pazīmes neatkarīgas variācijas brīvības skaitu. Brīvības pakāpju skaits ir saistīts ar vienību skaitu populācijā n un ar no tā noteikto konstantu skaitu. Saistībā ar pētāmo problēmu brīvības pakāpju skaitam jāparāda, cik neatkarīgas novirzes no P iespējams, lai izveidotu noteiktu kvadrātu summu.

Izkliede uz vienu brīvības pakāpiD.

F koeficienti (F kritērijs):

Ja nulles hipotēze ir patiesa, tad faktoriālās un atlikušās dispersijas viena no otras neatšķiras. Attiecībā uz Н 0 ir nepieciešams atspēkojums, lai faktoriālā dispersija vairākas reizes pārsniegtu atlikumu. Britu statistiķis Snedecor izstrādāja kritisko vērtību tabulas F-attiecības dažādos nulles hipotēzes nozīmīguma līmeņos un dažādās brīvības pakāpēs. Tabulas vērtība F-kritērijs ir dispersiju attiecības maksimālā vērtība, kas var rasties to nejaušas neatbilstības gadījumā noteiktam nulles hipotēzes esamības varbūtības līmenim. Aprēķinātā vērtība F-attiecības tiek atzītas par uzticamām, ja tās ir vairāk nekā tabulas.

Šajā gadījumā nulles hipotēze par saiknes neesamību starp zīmēm tiek noraidīta un tiek izdarīts secinājums par šīs saiknes nozīmi: F fact> F cilne H 0 tiek noraidīts.

Ja vērtība ir mazāka par tabulā norādīto F fakts ‹, F tab, tad nulles hipotēzes iespējamība ir augstāka par doto līmeni un to nevar noraidīt bez nopietna riska izdarīt nepareizu secinājumu par savienojuma esamību. Šajā gadījumā regresijas vienādojums tiek uzskatīts par statistiski nenozīmīgu. Bet tas nenovirzās.

Regresijas koeficienta standartkļūda

Lai novērtētu regresijas koeficienta nozīmīgumu, tā vērtību salīdzina ar tā standartkļūdu, t.i., nosaka faktisko vērtību t-Studenta kritērijs: ko pēc tam salīdzina ar tabulas vērtību noteiktā nozīmīguma līmenī un brīvības pakāpju skaitā ( n- 2).

Parametra standarta kļūda a:

Lineārās korelācijas koeficienta nozīmīgumu pārbauda, ​​pamatojoties uz kļūdas lielumu korelācijas koeficients t r:

Pazīmes kopējā dispersija X:

Daudzkārtēja lineāra regresija

Modeļa veidošana

Daudzkārtēja regresija ir efektīvas pazīmes regresija ar diviem vai vairākiem faktoriem, t.i., formas modelis

Regresija var dot labu rezultātu modelēšanā, ja var neņemt vērā citu pētāmo objektu ietekmējošo faktoru ietekmi. Atsevišķu ekonomisko mainīgo uzvedību nevar kontrolēt, tas ir, nav iespējams nodrošināt visu pārējo nosacījumu vienlīdzību viena pētāmā faktora ietekmes novērtēšanai. Šajā gadījumā jāmēģina identificēt citu faktoru ietekmi, tos ieviešot modelī, t.i., jākonstruē daudzkārtējas regresijas vienādojums: y = a + b 1 x 1 + b 2 +… + b p x p + .

Daudzkārtējās regresijas galvenais mērķis ir izveidot modeli ar lielu faktoru skaitu, vienlaikus nosakot katra no tiem ietekmi atsevišķi, kā arī to kumulatīvo ietekmi uz modelēto rādītāju. Modeļa specifikācija ietver divas jautājumu jomas: faktoru atlasi un regresijas vienādojuma veida izvēli

Izlasi arī

"Minerālūdens sastāva izpēte"

Mazāko kvadrātu metode programmā Excel

Abstraktie azbestcementa izstrādājumi Azbestcementa izstrādājumu ražošanas ceha plāns

Sociālā darbinieka funkcijas brīvības atņemšanas iestādēs I