Gdzie stosowana jest metoda najmniejszych kwadratów? Aproksymacja danych doświadczalnych. Metoda najmniejszych kwadratów Algorytm rozwiązania metody najmniejszych kwadratów

Metoda najmniejszych kwadratów (OLS) pozwala oszacować różne wielkości na podstawie wyników wielu pomiarów zawierających błędy losowe.

Charakterystyka przedsiębiorstw wielonarodowych

Główną ideą tej metody jest to, że suma kwadratów błędów jest traktowana jako kryterium dokładności rozwiązania problemu, które stara się minimalizować. Przy stosowaniu tej metody można stosować zarówno podejście numeryczne, jak i analityczne.

W szczególności, jako implementacja numeryczna, metoda najmniejszych kwadratów polega na wykonaniu jak największej liczby pomiarów nieznanej zmiennej losowej. Co więcej, im więcej obliczeń, tym dokładniejsze będzie rozwiązanie. Na podstawie tego zestawu obliczeń (danych początkowych) uzyskuje się kolejny zestaw oszacowanych rozwiązań, z których następnie wybierane jest najlepsze. Jeżeli zbiór rozwiązań zostanie sparametryzowany, wówczas metoda najmniejszych kwadratów zostanie zredukowana do znalezienia optymalnej wartości parametrów.

Jako analityczne podejście do realizacji LSM na zbiorze danych początkowych (pomiarów) i oczekiwanym zbiorze rozwiązań, wyznacza się pewien (funkcjonalny), który można wyrazić wzorem uzyskanym jako pewna hipoteza wymagająca potwierdzenia. W tym przypadku metoda najmniejszych kwadratów sprowadza się do znalezienia minimum tego funkcjonału na zbiorze kwadratów błędów danych pierwotnych.

Należy pamiętać, że nie chodzi o same błędy, ale o kwadraty błędów. Dlaczego? Faktem jest, że często odchylenia pomiarów od dokładnej wartości są zarówno dodatnie, jak i ujemne. Przy określaniu średniej proste sumowanie może prowadzić do błędnych wniosków na temat jakości oszacowania, ponieważ anulowanie wartości dodatnich i ujemnych zmniejszy moc próbkowania wielu pomiarów. A co za tym idzie, trafność oceny.

Aby temu zapobiec, kwadraty odchyleń sumuje się. Co więcej, w celu wyrównania wymiaru wartości zmierzonej i ostatecznego oszacowania, wyodrębnia się sumę kwadratów błędów

Niektóre aplikacje MNC

MNC jest szeroko stosowany w różnych dziedzinach. Na przykład w teorii prawdopodobieństwa i statystyce matematycznej metodę stosuje się do określenia takiej cechy zmiennej losowej, jak odchylenie standardowe, które określa szerokość zakresu wartości zmiennej losowej.

Zadanie polega na znalezieniu współczynników zależności liniowej, przy której funkcjonuje funkcja dwóch zmiennych A I B przyjmuje najmniejszą wartość. To znaczy, dane A I B suma kwadratów odchyleń danych eksperymentalnych od znalezionej prostej będzie najmniejsza. Na tym polega cały sens metody najmniejszych kwadratów.

Zatem rozwiązanie przykładu sprowadza się do znalezienia ekstremum funkcji dwóch zmiennych.

Wyprowadzanie wzorów na znalezienie współczynników. Układ dwóch równań z dwiema niewiadomymi jest kompilowany i rozwiązywany. Znajdowanie pochodnych cząstkowych funkcji przez zmienne A I B, przyrównujemy te pochodne do zera.

Powstały układ równań rozwiązujemy dowolną metodą (na przykład metodą podstawieniową lub metodą Cramera) i uzyskujemy wzory na znalezienie współczynników metodą najmniejszych kwadratów (LSM).

Dany A I B funkcjonować przyjmuje najmniejszą wartość.

To cała metoda najmniejszych kwadratów. Wzór na znalezienie parametru A zawiera sumy , , i parametr N- ilość danych eksperymentalnych. Zalecamy oddzielne obliczanie wartości tych kwot. Współczynnik B znalezione po obliczeniach A.

Głównym obszarem zastosowania takich wielomianów jest przetwarzanie danych eksperymentalnych (konstruowanie wzorów empirycznych). Faktem jest, że wielomian interpolacyjny zbudowany z wartości funkcji uzyskanych w wyniku eksperymentu będzie pod silnym wpływem „szumu eksperymentalnego”, ponadto podczas interpolacji węzły interpolacji nie mogą się powtarzać, tj. Nie można wykorzystać wyników powtarzanych eksperymentów w tych samych warunkach. Średniokwadratowy wielomian wygładza szum i pozwala na wykorzystanie wyników wielu eksperymentów.

Całkowanie i różniczkowanie numeryczne. Przykład.

Całkowanie numeryczne– obliczenie wartości całki oznaczonej (zwykle przybliżonej). Całkę numeryczną rozumiemy jako zbiór metod numerycznych służących do znajdowania wartości określonej całki.

Różniczkowanie numeryczne– zestaw metod obliczania wartości pochodnej dyskretnie określonej funkcji.

Integracja

Sformułowanie problemu. Matematyczne sformułowanie problemu: należy znaleźć wartość całki oznaczonej

gdzie a, b są skończone, f(x) jest ciągłe w [a, b].

Przy rozwiązywaniu problemów praktycznych często zdarza się, że całka jest niewygodna lub niemożliwa do potraktowania analitycznego: nie można jej wyrazić w funkcjach elementarnych, całkę można podać w postaci tabeli itp. W takich przypadkach stosuje się metody całkowania numerycznego używany. Metody całkowania numerycznego polegają na zastąpieniu pola zakrzywionego trapezu skończoną sumą pól prostszych figur geometrycznych, które można dokładnie obliczyć. W tym sensie mówią o używaniu wzorów kwadraturowych.

Większość metod wykorzystuje reprezentację całki w postaci sumy skończonej (wzór kwadraturowy):

Wzory kwadraturowe opierają się na pomyśle zastąpienia wykresu całki na odcinku całkowym funkcjami o prostszej postaci, które można łatwo zintegrować analitycznie, a co za tym idzie, łatwo obliczyć. Zadanie konstruowania wzorów kwadraturowych najłatwiej jest zrealizować w przypadku wielomianowych modeli matematycznych.

Można wyróżnić trzy grupy metod:

1. Metoda podziału segmentu całkowego na równe odcinki. Podziału na przedziały dokonuje się z góry; zwykle wybiera się przedziały równe (aby ułatwić obliczenie funkcji na końcach przedziałów). Oblicz pola i zsumuj je (prostokąt, trapez, metoda Simpsona).

2. Metody podziału segmentu całkowego za pomocą punktów specjalnych (metoda Gaussa).

3. Obliczanie całek za pomocą liczb losowych (metoda Monte Carlo).

Metoda prostokątna. Niech funkcja (figura) wymaga całkowania numerycznego na przedziale . Podziel odcinek na N równych odcinków. Pole każdego z N zakrzywionych trapezów można zastąpić polem prostokąta.

Szerokość wszystkich prostokątów jest taka sama i wynosi:

Aby wybrać wysokość prostokątów, możesz wybrać wartość funkcji na lewym brzegu. W tym przypadku wysokość pierwszego prostokąta będzie wynosić f(a), drugiego - f(x 1),..., N-f(N-1).

Jeśli weźmiemy wartość funkcji na prawym brzegu, aby wybrać wysokość prostokąta, to w tym przypadku wysokość pierwszego prostokąta będzie wynosić f(x 1), drugiego - f(x 2), ... , N - f(x N).

Jak widać, w tym przypadku jeden ze wzorów podaje przybliżenie całki z nadmiarem, a drugi z niedoborem. Jest inny sposób - wykorzystać do przybliżenia wartość funkcji w środku segmentu całkującego:

Oszacowanie błędu bezwzględnego metody prostokątnej (środek)

Oszacowanie błędu bezwzględnego metody lewego i prawego prostokąta.

Przykład. Oblicz dla całego przedziału i podziel go na cztery części

Rozwiązanie. Analityczne obliczenie tej całki daje I=arctg(1) –arctg(0)=0,7853981634. W naszym przypadku:

1)h = 1; xo = 0; x1 = 1;

2) h = 0,25 (1/4); x0 = 0; x1 = 0,25; x2 = 0,5; x3 = 0,75; x4 = 1;

Obliczmy metodą lewego prostokąta:

Obliczmy metodą prawego prostokąta:

Obliczmy metodą średniego prostokąta:

Metoda trapezowa. Użycie wielomianu pierwszego stopnia (linii prostej przechodzącej przez dwa punkty) do interpolacji wyników we wzorze trapezowym. Końce segmentu całkowania traktowane są jako węzły interpolacji. W ten sposób trapez krzywoliniowy zastępuje się zwykłym trapezem, którego powierzchnię można znaleźć jako iloczyn połowy sumy podstaw i wysokości

W przypadku N odcinków całkujących dla wszystkich węzłów, z wyjątkiem skrajnych punktów odcinka, wartość funkcji zostanie uwzględniona w sumie dwukrotnie (ponieważ sąsiednie trapezy mają jeden wspólny bok)

Wzór trapezu można otrzymać, biorąc połowę sumy wzorów prostokątów wzdłuż prawej i lewej krawędzi odcinka:

Sprawdzenie stabilności rozwiązania. Z reguły im krótsza jest długość każdego interwału, tj. Im większa liczba tych przedziałów, tym mniejsza różnica między przybliżonymi i dokładnymi wartościami całki. Dotyczy to większości funkcji. W metodzie trapezowej błąd w obliczeniu całki ϭ jest w przybliżeniu proporcjonalny do kwadratu kroku integracji (ϭ ~ h 2). Zatem, aby obliczyć całkę określonej funkcji w kategoriach a, b, konieczne jest podziel odcinek na N 0 odcinków i znajdź sumę pól trapezu. Następnie musisz zwiększyć liczbę przedziałów N 1, ponownie obliczyć sumę trapezu i porównać wynikową wartość z poprzednim wynikiem. Należy to powtarzać aż do (N i) aż do osiągnięcia określonej dokładności wyniku (kryterium zbieżności).

W przypadku metod prostokątnych i trapezowych zwykle w każdym kroku iteracji liczba przedziałów zwiększa się 2-krotnie (N i +1 = 2N i).

Kryterium zbieżności:

Główną zaletą reguły trapezowej jest jej prostota. Jeśli jednak przy obliczaniu całki wymagana jest duża precyzja, metoda ta może wymagać zbyt wielu iteracji.

Błąd bezwzględny metody trapezowej szacuje się jako
.

Przykład. Oblicz całkę w przybliżeniu oznaczoną, korzystając ze wzoru trapezowego.

a) Podział segmentu całkowania na 3 części.
b) Podział segmentu integracji na 5 części.

Rozwiązanie:
a) Zgodnie z warunkiem segment integracji należy podzielić na 3 części, tj.
Obliczmy długość każdego segmentu przegrody: .

W ten sposób ogólny wzór trapezów zostaje zredukowany do przyjemnego rozmiaru:

Wreszcie:

Przypomnę, że otrzymana wartość jest przybliżoną wartością pola.

b) Podzielmy segment całkowy na 5 równych części, tj. Zwiększając liczbę segmentów, zwiększamy dokładność obliczeń.

Jeżeli , to wzór trapezowy przyjmuje postać:

Znajdźmy krok partycji:
, to znaczy długość każdego segmentu pośredniego wynosi 0,6.

Kończąc zadanie, wygodnie jest sformalizować wszystkie obliczenia za pomocą tabeli obliczeń:

W pierwszym wierszu piszemy „licznik”

W rezultacie:

Cóż, naprawdę jest wyjaśnienie, i to poważne!
Jeśli dla 3 segmentów przegrody, to dla 5 segmentów. Jeśli weźmiesz jeszcze większy segment => będzie jeszcze dokładniejszy.

Wzór Simpsona. Wzór trapezowy daje wynik silnie zależny od wielkości kroku h, co wpływa na dokładność obliczenia pewnej całki, zwłaszcza w przypadkach, gdy funkcja nie jest monotoniczna. Można założyć, że dokładność obliczeń wzrośnie, jeśli zamiast prostych odcinków zastępujących krzywoliniowe fragmenty wykresu funkcji f(x) zastosujemy na przykład fragmenty paraboli podanych przez trzy sąsiednie punkty wykresu. Ta interpretacja geometryczna leży u podstaw metody Simpsona służącej do obliczania całki oznaczonej. Cały przedział całkowania a,b dzielimy na N odcinków, długość odcinka również będzie równa h=(b-a)/N.

Wzór Simpsona wygląda następująco:

pozostały termin

Wraz ze wzrostem długości odcinków dokładność wzoru maleje, dlatego w celu zwiększenia dokładności stosuje się wzór złożony Simpsona. Cały przedział całkowania dzielimy na parzystą liczbę identycznych odcinków N, długość odcinka również będzie równa h=(b-a)/N. Wzór złożony Simpsona to:

We wzorze wyrażenia w nawiasach reprezentują sumy wartości całki na końcach odpowiednio nieparzystych i parzystych segmentów wewnętrznych.

Pozostała część wzoru Simpsona jest proporcjonalna do czwartej potęgi kroku:

Przykład: Korzystając z reguły Simpsona, oblicz całkę. (Dokładne rozwiązanie - 0,2)

Metoda Gaussa

Wzór kwadraturowy Gaussa. Podstawową zasadę formuł kwadraturowych drugiego typu widać na rysunku 1.12: należy w ten sposób umieszczać punkty X 0 i X 1 wewnątrz segmentu [ A;B], tak aby całkowite pola „trójkątów” były równe polu „segmentu”. Podczas korzystania ze wzoru Gaussa oryginalny segment [ A;B] jest redukowane do segmentu [-1;1] poprzez zastąpienie zmiennej X NA

0.5∙(B– A)∙T+ 0.5∙(B + A).

Następnie , Gdzie .

Taka wymiana jest możliwa, jeśli A I B są skończone, oraz funkcja F(X) jest ciągły w [ A;B] Wzór Gaussa w N zwrotnica x ja, I=0,1,..,N-1 wewnątrz segmentu [ A;B]:

, (1.27)

Gdzie ja I A ja dla różnych N podane są w podręcznikach. Na przykład kiedy N=2 A 0 =A 1 = 1; Na N=3: T 0 = t 2" 0,775, T 1 =0, A 0 =A 2" 0,555, A 1 "0,889.

Wzór kwadraturowy Gaussa

otrzymane przy funkcji wagi równej jedności p(x)= 1 i węzły x ja, które są pierwiastkami wielomianów Legendre'a

Szanse A jałatwe do obliczenia za pomocą wzorów

I=0,1,2,...N.

Wartości węzłów i współczynników dla n=2,3,4,5 podano w tabeli

Zamówienie	Węzły	Szanse
N=2	x 1=0 x 0 =-x 2=0.7745966692	1=8/9 ZA 0 = ZA 2=5/9
N=3	x 2 =-x 1=0.3399810436 x 3 =-x 0=0.8611363116	ZA 1 = ZA 2=0.6521451549 ZA 0 = ZA 3=0.6521451549
n=4	X 2 = 0 X 3 = -X 1 = 0.5384693101 X 4 =-X 0 =0.9061798459	A 0 =0.568888899 A 3 =A 1 =0.4786286705 A 0 =A 4 =0.2869268851
N=5	X 5 = -X 0 =0.9324695142 X 4 = -X 1 =0.6612093865 X 3 = -X 2 =0.2386191861	A 5 =A 0 =0.1713244924 A 4 =A 1 =0.3607615730 A 3 =A 2 =0.4679139346

Przykład. Oblicz wartość, korzystając ze wzoru Gaussa N=2:

Dokładna wartość: .

Algorytm obliczania całki za pomocą wzoru Gaussa nie polega na podwajaniu liczby mikrosegmentów, ale na zwiększeniu liczby rzędnych o 1 i porównaniu uzyskanych wartości całki. Zaletą wzoru Gaussa jest jego duża dokładność przy stosunkowo małej liczbie rzędnych. Wady: niewygodne w przypadku obliczeń ręcznych; konieczne jest zachowanie wartości w pamięci komputera ja, A ja dla różnych N.

Błąd wzoru na kwadraturę Gaussa na odcinku będzie wynosił. Dla pozostałej części wyrazu wzór będzie wynosił i współczynnik α N szybko maleje wraz ze wzrostem N. Tutaj

Wzory Gaussa zapewniają wysoką dokładność nawet przy małej liczbie węzłów (od 4 do 10). W tym przypadku w praktycznych obliczeniach liczba węzłów waha się od kilkuset do kilku tysięcy. Należy również pamiętać, że wagi kwadratur Gaussa są zawsze dodatnie, co zapewnia stabilność algorytmu obliczania sum

Metoda najmniejszych kwadratów jest jedną z najpowszechniejszych i najbardziej rozwiniętych ze względu na swoje możliwości prostota i efektywność metod estymacji parametrów liniowych. Jednocześnie przy jego stosowaniu należy zachować pewną ostrożność, gdyż modele zbudowane przy jego użyciu mogą nie spełniać szeregu wymagań co do jakości swoich parametrów i w efekcie nie odzwierciedlać „dobrze” wzorców rozwoju procesów wystarczająco.

Rozważmy bardziej szczegółowo procedurę szacowania parametrów liniowego modelu ekonometrycznego metodą najmniejszych kwadratów. Model taki w ogólności można przedstawić za pomocą równania (1.2):

y t = za 0 + za 1 x 1 t +...+ za n x nt + ε t.

Dane początkowe przy estymacji parametrów a 0 , a 1 ,..., a n są wektorem wartości zmiennej zależnej y= (y 1 , y 2 , ... , y T)” i macierz wartości zmiennych niezależnych

w którym pierwsza kolumna składająca się z jedynek odpowiada współczynnikowi modelu.

Metoda najmniejszych kwadratów otrzymała swoją nazwę w oparciu o podstawową zasadę, że otrzymane na jej podstawie estymatory parametrów muszą spełniać: suma kwadratów błędu modelu powinna być minimalna.

Przykłady rozwiązywania problemów metodą najmniejszych kwadratów

Przykład 2.1. Przedsiębiorstwo handlowe posiada sieć 12 sklepów, informacje o działalności przedstawiono w tabeli. 2.1.

Kierownictwo przedsiębiorstwa chciałoby wiedzieć, w jaki sposób roczna kwota zależy od powierzchni handlowej sklepu.

Tabela 2.1

Numer sklepu	Roczny obrót, miliony rubli.	Powierzchnia handlowa, tys. m2

Rozwiązanie metodą najmniejszych kwadratów. Oznaczmy roczny obrót sklepu, milion rubli; — powierzchnia handlowa sklepu, tys. m2.

Ryc.2.1. Wykres rozrzutu dla przykładu 2.1

Aby określić postać zależności funkcjonalnej między zmiennymi, skonstruujemy diagram rozrzutu (ryc. 2.1).

Na podstawie diagramu punktowego możemy stwierdzić, że roczny obrót jest dodatnio zależny od powierzchni handlowej (tj. y będzie rosło wraz ze wzrostem). Najbardziej odpowiednią formą połączenia funkcjonalnego jest liniowy.

Informacje do dalszych obliczeń przedstawiono w tabeli. 2.2. Metodą najmniejszych kwadratów szacujemy parametry liniowego jednoczynnikowego modelu ekonometrycznego

Tabela 2.2

Zatem,

Zatem przy wzroście powierzchni handlowej o 1 tys. m2, przy pozostałych czynnikach niezmienionych, średni roczny obrót wzrasta o 67,8871 mln rubli.

Przykład 2.2. Zarząd firmy zauważył, że roczny obrót zależy nie tylko od powierzchni sprzedażowej sklepu (patrz przykład 2.1), ale także od średniej liczby odwiedzających. Odpowiednie informacje przedstawiono w tabeli. 2.3.

Tabela 2.3

Rozwiązanie. Oznaczmy średnią liczbę odwiedzających dziennie sklep, tys. osób.

Aby określić postać zależności funkcjonalnej między zmiennymi, skonstruujemy diagram rozrzutu (ryc. 2.2).

Na podstawie wykresu rozrzutu możemy stwierdzić, że roczny obrót jest dodatnio zależny od średniej liczby odwiedzających dziennie (tj. y będzie rosło wraz ze wzrostem ). Forma zależności funkcjonalnej jest liniowa.

Ryż. 2.2. Wykres rozrzutu dla przykładu 2.2

Tabela 2.4

Generalnie konieczne jest określenie parametrów dwuczynnikowego modelu ekonometrycznego

y t = za 0 + za 1 x 1 t + za 2 x 2 t + ε t

Informacje potrzebne do dalszych obliczeń przedstawiono w tabeli. 2.4.

Oszacujmy parametry liniowego dwuczynnikowego modelu ekonometrycznego metodą najmniejszych kwadratów.

Zatem,

Oszacowanie współczynnika =61,6583 pokazuje, że przy niezmienionych warunkach, wraz ze wzrostem powierzchni handlowej o 1 tys. m 2, roczny obrót wzrośnie średnio o 61,6583 mln rubli.

Co znajduje najszersze zastosowanie w różnych dziedzinach nauki i działalności praktycznej. Może to być fizyka, chemia, biologia, ekonomia, socjologia, psychologia i tak dalej. Zrządzeniem losu często muszę zajmować się gospodarką, dlatego dziś zorganizuję dla Was wycieczkę do niesamowitego kraju zwanego Ekonometria=) ...Jak możesz tego nie chcieć?! Jest tam bardzo dobrze – trzeba się tylko zdecydować! ...Ale prawdopodobnie na pewno chcesz nauczyć się rozwiązywać problemy metoda najmniejszych kwadratów. A szczególnie pilni czytelnicy nauczą się je rozwiązywać nie tylko dokładnie, ale i BARDZO SZYBKO ;-) Ale najpierw ogólne przedstawienie problemu+ dołączony przykład:

Załóżmy, że w pewnym obszarze tematycznym badane są wskaźniki, które mają wyraz ilościowy. Jednocześnie istnieją podstawy, aby sądzić, że wskaźnik zależy od wskaźnika. Założenie to może być hipotezą naukową lub opierać się na podstawowym zdrowym rozsądku. Zostawmy jednak naukę na boku i zajmijmy się bardziej apetycznymi rejonami – czyli sklepami spożywczymi. Oznaczmy przez:

– powierzchnia handlowa sklepu spożywczego mkw.,
– roczny obrót sklepu spożywczego, mln rubli.

Jest całkowicie jasne, że im większa powierzchnia sklepu, tym w większości przypadków większe będą jego obroty.

Załóżmy, że po przeprowadzeniu obserwacji/eksperymentów/obliczeń/tańców z tamburynem dysponujemy danymi liczbowymi:

W przypadku sklepów spożywczych myślę, że wszystko jest jasne: - jest to powierzchnia pierwszego sklepu, - jego roczny obrót, - powierzchnia drugiego sklepu, - jego roczny obrót itp. Notabene posiadanie dostępu do materiałów niejawnych wcale nie jest konieczne – w miarę dokładną ocenę obrotów handlowych można uzyskać za pomocą statystyka matematyczna. Jednak nie dajmy się rozpraszać, kurs szpiegostwa komercyjnego jest już opłacony =)

Dane tabelaryczne można również zapisać w formie punktów i przedstawić w znanej formie System kartezjański .

Odpowiedzmy sobie na ważne pytanie: Ile punktów potrzeba do badania jakościowego?

Im większy tym lepszy. Minimalny akceptowalny set to 5-6 punktów. Ponadto, gdy ilość danych jest niewielka, nie można uwzględnić w próbie wyników „anomalnych”. Na przykład mały elitarny sklep może zarobić o rząd wielkości więcej niż „jego koledzy”, zniekształcając w ten sposób ogólny wzór, który musisz znaleźć!

Mówiąc najprościej, musimy wybrać funkcję, harmonogram który przechodzi jak najbliżej punktów . Ta funkcja nazywa się przybliżanie (przybliżenie - przybliżenie) Lub funkcja teoretyczna . Ogólnie rzecz biorąc, natychmiast pojawia się tutaj oczywisty „kontener” - wielomian wysokiego stopnia, którego wykres przechodzi przez WSZYSTKIE punkty. Ale ta opcja jest skomplikowana i często po prostu niepoprawna. (ponieważ wykres będzie się cały czas „zapętlał” i słabo odzwierciedlał główny trend).

Zatem poszukiwana funkcja musi być dość prosta i jednocześnie odpowiednio odzwierciedlać zależność. Jak można się domyślić, jedna z metod znajdowania takich funkcji nazywa się metoda najmniejszych kwadratów. Najpierw spójrzmy ogólnie na jego istotę. Niech jakaś funkcja przybliży dane eksperymentalne:


Jak ocenić dokładność tego przybliżenia? Obliczmy także różnice (odchylenia) pomiędzy wartościami doświadczalnymi i funkcjonalnymi (studiujemy rysunek). Pierwszą myślą, która przychodzi na myśl, jest oszacowanie, jak duża jest to suma, problem jednak polega na tym, że różnice mogą być ujemne (Na przykład, ) a odchylenia powstałe w wyniku takiego sumowania będą się wzajemnie znosić. Dlatego też jako oszacowanie dokładności przybliżenia aż prosi się o przyjęcie sumy moduły odchylenia:

lub upadł: (gdyby ktoś nie wiedział: – to ikona sumy, oraz – pomocnicza zmienna „licznik”, która przyjmuje wartości od 1 do ).

Aproksymując punkty eksperymentalne różnymi funkcjami, otrzymamy różne wartości i oczywiście, gdy suma ta jest mniejsza, funkcja ta jest dokładniejsza.

Taka metoda istnieje i nazywa się metoda najmniejszego modułu. Jednak w praktyce stało się to znacznie bardziej powszechne metoda najmniejszych kwadratów, w którym możliwe wartości ujemne są eliminowane nie przez moduł, ale przez podniesienie odchyleń do kwadratu:

, po czym dąży się do wybrania takiej funkcji, która będzie sumą kwadratów odchyleń był tak mały, jak to tylko możliwe. Właściwie stąd wzięła się nazwa tej metody.

A teraz wracamy do innego ważnego punktu: jak wspomniano powyżej, wybrana funkcja powinna być dość prosta - ale takich funkcji jest również wiele: liniowy , hiperboliczny, wykładniczy, logarytmiczny, kwadratowy itp. I oczywiście tutaj chciałbym od razu „zmniejszyć pole działania”. Jaką klasę funkcji wybrać do badań? Prymitywna, ale skuteczna technika:

– Najłatwiej jest przedstawić punkty na rysunku i przeanalizuj ich położenie. Jeśli mają tendencję do biegania w linii prostej, powinieneś poszukać równanie linii z optymalnymi wartościami i . Inaczej mówiąc, zadaniem jest znaleźć TAKIE współczynniki, aby suma kwadratów odchyleń była jak najmniejsza.

Jeśli punkty znajdują się np. wzdłuż hiperbola, to jest oczywiste, że funkcja liniowa daje słabe przybliżenie. W tym przypadku szukamy najbardziej „korzystnych” współczynników dla równania hiperboli – takie, które dają minimalną sumę kwadratów .

Teraz zauważ, że w obu przypadkach mówimy funkcje dwóch zmiennych, którego argumentami są szukane parametry zależności:

Zasadniczo musimy rozwiązać standardowy problem - znaleźć funkcja minimalna dwóch zmiennych.

Przypomnijmy nasz przykład: załóżmy, że punkty „sklepowe” zwykle leżą w linii prostej i istnieją podstawy, aby tak sądzić zależność liniowa obrotów z powierzchni handlowej. Znajdźmy TAKIE współczynniki „a” i „be” takie, że suma kwadratów odchyleń był najmniejszy. Wszystko jest jak zwykle - najpierw Pochodne cząstkowe pierwszego rzędu. Według reguła liniowości Możesz rozróżnić bezpośrednio pod ikoną sumy:

Jeśli chcesz wykorzystać te informacje w eseju lub pracy semestralnej, będę bardzo wdzięczny za link w wykazie źródeł, w kilku miejscach znajdziesz takie szczegółowe obliczenia:

Stwórzmy standardowy system:

Każde równanie redukujemy o „dwa” i dodatkowo „rozbijamy” sumy:

Notatka : niezależnie przeanalizuj, dlaczego „a” i „być” można wyjąć poza ikoną sumy. Nawiasem mówiąc, formalnie można to zrobić za pomocą sumy

Przepiszmy system w formie „stosowanej”:

po czym zaczyna się wyłaniać algorytm rozwiązania naszego problemu:

Czy znamy współrzędne punktów? Wiemy. Kwoty czy możemy to znaleźć? Łatwo. Zróbmy najprostsze układ dwóch równań liniowych z dwiema niewiadomymi(„a” i „być”). Rozwiązujemy układ np. Metoda Cramera, w wyniku czego otrzymujemy punkt stacjonarny. Kontrola warunek wystarczający na ekstremum, możemy sprawdzić, że w tym momencie funkcja osiąga dokładnie minimum. Sprawdzenie wiąże się z dodatkowymi obliczeniami, dlatego pozostawimy to za kulisami (w razie potrzeby można obejrzeć brakującą klatkę). Wyciągamy ostateczny wniosek:

Funkcjonować Najlepszym sposobem (przynajmniej w porównaniu z jakąkolwiek inną funkcją liniową) przybliża punkty doświadczalne . Z grubsza mówiąc, jego wykres przebiega jak najbliżej tych punktów. W tradycji ekonometria wynikowa funkcja aproksymująca jest również nazywana sparowane równanie regresji liniowej .

Rozważany problem ma duże znaczenie praktyczne. W naszej przykładowej sytuacji równanie. pozwala przewidzieć jakie obroty handlowe („Igrek”) sklep będzie miał taką czy inną wartość powierzchni sprzedażowej (takie czy inne znaczenie „x”). Tak, powstała prognoza będzie jedynie prognozą, ale w wielu przypadkach okaże się dość dokładna.

Przeanalizuję tylko jeden problem z liczbami „prawdziwymi”, ponieważ nie ma w nim żadnych trudności - wszystkie obliczenia są na poziomie programu nauczania w szkole 7-8 klasy. W 95 procentach przypadków zostaniesz poproszony o znalezienie tylko funkcji liniowej, ale na samym końcu artykułu pokażę, że znalezienie równań optymalnej hiperboli, funkcji wykładniczej i niektórych innych nie jest już trudniejsze.

Tak naprawdę pozostaje tylko rozdać obiecane gadżety - abyście mogli nauczyć się rozwiązywać takie przykłady nie tylko dokładnie, ale i szybko. Dokładnie badamy standard:

Zadanie

W wyniku badania zależności pomiędzy dwoma wskaźnikami otrzymano następujące pary liczb:

Korzystając z metody najmniejszych kwadratów, znajdź funkcję liniową, która najlepiej przybliża funkcję empiryczną (doświadczony) dane. Wykonaj rysunek, na podstawie którego skonstruujesz punkty doświadczalne oraz wykres funkcji aproksymującej w prostokątnym układzie współrzędnych kartezjańskich . Znajdź sumę kwadratów odchyleń między wartościami empirycznymi i teoretycznymi. Dowiedz się, czy ta funkcja byłaby lepsza (z punktu widzenia metody najmniejszych kwadratów) przybliżyć punkty doświadczalne.

Należy pamiętać, że znaczenia „x” są naturalne i ma to charakterystyczne znaczenie znaczące, o którym opowiem nieco później; ale oczywiście mogą być również ułamkowe. Ponadto, w zależności od treści konkretnego zadania, zarówno wartości „X”, jak i „gry” mogą być całkowicie lub częściowo ujemne. Cóż, dostaliśmy zadanie „bez twarzy” i zaczynamy je rozwiązanie:

Znajdujemy współczynniki funkcji optymalnej jako rozwiązanie układu:

W celu bardziej zwięzłego zapisu można pominąć zmienną „licznik”, ponieważ jest już jasne, że sumowanie odbywa się od 1 do .

Wygodniej jest obliczyć wymagane kwoty w formie tabelarycznej:


Obliczenia można przeprowadzić na mikrokalkulatorze, ale znacznie lepiej jest korzystać z Excela - zarówno szybciej, jak i bez błędów; obejrzyj krótki film:

W ten sposób otrzymujemy, co następuje system:

Tutaj możesz pomnożyć drugie równanie przez 3 i odejmij drugie od pierwszego równania wyraz po wyrazie. Ale to szczęście – w praktyce systemy często nie są prezentem, a w takich przypadkach oszczędzają Metoda Cramera:
co oznacza, że ​​system posiada unikalne rozwiązanie.

Sprawdźmy. Rozumiem, że nie chcesz, ale po co pomijać błędy, których absolutnie nie da się przeoczyć? Podstawmy znalezione rozwiązanie po lewej stronie każdego równania układu:

Otrzymuje się prawe strony odpowiednich równań, co oznacza, że ​​układ jest rozwiązany poprawnie.

Zatem pożądana funkcja aproksymująca: – od wszystkie funkcje liniowe To ona najlepiej przybliża dane eksperymentalne.

w odróżnieniu prosty zależności obrotów sklepu od jego powierzchni, znaleziona zależność wynosi odwracać (zasada „im więcej, tym mniej”), a fakt ten jest natychmiast ujawniany przez negatyw nachylenie. Funkcjonować mówi nam, że wraz ze wzrostem pewnego wskaźnika o 1 jednostkę wartość wskaźnika zależnego maleje przeciętny o 0,65 jednostki. Jak mówią, im wyższa cena gryki, tym mniej się jej sprzedaje.

Aby wykreślić funkcję aproksymującą, znajdźmy jej dwie wartości:

i wykonaj rysunek:


Zbudowana linia prosta nazywa się linia trendu (mianowicie liniowa linia trendu, tj. w ogólnym przypadku trend niekoniecznie jest linią prostą). Każdemu znane jest wyrażenie „być w trendzie” i myślę, że to określenie nie wymaga dodatkowego komentarza.

Obliczmy sumę kwadratów odchyleń pomiędzy wartościami empirycznymi i teoretycznymi. Geometrycznie jest to suma kwadratów długości odcinków „malinowych”. (z czego dwa są tak małe, że nawet ich nie widać).

Podsumujmy obliczenia w tabeli:


Ponownie można to zrobić ręcznie; na wszelki wypadek podam przykład dla pierwszego punktu:

ale o wiele skuteczniej jest zrobić to w znany już sposób:

Powtarzamy jeszcze raz: Jakie jest znaczenie uzyskanego wyniku? Z wszystkie funkcje liniowe funkcja wskaźnik jest najmniejszy, czyli w swojej rodzinie jest najlepszym przybliżeniem. I tutaj, nawiasem mówiąc, ostatnie pytanie problemu nie jest przypadkowe: co by było, gdyby proponowana funkcja wykładnicza czy lepiej byłoby przybliżyć punkty eksperymentalne?

Znajdźmy odpowiednią sumę kwadratów odchyleń - dla rozróżnienia oznaczę je literą „epsilon”. Technika jest dokładnie taka sama:


I znowu, na wszelki wypadek, obliczenia dla 1. punktu:

W Excelu używamy funkcji standardowej DO POTĘGI (składnię można znaleźć w Pomocy programu Excel).

Wniosek: , co oznacza, że ​​funkcja wykładnicza przybliża punkty eksperymentalne gorzej niż linia prosta .

Ale tutaj należy zauważyć, że „gorsze” jest nie znaczy jeszcze, co jest nie tak. Teraz zbudowałem wykres tej funkcji wykładniczej - i ona również przechodzi blisko punktów - do tego stopnia, że ​​bez badań analitycznych trudno stwierdzić, która funkcja jest dokładniejsza.

Na tym kończy się rozwiązanie i wracam do kwestii naturalnych wartości argumentu. W różnych badaniach, zwykle ekonomicznych lub socjologicznych, naturalne „X” służą do numerowania miesięcy, lat lub innych równych przedziałów czasu. Rozważmy na przykład następujący problem.

Aproksymacja danych eksperymentalnych to metoda polegająca na zastąpieniu danych uzyskanych eksperymentalnie funkcją analityczną, która najbardziej przechodzi lub pokrywa się w punktach węzłowych z wartościami pierwotnymi (dane uzyskane podczas eksperymentu lub eksperymentu). Obecnie istnieją dwa sposoby definiowania funkcji analitycznej:

Konstruując n-stopniowy wielomian interpolacyjny, który przechodzi bezpośrednio przez wszystkie punkty daną tablicę danych. W tym przypadku funkcję aproksymującą przedstawia się w postaci: wielomianu interpolacyjnego w postaci Lagrange'a lub wielomianu interpolacyjnego w postaci Newtona.

Konstruując n-stopniowy wielomian aproksymujący, który przechodzi w bezpośrednim sąsiedztwie punktów z danej tablicy danych. W ten sposób funkcja aproksymująca wygładza wszystkie losowe szumy (lub błędy), które mogą pojawić się podczas eksperymentu: zmierzone wartości podczas eksperymentu zależą od czynników losowych, które zmieniają się zgodnie z ich własnymi losowymi prawami (błędy pomiaru lub instrumentu, niedokładność lub eksperyment błędy). W tym przypadku funkcję aproksymującą wyznacza się metodą najmniejszych kwadratów.

Metoda najmniejszych kwadratów(w literaturze anglojęzycznej Ordinary Least Squares, OLS) to metoda matematyczna polegająca na wyznaczaniu funkcji aproksymującej, która jest konstruowana w najbliższym sąsiedztwie punktów z danego układu danych eksperymentalnych. Zbliżenie funkcji pierwotnej i aproksymującej F(x) wyznacza się za pomocą miary numerycznej, a mianowicie: suma kwadratów odchyleń danych eksperymentalnych od krzywej aproksymującej F(x) powinna być najmniejsza.

Krzywa przybliżająca zbudowana metodą najmniejszych kwadratów

Stosuje się metodę najmniejszych kwadratów:

Rozwiązywanie nadokreślonych układów równań, gdy liczba równań przekracza liczbę niewiadomych;

Znalezienie rozwiązania w przypadku zwyczajnych (nie nadokreślonych) nieliniowych układów równań;

Aby przybliżyć wartości punktowe za pomocą pewnej funkcji aproksymującej.

Funkcję aproksymującą metodą najmniejszych kwadratów wyznacza się z warunku minimalnej sumy kwadratów odchyleń obliczonej funkcji aproksymującej z zadanego układu danych eksperymentalnych. To kryterium metody najmniejszych kwadratów zapisuje się jako następujące wyrażenie:

Wartości obliczonej funkcji aproksymującej w punktach węzłowych,

Dana tablica danych eksperymentalnych w punktach węzłowych.

Kryterium kwadratowe ma wiele „dobrych” właściwości, takich jak różniczkowalność, zapewniając unikalne rozwiązanie problemu aproksymacji za pomocą wielomianowych funkcji aproksymujących.

W zależności od warunków zadania funkcją aproksymującą jest wielomian stopnia m

Stopień funkcji aproksymującej nie zależy od liczby punktów węzłowych, lecz jej wymiar musi być zawsze mniejszy od wymiaru (liczby punktów) danej tablicy danych eksperymentalnych.

∙ Jeżeli stopień funkcji aproksymującej wynosi m=1, to funkcję tabelaryczną aproksymujemy linią prostą (regresja liniowa).

∙ Jeżeli stopień funkcji aproksymującej wynosi m=2, to funkcję tablicową aproksymujemy parabolą kwadratową (aproksymacja kwadratowa).

∙ Jeżeli stopień funkcji aproksymującej wynosi m=3, to funkcję tablicową aproksymujemy parabolą sześcienną (aproksymacja sześcienna).

W ogólnym przypadku, gdy konieczne jest skonstruowanie wielomianu aproksymującego stopnia m dla danych wartości z tabeli, warunek na minimum sumy kwadratów odchyleń po wszystkich punktach węzłowych przepisuje się w postaci:

- nieznane współczynniki wielomianu aproksymującego stopnia m;

Liczba określonych wartości tabeli.

Warunkiem koniecznym istnienia minimum funkcji jest równość jej pochodnych cząstkowych względem nieznanych zmiennych do zera . W rezultacie otrzymujemy następujący układ równań:

Przekształćmy powstały liniowy układ równań: otwórz nawiasy i przesuń wolne wyrazy na prawą stronę wyrażenia. W rezultacie powstały układ liniowych wyrażeń algebraicznych zostanie zapisany w następującej postaci:

Ten system liniowych wyrażeń algebraicznych można zapisać w postaci macierzowej:

W rezultacie otrzymano układ równań liniowych o wymiarze m+1, który składa się z niewiadomych m+1. Układ ten można rozwiązać dowolną metodą rozwiązywania liniowych równań algebraicznych (na przykład metodą Gaussa). W wyniku rozwiązania zostaną znalezione nieznane parametry funkcji aproksymującej, które dają minimalną sumę kwadratów odchyleń funkcji aproksymującej od danych pierwotnych, tj. najlepsze możliwe przybliżenie kwadratowe. Należy pamiętać, że jeśli zmieni się chociaż jedna wartość danych źródłowych, wszystkie współczynniki zmienią swoje wartości, ponieważ są one całkowicie zdeterminowane przez dane źródłowe.

Aproksymacja danych źródłowych metodą zależności liniowej

(regresja liniowa)

Jako przykład rozważmy technikę wyznaczania funkcji aproksymującej, która jest określona w postaci zależności liniowej. Zgodnie z metodą najmniejszych kwadratów warunek na minimum sumy kwadratów odchyleń zapisuje się w postaci:

Współrzędne węzłów tabeli;

Nieznane współczynniki funkcji aproksymującej, która jest określona jako zależność liniowa.

Warunkiem koniecznym istnienia minimum funkcji jest równość jej pochodnych cząstkowych względem nieznanych zmiennych do zera. W efekcie otrzymujemy następujący układ równań:

Przekształćmy powstały liniowy układ równań.

Rozwiązujemy powstały układ równań liniowych. Współczynniki funkcji aproksymującej w postaci analitycznej wyznacza się następująco (metoda Cramera):

Współczynniki te zapewniają konstrukcję liniowej funkcji aproksymującej zgodnie z kryterium minimalizacji sumy kwadratów funkcji aproksymującej z zadanych wartości tabelarycznych (dane eksperymentalne).

Algorytm implementacji metody najmniejszych kwadratów

1. Dane wyjściowe:

Określono tablicę danych eksperymentalnych z liczbą pomiarów N

Określany jest stopień wielomianu aproksymującego (m).

2. Algorytm obliczeniowy:

2.1. Wyznacza się współczynniki do budowy układu równań z wymiarami

Współczynniki układu równań (lewa strona równania)

- indeks numeru kolumny macierzy kwadratowej układu równań

Terminy swobodne układu równań liniowych (prawa strona równania)

- indeks numeru wiersza macierzy kwadratowej układu równań

2.2. Tworzenie układu równań liniowych o wymiarze.

2.3. Rozwiązywanie układu równań liniowych w celu wyznaczenia nieznanych współczynników wielomianu aproksymującego stopnia m.

2.4. Wyznaczanie sumy kwadratów odchyleń wielomianu aproksymującego od wartości pierwotnych we wszystkich punktach węzłowych

Znaleziona wartość sumy kwadratów odchyleń jest minimalną możliwą wartością.

Aproksymacja z wykorzystaniem innych funkcji

Należy zaznaczyć, że przy aproksymacji danych pierwotnych metodą najmniejszych kwadratów jako funkcję aproksymującą czasami wykorzystuje się funkcję logarytmiczną, funkcję wykładniczą i funkcję potęgową.

Przybliżenie logarytmiczne

Rozważmy przypadek, gdy funkcję aproksymującą podaje funkcja logarytmiczna o postaci: