فرض کنید که داده های مربوط به سایز و قیمت خانه داریم. یک متغیر و یک وابسته. شکل زیر داده ها را نشان می دهد. ما میخواهیم best fit line را حساب کنیم.
M شیب است. زمانی که سایز صفر باشد، مقدارy برابر با c خواهد بود. جایی که محور عمودی قطع میشود.
یک روش این است که چندین خط best fit line را بدست بیاوریم و آن موردی که کمترین مجموع خطاها را دارد ، همان را انتخاب کنیم.
cost Function در اینجا کمینه بودن مجموع خطا هاست. در فرمول زیر m تعداد نقطه ها است. y-hat ها نقاطی هستند که فرمول بدست آمده ی ما از x های ورودی حساب میکنند. اما y ها مقادیر واقعی y هستند. پس میتوان گفت که تفاوت یا خطای مذکور از تفاضل این دو مورد تشکیل میشود.
این مورد زمان بر است. بدست آوردن میلیون ها خط best fit line ومحاسبه تفاضل نقاط امری زمان بر و پر هزینه است.
راه حل آن با gradient decent است: به طور ساده شیب های متعدد را ورودی میدهیم و مقدار costfunction را بدست می آوریم و روی نمودار gradient decent مقدار global minimum را بدست می آوریم. شیب متناسب با gradient decent همان شیب مطلوب ماست.
در شکل زیر m=1 است.
در شکل زیر m=0.5 است:
و در شکل زیر مقدار global minimum مشخص شده است:
و در شکل زیر مشخص است که هر mانتخاب شده کمک میکند که mبعدی سریعتر انتخاب شود و همه در جهت رسیدن به m=0 حرکت میکنند که مطلوب ماست. به همین دلیل میتوان گفت که زمان پیدا کردن best fit line بسیار کوتاه خواهد بود. همچنین در صورتی که مسئله ما از نوع multiple regression باشد، شکل ما به صورت چند بعدی خواهد بود که در آن در هر بعد و هر فیچر سعی میشود که کمینه را پیدا کند.
