فصل دوم hands on – علوم داده

در فصل اول کتاب در مورد ماشین لرنینگ و انواع روش های آن توضیحاتی دادیم. در این فصل میخواهیم به سراغ مسائل واقعی برویم.

در حل یک مسئله واقعی مراحل زیر را خواهیم داشت:

Look at the big picture.
Get the data.
Discover and visualize the data to gain insights.
Prepare the data for Machine Learning algorithms.
Select a model and train it.
Fine-tune your model.
Present your solution.
Launch, monitor, and maintain your system.

Working with Real Data

منابع زیادی برای بدست آوردن دیتا وجود دارد. در زیر چند نمونه آن معرفی میشود:

• Popular open data repositories
— UC Irvine Machine Learning Repository
— Kaggle datasets
— Amazon’s AWS datasets

• Meta portals (they list open data repositories)
— Data Portals
— OpenDataMonitor
— Quandl

• Other pages listing many popular open data repositories
— Wikipedia’s list of Machine Learning datasets
— Quora.com
— The datasets subreddit

California housing prices

در ادامه مسئله تخمین قیمت خانه در کالیفرنیا را بررسی خواهیم کرد:

در پست مسئله قیمت خانه کالیفرنیا این موضوع به طور مفصل تشریح شده است.

Look at the Big Picture

این دیتاست شامل مواردی نظیر جمعیت، متوسط درآمد مردم منطقه است.

Frame the Problem

اولین سوال این است که ما به دنبال چه چیزی هستیم. پاسخ به این سوال تعیین میکند که از چه روشی استفاده کنیم،

چه مدلی طراحی کنیم و چه فیچرهایی را در نظر بگیریم.

Pipelines چیست؟

مجموعه ای از مراحل پردازش داده را pipeline گویند. هر مرحله یا بلوک دیتا را میگیرد و کاری روی آن انجام میدهد و به مرحله بعدی میفرستد.

ادامه حل مسئله قیمت خانه در کالیفرنیا:

1- از آنجا که دیتاهای ما از نوع labeled هستند ممکن است روش supervised learning روش مناسبی برای مسئله ما باشد.

2- همچنین چون میخواهیم مقادیری را پیش بینی (predict) کنیم، روش رگرسیون میتواند یکی از روش های ممکن باشد.

3-با موضوع multiple regression روبرو هستیم، چون تعداد فیچرهای متعددی داریم (اندازه خانه، متوسط درآمد ، تعداد اتاق و …)

4- با موضوع univariate regression روبرو هستیم، چون تنها به دنبال پیش بینی یک متغیر (قیمت خانه) روبرو هستیم.

5- چون دیتای ما ثابت است و نمونه ورودی جدید نداریم از میان batch و online نوع batch را انتخاب میکنیم.

Select a Performance Measure

انتخاب شاخصی که بتواند کیفیت عملکرد ما را ارزیابی کند اهمیت زیادی دارد. یک شاخص خوب Root Mean Square Error (RMSE) است. مقدار این خطا برای خطاهای بزرگتر ، مقدار بیشتری خواهد بود.

در این معادله m تعداد نمونه هایی است که در دیتاست وجود دارد. x مقدار فیچر دیتای i ام و y مقدار مطلوب خروجی برای ورودی متناظر با آن است. و h تابع پیش بینی کننده مدل ما خواهد بود که به آن hypothesis نیز میگویند. برای مثال اگر خانه ای در طول و عرض جغرافیایی،-118.29 ,33.91 و جمعیت آن منطقه برابر 1416 نفر باشد و متوسط درآمد آن منطقه 156400 باشد. x و y منتاظر با این داده به صورت زیر خواهد بود:

حال اگر همه نمونه ها را در قالب ماتریس داشته باشیم، تصویر زیر نمایی از آن خواهد بود:

اندازه گیری مقدار خطا

تابع h یک ورودی متناسب با فیچرها میگیرد و مقداری را به عنوان پیش بینی تولید میکند که به آن y-hat گویند. تفاوت این مقدار پیش بینی شده با مقدار واقعی همان مقدار خطای ما خواهد بود. برای مثال اگر y1=500 و y-hat=450 باشد، مقدار خطای ما 50 خواهد بود.