آموزش اسپارک – قسمت دوم- انواع Action

Action چیست؟

• If an operation on an RDD gives you a result other than an RDD, it is
called an action

isEmpty

اگر RDD خالی باشد ، مقدار True برگردانده میشود.

collect

دیتا از پارتیشن های متعدد RDD در یک آرایه قرارگرفته و چاپ میشود.

CollectasMap

این دستور روی PairRDD کاربرد دارد و نتیجه در فرمت key/value قرار میگیرد.

Count

تعداد المنتهای موجود در RDD به ما برگردانده میشود.

countbyKey

در حالت pairRDD به کار میرود و تعداد رویداد مرتبط با key را برمیگرداند.

countbyvalue

در دوحالت کابرد دارد. 1- RDD و 2- Pair RDD

Max

مقدار max برگردانده میشود.

min , First , Take , TakeOrdered

TakeSample,top,reduce,Fold

Aggregate , forEach , saveAsTextFile

saveAsObjectFile

معماری Spark

Spark uses a master/worker architecture. • driver talks to a single coordinator called master that manages workers in which executors run

آموزش بعدی(قسمت سوم)

منابع:

1- گیت هاب strumer- کدها و فایل ها

منتشر شده در
دسته‌بندی شده در spark

دیدگاهی بنویسید

نشانی ایمیل شما منتشر نخواهد شد.