پردازش جریانی با Flink و Kafka

چکیده:

در سال‌های گذشته پردازش داده‌های جریانی به یکی از موضوعات فعال و جذاب در حوزه‌های مختلف از قبیل سیستم‌های توزیع‌شده و داده‌کاوی تبدیل شده است. اصطلاح “جریان” به پایان ناپذیر و پیوسته بودن این نوع داده‌ها دلالت دارد. داده‌های جریانی با نرخ تولید متنوع و از منابع مختلف مانند شبکه حسگر، شبکه اجتماعی، تراکنش‌های بانکی و سایر بسترهای تولید کننده‌ی داده جریانی به دست می‌آیند. پردازش این نوع داده‌ها با توجه به ویژگی‌هایی که دارند باید برخط و به صورت زمان واقعی انجام گیرد که همین موضوع چالش‌هایی را نیز برای محققین به وجود آورده است. در این کارگاه ابتدا به بیان مفاهیم و ویژگی‌های پردازش داده جریانی پرداخته، سپس پردازش جریانی با ابزار Apache Flink آموزش داده خواهد شد. در ادامه، پایگاه داده های این حوزه مطرح و به طور خاص MongoDB شرح داده خواهد شد. از طرفی ابزار Kafka به عنوان یکی از محبوب ترین ابزارهای این حوزه نیز آموزش داده خواهد شد.

سرفصل ها:

1. مقدمه ای بر پردازش جریانی و کاربردها

۲. مقدمه ای بر Apache Flink

۳. نیازمندی ها و نصب

۴. پیاده سازی مهمترین عملگرهای جریانی Flink

۵. مقدمه ای بر دیتابیس های رایج در پردازش جریانی

۶. معرفی MongoDB و راه اندازی آن

۷. کاربردهای مانگو در پردازش جریانی

۸. معرفی عملگرها، ایندکس گذاری

۹. ابزار Kafka، نصب و راه اندازی

۱۰. گردش کاری (work flow) در Kafka

۱۱. بررسی publish/subscribe در ابزار Kafka

ارائه دهنده ها: 

۱. مصطفی میرزایی

(دانشجوی دکتری مهندسی کامپیوتر، نرم افزار، دانشگاه فردوسی؛ عضو آزمایشگاه فناوری وب)

۲. رامین رضوانی

(دانشجوی دکتری مهندسی کامپیوتر، نرم افزار، دانشگاه فردوسی؛ عضو آزمایشگاه فناوری وب)