Привет всем, друзья! ✌ Сегодня рассмотрим такую тему как онлайн-курсы Spark, которые можно пройти абсолютно без нервов. Ну и будет бесплатный материал для изучения этой сферы.

Оставайтесь с нами и тогда вы сможете что-то поменять в вашей сфере.

LETS GO!

Что будет в статье

1. «?Spark Developer» — OTUS
2. «Анализ данных с Apache Spark» — ООО “УЦ КОММЕРСАНТ”
3. «Основы Apache Spark» — Luxoft Training
4. «Apache Spark» — bigdataschool
5. «Анализ данных с Apache Spark» — Академия АйТи
6. «Apache Spark» — НОЧУ ДПО «НЬЮПРОЛАБ»
7. «Symfony 6 / Урок 1 / Быстрый старт (PHP + Nginx + Docker)» — Youtube
8. Заключение

«?Spark Developer» — OTUS

Стоимость на 2023 год: 70 000 ₽

Курс рассчитан на Data инженеров, желающих глубже изучить Spark, а попутно также Hadoop и Hive.

На курсе вы изучите следующие основные темы:

• Hadoop (основные компоненты, дистрибутивы вендоров)
• Архитектура HDFS
• Архитектура YARN
• Форматы данных
• Spark
• Spark Streaming и Flink
• Hive
• Оркестрация, Мониторинг и CI/CD

и т.д.

Научитесь применять все это на практике и закрепите с помощью интересных и сложных домашних заданий и выпускного проекта.

После прохождения курса вы сможете:

• Использовать Hadoop для обработки данных
• Взаимодействовать с его компонентами через консольные клиенты и API
• Работать со слабоструктурированными данными в Hive
• Писать и оптимизировать приложения на Spark
• Писать тесты для Spark-приложений
• Использовать Spark для обработки табличных, потоковых, гео-данных и даже графов
• Настраивать CI и мониторинг Spark-приложений.

Программа обучения:

Модуль 1. Scala

• Тема 1. Основы Scala
• Тема 2. Сборка проектов на Scala

Модуль 2. Hadoop

• Тема 3. Hadoop
• Тема 4. HDFS
• Тема 5. YARN
• Тема 6. Форматы данных

Модуль 3. Spark

• Тема 7. Архитектура приложения Spark
• Тема 8. RDD/Dataframe/Dataset
• Тема 9. Методы оптимизации приложений Spark
• Тема 10. Написание коннекторов для Spark
• Тема 11. Тестирование приложений Spark
• Тема 12. Spark ML

Модуль 4. Streaming

• Тема 13. Kafka
• Тема Spark Streaming
• Тема Structured Streaming
• Тема 16. Flink – часть 1
• Тема 17. Flink – часть 2
• Тема 18. Q&A

Читать еще  Что такое sql в 2023 году и как начать разрабатывать проекты на этом языке программировании?

Модуль 5. Apache Hive

• Тема 19. Обзор Hive
• Тема 20. HiveQL

Модуль 6. Обслуживающие системы

• Тема 21. Оркестрация процессов обработки данных
• Тема 22. Мониторинг и логирование для Spark-приложений
• Тема 23. CI/CD для Spark и Hive

Модуль 7. Проектная работа

• Тема 24. Выбор темы и организация проектной работы
• Тема 25. Консультация по проектам и домашним заданиям
• Тема 26. Защита проектных работ

Выпускной проект

В качестве выпускного проекта будет построена ETL-система на основе Hadoop, включающая в себя:

• Загрузку данных из источников
• Простой Data Lake на основе этих данных с использованием Hive
• Лямбда-архитектуру для реалтайм-аналитики на основе Spark

После курса Вы:

1. заберете с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям, а также решение задач и проектов в виде кода на github и другие дополнительные материалы;
2. получите сертификат о прохождении курса;
3. получите приглашение пройти собеседование в компаниях-партнерах (эту возможность получают самые успешные студенты).

«Анализ данных с Apache Spark» — ООО “УЦ КОММЕРСАНТ”

3-дневный практический курс для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют Spark SQL, потоковую обработку Spark Streaming, машинное обучение MLLib и построение графов Spark GraphX.

Программа курса:

1. Обзор Apache Spark
   Архитектура Обзор компонентов Spark и их назначения
2. Основные абстракции Apache Spark
   Трансформации и действия, Lazy Evaluation
3. Знакомство с Dataframes
   Structured API и основная абстракция Spark – Dataframe
4. Знакомство со Spark RDD
   Low Level API, использование Resilient Distributed Dataset
5. Apache Spark SQL

• Получение данных из SQL-источников и обработка данных с помощью Spark SQL
• Отправка данных в SQL СУБД и работа с Hive QL
• Spark SQL и Hadoop

6. Работа с источниками данных

• Ввод и вывод в Apache Spark
• Работа с файлами и базами данных

7. Производительность и параллелизм в Apache Spark
   Планы выполнения запроса: логические и физические
8. Конфигурирование Apache Spark
   Принципы конфигурирования и основные настройки
9. Spark Streaming

• Разница работы в режимах OLAP и OLTP. Основной workflow
• Виды Spark Streams. Особенности исполнения streaming кода
• Checkpoint в Spark Streaming

10. GraphX

• Задачи графов в программировании. Место графов в модели распределенных вычислений
• Представление графов в GraphX. Операции с графами

11. MLLib

• Задачи машинного обучения и проблематика больших данных
• Основные возможности Spark MLLib

12. Обработка слабоструктурированных данных

• Работа с JSON файлами и строками
• Обработка информации, представленной в виде XML.

Читать еще  Где обучиться Reverse Engineering: ТОП-5 Бесплатных Онлайн-Курсов с Нуля

«Основы Apache Spark» — Luxoft Training

Курс дает представление об основах Apache Spark и методах разработки приложений, обрабатывающих данные на его основе. Рассматриваются как базовые возможности Spark (RDD), так и проекты, расширяющие их набор: Spark SQL, Spark Streaming, MLLib, Spark ML, GraphX.

Целевая аудитория:

Разработчики, архитекторы.

Цели:

• Понимать ключевые концепции и архитектуру Spark;
• Разрабатывать программы обработки данных как последовательности преобразований RDD;
• Разрабатывать программы обработки данных на SQL;
• Обрабатывать потоковые данные;
• Использовать готовые алгоритмы машинного обучения и анализа графов;
• Уметь переносить данные между Spark и внешними системами (Kafka, Cassandra).

Разбираемые темы:

1. Основные концепции и архитектура Spark;
2. Программирование с RDD;
3. Использование RDD с парами ключ/значение;
4. Загрузка и сохранение данных;
5. Аккумуляторы и широковешательные переменные;
6. Spark SQL, DataFrames, Datasets;
7. Spark Streaming;
8. Машинное обучение с использованием MLLib и Spark ML;
9. Анализ графов с использованием GraphX.

После окончания курса выдаётся сертификат на бланке Luxoft Training.

«Apache Spark» — bigdataschool

Курсы предназначены для разработчиков распределенных приложений, инженеров больших данных, аналитиков Big Data, DataOps и DevOps-инженерам, а также специалистов по Data Science и Machine Learning, которые хотят получить следующие знания и навыки:

• Познакомиться с основными функциональными возможностями и базовыми компонентами Apache Spark Core для анализа больших данных и разработки распределенных приложений
• Понять особенности потоковой и микро-пакетной обработки данных в режиме near real-time со Spark Streaming
• Освоить аналитику больших данных с помощью стандартного языка структурированных запросов на Spark SQL
• Изучить графовые алгоритмы обработки информации, парадигму Pregel и ее представление в Spark Graphframe
• Разобраться с реализацией нейросетевых алгоритмов и других методов Machine Learning в Spark MLLib
• Знать методы интеграции Spark-приложений с другими Big Data системами и внешними источниками данных; уметь строить эффективные конвейеры обработки больших данных (Pipelines) на базе Apache Spark, Airflow, Livy и других технологий Big Data
• Понимать способы и возможности оптимизации каждого компонента платформы Apache Spark, от производительности кластера до SQL-запросов и накладных расходов в Big Data Pipeline.

Читать еще  Языки программирования в 2023 году: виды и особенности для начинающего специалиста

«Анализ данных с Apache Spark» — Академия АйТи

Целевая аудитория:

Специалисты, аналитики данных и разработчики, желающие получить опыт настройки и использования компонентов Apache Spark.

Успешное окончание обучения по программе курса позволит специалистам:

• Использовать Spark Streaming для создания приложений потоковой обработки данных
• Понимать разницу использования различных форматов хранения данных и использования RDD, dataframes и datasets
• Обращаться к данным с использование SQL или Hive QL
• Настраивать и использовать компонент GraphX.

«Apache Spark» — НОЧУ ДПО «НЬЮПРОЛАБ»

Для кого этот курс?

• Разработчики
  У вас есть опыт программирования, но не хватает знаний и умений в работе с Apache Spark? В этом курсе вы научитесь выполнять ETL-операции над RDD, Dataframes, использовать Spark Streaming.
• Аналитики
  Вы умеете анализировать данные, но требуется знание новых инструментов? Вы научитесь анализировать большие объемы данных при помощи Apache Spark, строить ML-модели в распределенной среде на кластере.
• Менеджеры
  Вы занимаетесь развитием продукта или подразделения? В этом курсе вы получите погружение в Apache Spark, поймете юзкейсы использования этого инструмента, попробовав многие вещи своими руками.

«Symfony 6 / Урок 1 / Быстрый старт (PHP + Nginx + Docker)» — Youtube

Symfony 6 / Урок 1 / Быстрый старт (PHP + Nginx + Docker)

Быстрый старт Symfony 6 + Docker + Docker Compose (php8, nginx). В этом уроке я продемонстрирую, как разворачивать Symfony приложение в Docker окружении.

Заключение

Обучение Symfony: База данных и Console

При просмотре контента на проекте ЕВГЕНЕВ РУ, на страницах сайта возможны интегрированы реферальные ссылки. Что это для вас значит и как быть, читайте в нашем материале.

https://evgenev.ru/disclamer/ – EVGENEV RU