12
Курсов
30+
Отзывов
10
Обзоров
Професии

1 место. Курс «Профессия Data Engineer» — Skillbox

https://skillbox.ru/course/data-engineer/

ТОП-12 курсов Data Engineer в 2023 году: обучение онлайн. Платные и бесплатные. Рейтинг, сравнение, стоимость.

Стоимость: Рассрочка на 31 месяц — 4 879 ₽ / мес

Дата-инженер собирает информацию, выстраивает инфраструктуру для её хранения и готовит данные для использования другими специалистами.

Задача специалиста — проанализировать сырые данные, отобрать полезные, создать экспериментальные модели и отдать их дата-сайентисту для дальнейшего изучения.

Кому подойдёт этот курс:

Чему вы научитесь:

  1. Использовать инструменты анализа
    Освоите языки Python и SQL. Сможете работать с библиотеками и фреймворками pandas, airflow, spark.
  2. Обрабатывать данные
    Узнаете, как подключаться к источникам информации и загружать их в систему. Сможете очищать, сохранять и интегрировать данные.
  3. Тестировать код
    Поймёте, как проводить регрессионное тестирование. Сможете тестировать пакеты, пайплайны и обрабатывать ошибки.
  4. Взаимодействовать с заказчиком
    Разберётесь, как готовить отчётность и согласовывать инфраструктуру данных. Сможете предоставить корректные данные заказчику.
  5. Разворачивать Data Science проект
    Поймёте, как реализовывать загрузку данных и собирать информацию из разных источников. Сможете выстраивать готовый пайплайн проекта.
  6. Работать в команде
    Познакомитесь с git и облачными сервисами для совместной работы. Сможете эффективно взаимодействовать со всеми участниками процесса.

Программа

Вас ждут онлайн-лекции и практические задания на основе реальных кейсов.
34 модуля

Базовый уровень

  1. Введение в Data Science
  1. Основы математики для Data Science
    Получите базовые знания по математике для работы с машинным обучением. Поймёте, что такое аппроксимация, интерполяция, функции, регрессии, матрицы и векторы. Научитесь работать с математическими сущностями в Python-библиотеке SymPy.
  2. Основы статистики и теории вероятностей
    Поймёте принципы работы со случайными величинами и событиями. Познакомитесь с некоторыми видами распределений и статистическими тестами, которые пригодятся при составлении моделей и проверке гипотез.

Data Engineer Junior

  1. Вводный блок
    Узнаете, чем занимается Data Engineer, какую роль играет в Data Science проекте и какие у него пути карьерного развития. Поймёте, как построен курс и какие темы вы будете изучать.
  2. SQL
  1. LVL 2
    Рассмотрите типы данных, возможности их преобразования и принцип совместной работы Python и SQL — получение данных из БД, работа с данными и выполнение запросов. Изучите основные понятия схем данных JSON и XML. Сможете настраивать отладку приложений, писать тесты, обезличивать и шифровать данные.
  2. Библиотеки для Python
    Узнаете, что такое библиотеки для работы с графиками, обучение с учителем, визуализация метрик и источники датасетов. Научитесь использовать Python и библиотеки для работы с данными. Сможете продолжить изучение Pandas.
  3. Airflow
    Рассмотрите ключевые понятия и практики по работе с Airflow. Изучите архитектуру и основы взаимодействия от UI до CLI. Построите свой первый data pipeline.
  4. Основы Spark
  1. Основы алгоритмов Machine Learning
    Разберёте основные виды моделей машинного обучения, ключевые термины и определения. Изучите алгоритмы регрессии и алгоритмы кластеризации.
  2. Deployment

Data Engineer Advanced

  1. Продвинутый уровень
    Научитесь пользоваться типовыми средствами мониторинга, настраивать алерты. Будете выбирать архитектуру для хранения данных и работать со сложными типами архитектуры хранилищ. Выстраивать инфраструктуру и пайплайны для обучения ML-моделей.

Бонусные курсы

  1. Карьера разработчика: трудоустройство и развитие
    Узнаете, как выбрать подходящую вакансию, подготовиться к собеседованию и вести переговоры с работодателем. Сможете быстрее получить должность, которая соответствует вашим ожиданиям и умениям.
  2. Система контроля версий Git
    Научитесь версионировать изменения в коде, создавать и управлять репозиториями, ветками, разрешать конфликты версий. Узнаете полезные правила работы с Git.
  3. Английский для IT-специалистов
    Получите языковые навыки, которые помогут пройти собеседование в иностранную компанию и комфортно общаться в смешанных командах.

Дипломный проект

  1. Дашборды на основе данных источника
    Вы объедините и обработаете данные из различных источников: истории транзакций от партнёров, текстовых логов, выгрузки справочников по API и других. На основе этих данных построите интерактивный отчёт.

2 место. Курс «Дата-инженер с нуля до middle» — Нетология

https://netology.ru/programs/data-engineer

ТОП-12 курсов Data Engineer в 2023 году: обучение онлайн. Платные и бесплатные. Рейтинг, сравнение, стоимость.

Стоимость: 120 000 ₽ или рассрочка на 24 месяца — 5 000 ₽ / мес

Обучение на курсе поможет вам:

Кому будет полезен этот курс:

Чему вы научитесь:

  1. Объяснять архитектуру и структуру базы данных
    Проектировать схемы хранилищ и выбирать DWH под задачу и бюджет бизнеса среди популярных решений: Snowflake, BigQuery, Azure SQL DW, Redshift
  2. Создавать процессы обработки данных
    Настраивать и конфигурировать ETL / ELT-процессы в нескольких дата-инструментах
  3. Работать с основными инструментами обработки больших данных
    Lambda architecture, kappa architecture, а также hdfs, yarn, hive и другими обязательными частями инфраструктуры
  4. Обрабатывать события в режиме реального времени
    Построите свой конвейер обработки даннных, сборщик событий, RTDM-систему с выводом в массовые enterprise BI-решения
  5. Разовьёте навык data literacy
    Сможете понимать, пояснять и обогащать данные отчётов, дашбордов и других источников информации
  6. Строить работающий пайплайн в облачной среде
    И включать в него модели машинного обучения, нейронные сети, сервисы оркестрирования контейнеров и проверку версионности.

Программа курса:

  1. SQL и получение данных
  1. Data Warehouse
    Научим работать с классическим хранилищем данных.
  2. Business Intelligence решения и многомерная модель данных
  1. Python
  1. Data Lake & Hadoop
    Познакомим с основным инструментом обработки больших данных.
  2. Продвинутые методы работы с данными
  1. Работа с потоковыми данными
    Научим работать с потоковыми данными.
  2. Работа с данными в облаке
  1. Введение в DS & ML
  1. MLOps
  1. Дипломный проект
    Разработка и документирование ETL-процессов заливки данных в хранилище.

3 место.Курс «Data Engineering» — SkillFactory

https://skillfactory.ru/data-engineer

ТОП-12 курсов Data Engineer в 2023 году: обучение онлайн. Платные и бесплатные. Рейтинг, сравнение, стоимость.

Стоимость: 32 400 ₽ или рассрочка на 12 месяцев

Курс ориентирован на практику и основные инструменты, подходит для тех, кто имеет базовые знания языка Python. За два месяца вы освоите все важные этапы Data Engineering.

Программа курса:

  1. Введение, практический linux
    Кто такой Data Engineer и зачем ему Linux?
  2. Современные хранилища данных
    Разнообразие баз данных и их особенности
  3. Экосистема Hadoop
    Что такое Hadoop, что он умеет и как им пользоваться
  4. Источники данных и работа с ними
    Файлы как источники данных, JDBC — структурированные данные, SQL для выгрузки данных
  5. Apache Spark и обработка данных
    Зачем нужен Apache Spark и как с ним работать
  6. Hadoop как хранилище данных
    Особенности и нюансы hdfs
  7. Apache Airflow для оркестрации конвейеров
    Настройка data pipelines
  8. Обзор облачных хранилищ
    Особенности и нюансы работы с облачными хранилищами: Google, Amazon, Azure.

На курсе обучение не заканчивается:

Курс «Data Engineer» — OTUS

https://otus.ru/lessons/data-engineer/

ТОП-12 курсов Data Engineer в 2023 году: обучение онлайн. Платные и бесплатные. Рейтинг, сравнение, стоимость.

Стоимость: 92 000 ₽

Что даст вам этот курс:

Курс адресован разработчикам, администраторам СУБД и всем, кто стремится повысить профессиональный уровень, освоить новые инструменты и заниматься интересными задачами в сфере работы с данными.

После обучения Data Engineering вы станете востребованным специалистом, который:

Программа обучения:

Модуль 1. Data Architecture

Модуль 2. Data Lake

Модуль 3. DWH

Модуль 4. NoSQL/NewSQL

Модуль 5. MLOps

Модуль 6. Выпускной проект

Выпускной проект: реализация задачи по интересующей теме с применением комплекса знаний, полученных в рамках курса.

После обучения вы

Заберете с собой:

В результате обучения вы:

Курс «Data Engineering» — GeekBrains

https://gb.ru/geek_university/data-engineer

ТОП-12 курсов Data Engineer в 2023 году: обучение онлайн. Платные и бесплатные. Рейтинг, сравнение, стоимость.

Стоимость: нет информации

Вы научитесь собирать и обрабатывать данные, проектировать хранилища и работать с инфраструктурой. Повысьте квалификацию и уровень дохода вместе с GeekBrains.

После курса вы сможете работать по специальностям:

Кому подойдёт курс:

Программа курса:

Подготовительный блок
Мы рекомендуем пройти подготовительные курсы, чтобы закрыть возможные пробелы в знаниях.

I четверть. Сбор и хранение данных
Вы погрузитесь в профессию дата-инженера: познакомитесь с понятием базы данных, научитесь использовать SQL, создавать запросы, программировать на Python. Также познакомитесь с открытыми данными, RESTful и SOAP-сервисами, форматами XML и JSON.

II четверть. Построение хранилищ данных для систем аналитики
Познакомитесь с реляционными и нереляционными базами данных, узнаете, как строить хранилища данных и выбирать архитектуры под конкретную задачу.

III четверть. Распределенные базы данных
В данной четверти вы познакомитесь с инструментами обработки больших массивов данных, в первую очередь с инструментами экосистемы Hadoop: HDFS, Yarn, Hive, Hue, Flume, Cassandra и другими. Вы освоите возможности фреймворка Apache Spark для распределённой обработки неструктурированных и слабоструктурированных данных. В конце четверти познакомитесь с популярным инструментом Apache Airflow для планирования и мониторинга пакетных процессов работы с большими данными.

IV четверть. Real-time обработка данных и инфраструктура
В последней четверти вы освоите потоковую обработку данных с использованием инструментов Kafka и Spark Streaming. Также освоите практики DevOps, необходимые для работы дата-инженером.

Курсы вне четверти

Предметы с индивидуальным выбором даты старта
Курсы вне четверти являются частью основной программы обучения и обязательны к прохождению. Вы можете формировать часть расписания самостоятельно и регулировать интенсивность обучения. На прохождение этих предметов у вас есть 2.5 года с момента покупки обучения в GeekUniversity. Проходите параллельно с четвертями или после года обучения.

Вы получаете электронный сертификат и диплом о профессиональной переподготовке, их можно приложить к портфолио и показать работодателю.

Курс «Data Engineer» — NIX LTD

https://www.nixsolutions.com/ru/study-center/courses/obuchenie-data-engineer/

ТОП-12 курсов Data Engineer в 2023 году: обучение онлайн. Платные и бесплатные. Рейтинг, сравнение, стоимость.

Стоимость: бесплатно

Этот курс для тех, у кого есть базовые знания баз данных, стремление изучить теорию и отработать ее на практике, а также желание перейти от слов к действию. Полученные скиллы станут веским аргументом для твоего дебюта в качестве Junior Data Engineer в NIX.

Курс «Data Engineer» — НОЧУ ДПО «НЬЮПРОЛАБ»

https://newprolab.com/ru/dataengineer

ТОП-12 курсов Data Engineer в 2023 году: обучение онлайн. Платные и бесплатные. Рейтинг, сравнение, стоимость.

Стоимость: 80 000 ₽

Что входит в программу:

Для кого эта программа?

Чему вы научитесь:

В нашей программе есть три составляющих

  1. Установка
    Научитесь самостоятельно устанавливать все инструменты, используемые на программе, пользуясь нашими подробными мануалами.
  2. Настройка
    Научитесь подключать инструменты друг к другу, формируя пайплайны, получая baseline-решение.
  3. Тюнинг
    Научитесь улучшать быстродействие и отказоустойчивость как отдельных инструментов, так и пайплайнов целиком.

Проект 1. Lambda-архитектура

  1. Деплой кластера в облаке и подключение Kafka
    Перед стартом проекта вам нужно будет реализовать подготовительный этап — развертывание собственного кластера в облаке. После чего организовать сбор данных о посещении пользователей различных страниц сайта и их покупках.
  2. Batch-layer
    В этой лабе вам нужно будет организовать batch-layer в lambda-архитектуре. Вы получите данные из Kafka, положите их на HDFS. Используя Airflow, будете планово перекладывать предобработанные данные в ClickHouse.
  3. Speed-layer
    Используя Spark Streaming, вам нужно будет построить speed-layer, который будет обрабатывать данные в режиме реального времени, восполняя недостающую информацию в batch-layer.
  4. Service-layer
    Первый проект завершает тем, что вы подключаете один из BI-инструментов к обоим слоям — batch и speed — для выполнения аналитических запросов в отношении среднего чека и других метрик.

Проект 2. Kappa-архитектура

  1. Speed-layer
    В рамках этого проекта вам нужно будет построить модель машинного обучения, используя Spark ML, после чего использовать ее для прогнозирования пола и возрастной категории пользователей, заходящих на сайт.
  2. Service-layer
    Второй проект завершается тем, что вы подключаете BI-инструмент, который по запросу сможет выдавать нужные сегменты аудитории за всю историю существования без использования batch-layer.

Курс «Data Engineer» — KARPOV.COURSES

https://karpov.courses/dataengineer

ТОП-12 курсов Data Engineer в 2023 году: обучение онлайн. Платные и бесплатные. Рейтинг, сравнение, стоимость.

Стоимость: 80 000 ₽

Для кого:

Вы освоите:

  1. Проектирование DWH
    В этом модуле мы познакомимся с верхнеуровневой логической архитектурой DWH, разберём её основные компоненты, которые будут освещены далее в курсе, а также рассмотрим в теории и разберём на практике разные подходы к проектированию детального слоя.
  2. Реляционные и MPP СУБД
    В этом модуле познакомимся с реляционными и MPP базами данных, рассмотрим, как они работают изнутри, и узнаем, что и в каком случае лучше выбрать. Изучим архитектуру разнообразных решений на рынке. Попрактикуемся готовить PostgreSQL и MPP на примере GreenPlum.
  3. Big Data
    В этом модуле познакомимся с механизмами распределённого хранения и обработки данных на базе Hadoop стека. Разберём основные паттерны реализации распределённой обработки. Рассмотрим вопросы отказоустойчивости и восстановления после сбоев. Коснёмся потоковой обработки данных и уделим внимание методам и средствам мониторинга и профилирования spark заданий.
  4. ETL
    В этом модуле познакомимся с Apache Airflow, научимся его настраивать и строить с его помощью пайплайны.
  5. Хранилище в облаках
    В этом модуле познакомимся с облаками и инструментами для построения DWH и Data Lake, рассмотрим основы Kubernetes и получим практические навыки применения Kubernetes для работы с данными.
  6. Визуализация
    В этом модуле познакомимся с Tableau — одним из самых мощных BI-инструментов. Рассмотрим основные принципы работы с данными с точки зрения их визуализации.
  7. Big ML
    В этом блоке познакомимся с модулем Spark ML. Изучим подходы по обучению и применению моделей машинного обучения на больших данных.
  8. Управление моделями
    В этом модуле рассмотрим применяемые инструменты для помощи в построении ML пайпланов, версионирования датасетов и организации учета и трекинга ML моделей.
  9. Управление данными.
    В этом блоке познакомимся с подходами, применяемыми компаниями для управления данными. Разберем подходы для управления данными, происхождения данных и контроля качества данных.

Курс «Data Engineer» — ProductStar

https://productstar.ru/analytics-dataengineer-info

ТОП-12 курсов Data Engineer в 2023 году: обучение онлайн. Платные и бесплатные. Рейтинг, сравнение, стоимость.

Стоимость: 39 000 ₽

Чему вы научитесь:

Программа курса (60 лекций и воркшопов)

Блок 1: «Получение и подготовка данных: SQL»

Блок 2: «Python, мат.модели и обработка данных»

Блок 3: «Data Warehouse»

Блок 4: «Business Intelligence-решения и аналитика больших данных»

Блок 5: Дипломная работа и помощь с трудоустройством

Выпускники получают сертификат об успешном прохождении курса — что, вместе с дипломным проектом, будет хорошим аргументом при трудоустройстве.

Курс «Data Engineering» — robot_dreams

https://robotdreams.cc/course/data-engineering

ТОП-12 курсов Data Engineer в 2023 году: обучение онлайн. Платные и бесплатные. Рейтинг, сравнение, стоимость.

Стоимость: нет информации

Пройдите курс DE, и вы сможете:

Кому будет полезен курс:

Программа курса

  1. Введение в Data Engineering
    Узнайте всё, что вы хотели о профессии Data Engineer: цели, направления, задачи, обязанности и функция в команде. Сравните Data Engineer vs Big Data Engineer. Ознакомьтесь с технологиями, с которыми вы будете работать во время курса. Поймите, какие задачи решает конкретная Big Data технология.
  2. Python для Data Engineering
    Научитесь работать с разными структурами данных: string, list, tuple, set, dictionary. Начните загружать данные из внешних источников с помощью Python. Узнайте специфику работы с модулями Python: import и relative import модулей.
  3. SQL для Data Engineering
    Узнайте, для чего используется SQL в Big Data. Научитесь объединять наборы данных при помощи SQL: JOIN, UNION, EXCEPT. Начните использовать SQL для аналитических запросов: аналитические функции, группирование данных, оконные функции. Поймите, как писать быстро-выполняющийся SQL.
  4. Аналитические базы данных
    Выявите различия между OLTP и OLAP системами. Поймите техническую реализацию системы управления баз данных, предназначенных для аналитики. Научитесь описывать структуру базы данных при помощи ER-модели для ее будущего конструирования (Crow’s foot notation).
  5. Проектирование хранилищ данных
    Узнайте, какое назначение хранилищ данных и какие существуют подходы к их проектированию. Научитесь проектировать (строить) хранилища данных. Освойте навык “представление данных в виде витрин”. Разберите примеры существующих хранилищ данных.
  6. Передача данных между системами. Часть 1
    Спроектируйте ETL решение. Поймите, как передавать данные между системами. Научитесь извлекать данные из внешних источников, трансформировать и очищать.
  7. Передача данных между системами. Часть 2
    Научитесь создавать, запускать и мониторить ETL при помощи Apache Airflow. Начните описывать ETL процессы, используя Directed Acyclic Graph. Напишите свой оператор Airflow для доступа к API. Подключитесь к внешним источникам данных с помощью Apache Airflow.
  8. Распределенные вычисления. Лекция
    Разберитесь с понятием распределенных систем и вычислений. Узнайте, какие задачи они решают и какие готовые решения уже существуют. Выявите отличия распределенных систем от обычных, разберите их преимущества и недостатки. Поймите, что означают свойства распределенных систем и ограничения распределенных систем в САР-теореме для вашей работы. Узнайте, на что стоит обратить внимание при построении распределенных систем и чем можно пожертвовать при решении конкретной задачи.
  9. Экосистема Hadoop для распределенной работы с файлами
    Научитесь пользоваться экосистемой Hadoop. Узнайте, в чем предназначение каждой технологии в рамках экосистемы Hadoop. Изучите альтернативы Hadoop. Начните использовать Hadoop Distributed File System.
  10. Распределенная файловая система (HDFS)
    Научитесь работать с распределенной файловой системой Hadoop. Ознакомьтесь со спектром решаемых задач. Изучите внутреннюю архитектуру HDFS и особенности её реализации. Научитесь управлять файлами, загружать, выгружать данные, администрировать кластера при помощи HDFS.
  11. BigData архитектуры
    Освойте технологию MapReduce для параллельных вычислений над большими наборами данных в компьютерных кластерах. Изучите задачи, которые решаются с помощью MapReduce. Научитесь анализировать большие объемы данных с использованием MapReduce
  12. Распределенные вычисления в оперативной памяти (Apache Spark)
    Начните обзор технологии Apache Spark, выявите её отличие от MapReduce. Поймите, почему Apache Spark флагманская технология в мире BigData. Узнайте, какие задачи решает Apache Spark. Используйте технологию Apache Spark для организации больших данных.
  13. Работа со структурированными данными при помощи SparkSQL. Часть 1
    Начните знакомство со SparkSQL — одним из синтаксисов Apache Spark. Научитесь загружать данные в Spark. Изучите работу Spark со внешними источниками данных. Совершите трансформации над структурированными данными при помощи SparkSQL.
  14. Работа со структурированными данными при помощи SparkSQL. Часть 2
    Начните выгрузку данных из Spark. Научитесь проводить аналитику на структурированных данных в Spark.
  15. Оптимизация выполнения задач в Apache Spark
    Поймите, как написать эффективный код и ускорить обработку больших данных в Apache Spark. Научитесь выявлять основные проблемы производительности Spark, устраните их. Организуйте данные в кластере Apache Spark.
  16. Потоки данных в Apache Spark
    Поймите, чем отличается обработка потоковых данных от статичных. Научитесь обрабатывать потоки данных с помощью Spark Streaming. Разберите пример программы по анализу потоковых данных.
  17. Подведение итогов
    Объедините все полученные знания. Создайте data platform. Сделайте обзор полного цикла подготовки и реализации проекта. Начните подготовку к курсовому проекту.
  18. Защита курсового проекта
    Получите тему курсового проекта. Ознакомьтесь с форматом работы. Выполните ряд обязательных требований для реализации проекта. Успешно защитите его.

Курс «Data Quality Engineering» — EPAM Systems

https://careers.epam.by/training/training-listings/training.3515

ТОП-12 курсов Data Engineer в 2023 году: обучение онлайн. Платные и бесплатные. Рейтинг, сравнение, стоимость.

Стоимость: нет информации

Data Engineering – это работа с данными и Big Data: программирование сбора, хранения, обработки, поиска и визуализации.

Тренинг поможет Вам:

Для кого:

Курс «Data Engineering and Analytics» — DATALEARN

https://datalearn.ru/

ТОП-12 курсов Data Engineer в 2023 году: обучение онлайн. Платные и бесплатные. Рейтинг, сравнение, стоимость.

Стоимость: бесплатно

Список курсов:

  1. Getting start with Data Engineering and Analytics (DE — 101)
    ~10 недель, с одним вебинаром в неделю и с домашкой, от простого к сложному, что-то вроде моей карьеры за 10 недель.
  2. Getting Started with Machine Learning и Data Science (ML-101)
    Требуется серьезная мотивация и целеустремленность, чтобы закончить курс, и если вы справитесь со всеми модулями курса ML-101, то вы легко справитесь с базовым уровнем задач на позициях Data Science Intern, Junior Data Scientist, Applied Scientist
  3. Курс по поиску работы для аналитических специальностей в России и за рубежом (JH — 101)
  4. Getting started with SQL for beginners
    Практический видеокурс по работе с базами данных с использованием языка структурированных запросов SQL (Structured Query Language).
    Подойдет тем, кто слышал об SQL, но боялся попробовать
  5. Women in Data Community
    Наша цель — создать наиболее комфортную среду для девушек, которые интересуются карьерой в data. В дополнение к основным курсам, коммьюнити — платформа, где можно пообщаться с девушками из data, узнать про карьеры в data и задать любые интересующие вопросы.

Для кого подойдут эти курсы:

Карта сайта