Хранение и обработка больших объемов данных
Освоите алгоритмы, парадигмамы и инструменты для пакетной и потоковой обработки больших объёмов данных
Курс // Старт февраль 2025
Длительность
Формат
Документ
4 месяца,
4 ак.ч. в неделю
Живое общение с преподавателем на онлайн-вебинарах
Удостоверение о повышении квалификации МФТИ
Рассрочка
Обучение проводится совместно с основной магистратурой МФТИ ФПМИ Алгоритмы и технологии программирования.
Технологии хранения и обработки больших данных включают в себя различные подходы и инструменты, которые позволяют эффективно управлять и анализировать огромные объемы информации.

Обработка больших данных с помощью соответствующих инструментов предоставляет компаниям более глубокое понимание потребностей клиентов, рыночных трендов и операционной деятельности, что в свою очередь может привести к улучшению принятия решений.
Кому подойдет курс
Разработчики
Аналитики
Data Scientists
расширите свои профессиональные возможности и получите новые навыки работы с большими данными
освоите работу с большими данными и сможете решать более сложные и интересные аналитические задачи
получите базу по современным инструментам и подходам к сбору, хранению и обработке данных, чтобы улучшить качество ML- модели
Junior Data Engineers
научитесь грамотно использовать современные технологии работы с Big Data и понимать, какую технологию в каких случаях лучше применять
Программа курса
7 модулей
4 месяца
4 ак.ч. в неделю
  • Распределённые файловые системы (GFS, HDFS)
    Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: Web, shell, Java.
  • Парадигма MapReduce
    Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. Виды и классификация многопроцессорных вычислительных систем. Hadoop. Схема его работы, роли серверов в Hadoop-кластере. API для работы с Hadoop (Native Java API vs. Streaming), примеры. MapReduce, продолжение. Типы Join'ов и их реализации в парадигме MR. Паттерны проектирования MR (pairs, stripes, составные ключи).
  • Управление ресурсами Hadoop-кластера. YARN
    Hadoop MRv1 vs. YARN. Нововведения в последних версиях Hadoop. Планировщик задач в YARN. Apache Slide.
  • SQL over BigData: Apache Drill, Cloudera Impala, Presto, Hive
    SQL over BigData: Apache Drill, Cloudera Impala, Presto, Hive. Повторение SQL. HiveQL vs. SQL. Виды таблиц в Hive, типы данных, трансляция Hive-запросов в MapReduce-задачи. Аналитические функции в Hive. Расширения Hive: Streaming, User defined functions. Оптимизация запросов в Hive.
  • Технологии обработки данных в распределенной оперативной памяти. Apache Spark
    Spark RDD vs Spark Dataframes
    Spark SQL
    Spark GraphFrames
  • Обработка данных в реальном времени. Kafka, Spark Streaming
    Обработка данных в реальном времени. Spark Streaming. Распределённая очередь Apache Kafka. Kafka streams.
  • BigData NoSQL, Key-value базы данных
    HBase. NoSQL подходы к реализации распределенных баз данных, key-value хранилища. Основные компоненты BigTable-подобных систем и их назначение, отличие от реляционных БД. Чтение, запись и хранение данных в HBase. Minor- и major-компактификация. Надёжность и отказоустойчивость в HBase. Cassandra. Основные особенности. Чтение и запись данных. Отказоустойчивость.
    Примеры применения HBase и Cassandra.
    Отличие архитектуры HBase от Сassandra.
Необходимый уровень знаний
Для успешного прохождения курса нужно владеть базовыми знаниями Python, Linux. Желателен минимальный опыт в Java, SQL. Основы Hadoop, Docker приветствуются, но не являются обязательными, так как их Вы будете изучать на курсе.

Как проходит обучение
Качественная теоретическая подготовка
Все преподаватели — признанные профессионалы в своей области. Вы получите те знания и навыки, которые востребованы сейчас на рынке
Живое общение с преподавателем
Онлайн-занятия с преподавателем – живые встречи по установленному расписанию. Занятия совмещают теорию и практику. Вы видите экран преподавателя, задаете вопросы, получаете обратную связь
Домашние задания
Материалы занятий нужно обязательно закреплять, выполняя домашние задания. Команда курса проверяет задания и дает обратную связь. Условием успешного окончания курса является выполнение всех домашних заданий
Записи занятий
Вы сможете всегда пересмотреть занятие в записи, чтобы лучше усвоить пройденную тему, или же если не смогли по какой-то причине присоединиться к занятию
Общение и поддержка 24/7
Вы будете добавлены в чат, где сможете общаться со своими сокурсниками, куратором школы и преподавателем: задавать вопросы, делиться опытом
Акцент на навыках
Вас ждёт много практической работы, разбор кейсов, а благодаря выполнению финального проекта под руководством преподавателя вы получите свой первый выполненный проект
Доступ к электронной библиотеке МФТИ
Электронная библиотека создана для того, чтобы информационно помогать нашим слушателям. Вы получаете удаленный доступ к электронным учебникам
Не прощаемся после курсов
На связи с вами и после курса. Поможем при необходимости составить и проверить ваше резюме, делимся информацией о тематических конференциях, вебинарах, вакансиях и стажировках

Преподаватель курса

Кто может получить дополнительное профессиональное образование
те, у кого уже есть среднее или высшее профессиональное образование;
Курсы повышения квалификации или профессиональной переподготовки могут проходить две категории слушателей:
те, кто еще учится в колледжах или вузах и не получил диплом. методы обработки текста, а именно - решения задач классификации, тегирования и генерации
Студенты колледжей и вузов могут параллельно учиться по программам ДПО, но удостоверения о повышении квалификации или дипломы о профессиональной переподготовке им выдадут только после того, как будет окончен курс основного образования и на руках у выпускника будет диплом вуза или колледжа
ФПМИ МФТИ
25
218
26
научных лабораторий, в которых рождается прогресс
преподавателей с учёными степенями
крупных компаний-партнёров, интегрированных с университетом
"Физтех-школа прикладной математики и информатики (ФПМИ) МФТИ – безусловно ведущий мировой центр науки и образования в области математики и информатики.

Особенность нашей школы заключается в том, что она сочетает в себе активную научную деятельность и тесную связь с индустрией.

На сегодняшний день школа включает в себя 28 кафедр и 22 лаборатории от ключевых академических институтов и ключевых представителей IT-индустрии: Яндекс, Тинькофф, Сбербанк, VK, Abbyy, 1C, Huawei и другие.

Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "
Доктор физико-математических наук, профессор, директор Физтех-школы прикладной математики и информатики (ФПМИ)
Андрей Райгородский о ФПМИ МФТИ
МФТИ №1 среди технических вузов России
Нам есть, чем гордиться
МФТИ вошел в 50 лучших вузов мира по физике и в 100 лучших по математике по результатам рейтинга QS World University Rankings by Subject 2021
12 выпускников МФТИ вошли в список Forbes
В общих рейтингах лучших университетов мира Times Higher Education и Quacquarelli Symonds МФТИ занимает первое место среди технических вузов России
2 выпускника МФТИ стали Нобелевскими лауреатами по физике в 2010 году
Исследование Superjob показало, что самые высокие зарплаты среди молодых IT-специалистов - 230 000 рублей в месяц - окончивших вузы в 2014-2019 годах, у выпускников Московского Физико-технического института
Подписка на рассылку новостей ФПМИ МФТИ
Хотите быть в курсе предстоящих событий и новых программ? Тогда подпишитесь на нашу рассылку
Что еще важно
Гарантия возврата 14 дней
Рассрочка 0%
Возврат 13% от государства
За 14 дней вы посетите 4 занятия, и если вы решите прекратить обучение, вернём деньги в полном объёме
Институт напрямую, без посредничества банка, предоставляет рассрочку
Вы можете получить налоговый вычет за обучение и сэкономить до 13% от стоимости программы
Нажимая кнопку «Отправить», вы соглашаетесь с условиями обработки персональных данных
продолжительность курса 4 месяца
64 000 ₽
Чтобы подать заявку, получить бесплатную консультацию или подробную программу обучения, пожалуйста, заполните форму
Стоимость обучения
Вернем деньги, если обучение не подойдет
Скидка 35%, если это ваш 2й курс
FAQ
Часто задаваемые вопросы