РАЗРАБОТЧИК BIGDATA
Старт нового потока – февраль 2025
Диплом о профессиональной переподготовке МФТИ
Стоимость
Рассрочка
Скидки %
14 500 руб/мес.
15 % на программу и 35% на курс для слушателей ранее проходивших курсы и программы Лаборатории инноватики
Частями без переплат подробнее
145 000 р.
программы из 3 курсов
Обучение проводится совместно с основной магистратурой Алгоритмы и технологии программирования.


- среда обучения приближенная к реальной работе

- преподаватели и студенты занимают топовые позиции в крупных IT-компаниях

Вас ждут сложные задачи, интенсивная самостоятельная работа.

Выбрав программу профессиональной переподготовки , Вы присоединяетесь к группе и проходите обучение вместе с основной магистратурой.
Учим онлайн из любой точки мира
Формат
Поддержка
Записи занятий
Диплом
Чат поддержки студентов 24 в сутки
Смотрите запись занятия в удобное время
Пройдите программу и получите диплом о профессиональной переподготовке

Как проходит обучение

Лекции и семинары в Zoom
Запись занятия и доступ на время обучения
Контрольные работы в качестве промежуточной проверки знаний
Обратная связь на домашние задания
КОМУ ПОДОЙДЕТ ПРОФЕССИЯ РАЗРАБОТЧИК BIGDATA
Разработчик
сможете совершенствовать навыки программирования, расширить и получить новые знания в desktop, web разработки, а также в работе с большими данными.
Аналитик
сможете проводить аналитику с помощью SQL и NoSQL инструментов, визуализировать данные и отчеты на основе больших массивов информации.
Data engineer
курсы помогут увеличить свой рабочий арсенал прикладных знаний в работе с данными.
Data scientist
получите знания по современным инструментам и подходам, необходимым для сбора, хранения и обработки данных. Изучите модели машинного обучения в применении к большим данным.
Для успешного прохождения курса нужно владеть базовыми знаниями Python, Linux, SQL, Spark, Hadoop, Docker. Желателен минимальный опыт в Java.
Не уверены, что готовы к успешному прохождению программы? Пройдите тест и проверьте свои знания
Необходимый уровень знаний

Программа
Профессия Разработчик BIGDATA

Чтобы получить Профессию Разработчик BIGDATA, подтвержденную Дипломом о профессиональной переподготовке МФТИ установленного образца, необходимо пройти обучение на трех самостоятельных курсах
КУРС ХРАНЕНИЕ И ОБРАБОТКА БОЛЬШИХ ОБЪЁМОВ ДАННЫХ
Старт: февраль 2025 года
Длительность: 4 месяца
Занятия 1 раз в неделю, расписание на согасовании
  • Распределённые файловые системы (GFS, HDFS)
    Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: Web, shell, Java.
  • Парадигма MapReduce
    Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. Виды и классификация многопроцессорных вычислительных систем. Hadoop. Схема его работы, роли серверов в Hadoop-кластере. API для работы с Hadoop (Native Java API vs. Streaming), примеры. MapReduce, продолжение. Типы Join'ов и их реализации в парадигме MR. Паттерны проектирования MR (pairs, stripes, составные ключи).
  • Управление ресурсами Hadoop-кластера. YARN
    Hadoop MRv1 vs. YARN. Нововведения в последних версиях Hadoop. Планировщик задач в YARN. Apache Slide.
  • SQL over BigData: Apache Drill, Cloudera Impala, Presto, Hive
    SQL over BigData: Apache Drill, Cloudera Impala, Presto, Hive. Повторение SQL. HiveQL vs. SQL. Виды таблиц в Hive, типы данных, трансляция Hive-запросов в MapReduce-задачи. Аналитические функции в Hive. Расширения Hive: Streaming, User defined functions. Оптимизация запросов в Hive.
  • Технологии обработки данных в распределенной оперативной памяти. Apache Spark
    Spark RDD vs Spark Dataframes
    Spark SQL
    Spark GraphFrames
  • Обработка данных в реальном времени. Kafka, Spark Streaming
    Обработка данных в реальном времени. Spark Streaming. Распределённая очередь Apache Kafka. Kafka streams.
  • BigData NoSQL, Key-value базы данных
    HBase. NoSQL подходы к реализации распределенных баз данных, key-value хранилища. Основные компоненты BigTable-подобных систем и их назначение, отличие от реляционных БД. Чтение, запись и хранение данных в HBase. Minor- и major-компактификация. Надёжность и отказоустойчивость в HBase. Cassandra. Основные особенности. Чтение и запись данных. Отказоустойчивость.
    Примеры применения HBase и Cassandra.
    Отличие архитектуры HBase от Сassandra.
КУРС ТЕХНОЛОГИИ ПРОГРАММИРОВАНИЯ И ОПЕРАЦИОННЫЕ СИСТЕМЫ
Старт: сентябрь 2025 года
Длительность: 4 месяца
Занятия 1 раз в неделю
  • Семейство ОС Unix. Современные инструменты для работы в консоли
    Семейство ОС Unix, основные дистрибутивы и их отличия. Основные командные интерпретаторы, их отличия. Утилита sed, язык awk. Использование Python как заменителя shell. Jupyter Notebook. Терминальные мультиплексоры, автоматизация работы с ними.
  • Системы контроля версий
    Системы контроля версий в современных проектах. Разновидности VСS. Git и работа с ним. Работа над проектами в команде. Автоматизация работы с Git.
  • Контейнеризация и виртуализация
    Что это такое? Чем отличаются? Современные платформы и работа с ними. Автоматизация работы с виртуальными окружениями.
  • Непрерывная интеграция
    Методология гибкой разработки. Непрерывная интеграция (continuous integration) и её этапы. Основные инструменты CI и их связь с VCS.
  • Оркестрация контейнеров. Kubernetes
    Основные задачи и концепции. Модель безопасности и контроллеры задач. Архитектура, компоненты. Хранение данных. Взаимодействие по сети. CI/CD в Kubernetes.
КУРС МАШИННОЕ ОБУЧЕНИЕ НА БОЛЬШИХ ОБЪЁМАХ ДАННЫХ
Старт: сентябрь 2025 | сентябрь 2026 года
Длительность: 4 месяца
Занятия 1 раз в неделю
  • Рекомендательные системы
    Рекомендательные сервисы в продакшене.
    Метрики и базовые подходы
    Классические алгоритмы.
    Нейросетевые рекомендеры.
    Нерешенные проблемы и новые направлени.
    Рекомендации и Reinforcement Learning.
  • Анализ эпидемиологических графов
    Foundations & Preliminaries
    Characterization of common graph types
    Notable results
    Advanced topics
    • Тематическое моделирование на больших данных
      Проблемы тематического моделирования при больших данных. AD-LDA, его недостатки, Y!LDA, Mr. LDA. ARTM.
      Библиотеки BigARTM. Online LDA и его применение в Vowpal Wabbit

      Преподаватели программы


      Курсы повышения квалификации или профессиональной переподготовки могут проходить две категории слушателей:
      • те, у кого уже есть среднее или высшее профессиональное образование;
      • те, кто еще учится в колледжах или вузах и не получил диплом.
      Студенты колледжей и вузов могут параллельно учиться по программам ДПО, но удостоверения о повышении квалификации или дипломы о профессиональной переподготовке им выдадут только после того, как будет окончен курс основного образования и на руках у выпускника будет диплом вуза или колледжа.
      Кто может получить дополнительное профессиональное образование
      ОТЗЫВЫ О ПРОГРАММЕ
      Галимов Раис
      Курс «Хранение и обработка больших объемов данных», 1 поток
      Курс «Хранение и обработка больших объемов данных» является блоком программы профессиональной переподготовки «Разработчик BigData», также входит в учебный план образовательных программ магистратуры, занятия проводятся совместно с основной магистратурой.

      Данный курс, по-моему мнению, охватывает основные инструменты работы с большими данными, построен на технологиях и фреймворках с открытым исходным кодом, которые наиболее активно используются и продвигаются практически во всех компаниях.

      На занятия приглашаются ведущие специалисты из крупнейших компаний IT-компаний, банковской сферы, телекома и т.д. Насыщенная теоретическая часть, на семинарских занятиях и в домашках прокачивается навык написания кода.

      Результаты оцениваются по итогам прохождения тестовых заданий по теоретической части, а также выполнения практических кейсов в домашних заданиях.

      Кейсы непростые, для выполнения домашних заданий, чтобы набрать необходимое количество баллов, мне потребовалось не менее 15 часов в неделю. Для прохождения курса точно потребуется знания python, sql, linux, опыт работы с репозиториями git,gitlab (домашки сдаются через репозиторий). Необязательно, но желательно зание java, работа с docker.

      Отличные преподаватели, мощная поддержка кураторов. Рекомендую.

      ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

      Андрей Райгородский о ФПМИ МФТИ
      Доктор физико-математических наук, профессор, директор Физтех-школы прикладной математики и информатики (ФПМИ)
      “Физтех-школа прикладной математики и информатики (ФПМИ) МФТИ – безусловно ведущий мировой центр науки и образования в области математики и информатики. Особенность нашей школы заключается в том, что она сочетает в себе активную научную деятельность и тесную связь с индустрией. На сегодняшний день школа включает в себя 28 кафедр и 22 лаборатории от ключевых академических институтов и ключевых представителей IT-индустрии: Яндекс, Тинькофф, Сбербанк, VK, Abbyy, 1C, Huawei и другие.

      Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "
      Почему стоит выбрать МФТИ
      1 место
      в рейтинге Superjob в сфере
      ТОП 3
      в рейтинге Forbes
      лучших вузов России
      10 нобелевских лауреатов
      среди выпускников и преподавателей
      Более 80
      академиков и членов-корреспондентов РАН
      Почему Вам стоит выбрать МФТИ
      1 место
      в рейтинге Superjob в сфере
      ТОП 3
      в рейтинге Forbes
      лучших вузов России
      10 нобелевских лауреатов
      среди выпускников и преподавателей
      Более 80
      академиков и членов-корреспондентов РАН
      Подать заявку и получить консультацию
      Я ранее проходил обучение на курсах/программах МФТИ / Я являюсь сотрудником МФТИ
      У меня уже есть или я в данный момент получаю высшее/среднее профессиональное образование:
      Мне удобно следующее количество платежей равными суммами:
      Нажимая кнопку «Отправить», вы соглашаетесь с условиями обработки персональных данных
      Оплата обучения возможна в рассрочку
      (только для физических лиц)
      Оплата обучения возможна в рассрочку
      (только для физических лиц)