Инструменты работы с большими данными
- Apache Hadoop (HDFS, MapReduce, YARN)
- Apache Hive
- Apache Spark (в том числе технологии Streaming)
- Apache Kafka
- NoSQL в больших данных (Apache Cassandra, Apache HBase)
Курс // Старт 18 октября 2025
Длительность
Формат
Документ
2,5 месяца,
8 ак.ч. в неделю
8 ак.ч. в неделю
Живое общение с преподавателем на онлайн-вебинарах
Удостоверение о повышении квалификации МФТИ
Время занятий
Освойте ключевые инструменты Big Data — станьте востребованным специалистом
Научитесь работать с Hadoop, Spark и MapReduce — главными технологиями для обработки и анализа больших объемов данных. Получите практические навыки, которые позволят вам строить эффективные data-решения и открыть двери в перспективные IT-профессии.
На курсе изучите:
-
основные технологии работы с большими данными -
типы хранилищ больших объёмов данных -
подходы к потоковой и пакетной обработке данных -
принципы трансляции высокоуровневых языков программирования (SQL-подобных и функциональных) в последовательность задач на Hadoop кластере -
администрирование экосистемы BigData
Кому подойдет курс
Разработчики
Аналитики
Data Scientists
расширите свои профессиональные возможности и получите новые навыки работы с большими данными
освоите работу с большими данными и сможете решать более сложные и интересные аналитические задачи
получите базу по современным инструментам и подходам к сбору, хранению и обработке данных, чтобы улучшить качество ML- модели
Junior Data Engineers
научитесь грамотно использовать современные технологии работы с Big Data и понимать, какую технологию в каких случаях лучше применять
После обучения вы сможете:
- Пользоваться распределенной файловой системой
- Запускать задачи на Hadoop кластере
- Пользоваться высокоуровневыми языками программирования для BigData для обработки большого объема данных на вычислительном кластере
- Писать задачи для запуска на Hadoop кластере с помощью нативного Java-интерфейса
- Работать с большими объемами данных и располагать кругозором в выборе архитектурного решения поставленной задачи
- Писать задачи для запуска на Hadoop кластере с помощью любого другого языка программирования (с помощью инструментария Hadoop streaming)
Необходимый уровень знаний
Для успешного прохождения курса нужно необходимо иметь базовые навыки работы с Python, SQL, Linux.
Приветствуется минимальный навык в Java
Приветствуется минимальный навык в Java
Программа курса
16 занятий
2,5 месяца
8 ак.ч. в неделю
Виды отказов в сети. Распределённые файловые системы (GFS, HDFS). Их достоинство и сфера применения. Архитектура HDFS. Алгоритмы чтения и записи в HDFS. HDFS Web UI. Обзор API для работы с HDFS
Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. API для работы с Hadoop (Native Java API vs. Streaming)
Дополнительные элементы MapReduce-задачи (Combiner, Comparator, Partitioner). Типы Join'ов и их реализации в парадигме MR. Паттерны проекттирования MR (pairs, stripes, составные ключи).
Дополнительные применения MapReduce
Повторение SQL. HiveQL vs. SQL. Hive. Виды таблиц в Hive, типы данных, трансляция Hive-запросов в MapReduce-задачи.
Оптимизация запросов в Hive (партиционирование, бакетирование, оптимизация Join'ов). Примерные расчеты в Hive. Расширения Hive (select-transform и UDF). Не только Hive: обзор Apache Pig, Cloudera Impala, Presto, Trino
Итеративная обработка больших данных на Apache Spark, отличия Spark от MapReduce. Spark RDD API
SQL-запросы на Spark. GraphX и GraphFrames
Принципы обработки данных в реальном времени. Её отличия от "батч"-обработки. Spark Streaming API
Apache kafka. Архитектура, отличия алгоритмов репликации от HDFS. Роль лидера в Kafka
Kafka и Spark Streaming. Kafka Streams. Работа с KafkaStreams и сравнение со Spark Streaming
CAP-теорема. Google Bigtable и Apache HBase. Связь HBase с MapReduce и Spark
Связь Cassandra и Spark
Google Spanner и CockroachDB
Практикум по Cloudera и Яндекс.Облаку
Преподаватель курса
Команда помощи
Поможем вам дойти до конца
Организатор
держит руку на пульсе, корректирует обучающую программу при необходимости
Преподаватель
не только проведёт урок и покажет на примерах, но проведёт дополнительную сессию, чтобы ликвидировать пробелы в знаниях, ответит на вопросы во время и поле обучения
Ассистент
поможет с проверкой домашних заданий, ответит на вопросы и даст обратную связь в чате во время лекции. Если тяжело, проведёт дополнительные консультации
Куратор
помогает по организационным вопросам, напоминает о дедлайнах, помогает дойти до конца, мотивируя вас при необходимости
Telegram
во время обучения команда будет с вами на связи через Telegram-чат, вы не останетесь один на один с вопросами и сложными задачами
Что получите после обучения
Опыт и портфолио
Обучение проходит на боевых задачах, за время обучения вы нарабатываете опыт и портфолио с реальными проектами.
Материалы и сопровождение
Все материалы и записи занятий будут доступны и после окончания обучения, как и телеграм-чат курса, где все также можно задавать вопросы одногруппникам и преподавателям
Все для быстрого карьерного роста
Необходимые знания и практические навыки
Удостоверение о повышении квалификации МФТИ, которое ценят работодатели
Кто может получить дополнительное профессиональное образование
те, у кого уже есть среднее или высшее профессиональное образование;
Курсы повышения квалификации или профессиональной переподготовки могут проходить две категории слушателей:
те, кто еще учится в колледжах или вузах и не получил диплом
Студенты колледжей и вузов могут параллельно учиться по программам ДПО, но удостоверения о повышении квалификации или дипломы о профессиональной переподготовке им выдадут только после того, как будет окончен курс основного образования и на руках у выпускника будет диплом вуза или колледжа
ФПМИ МФТИ
- 25научных лабораторий, в которых рождается прогресс
- 218преподавателей с учёными степенями
- 26крупных компаний-партнёров, интегрированных с университетом
"Физтех-школа прикладной математики и информатики (ФПМИ) МФТИ – безусловно ведущий мировой центр науки и образования в области математики и информатики.
Особенность нашей школы заключается в том, что она сочетает в себе активную научную деятельность и тесную связь с индустрией.
На сегодняшний день школа включает в себя 28 кафедр и 22 лаборатории от ключевых академических институтов и ключевых представителей IT-индустрии: Яндекс, Тинькофф, Сбербанк, VK, Abbyy, 1C, Huawei и другие.
Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "
Особенность нашей школы заключается в том, что она сочетает в себе активную научную деятельность и тесную связь с индустрией.
На сегодняшний день школа включает в себя 28 кафедр и 22 лаборатории от ключевых академических институтов и ключевых представителей IT-индустрии: Яндекс, Тинькофф, Сбербанк, VK, Abbyy, 1C, Huawei и другие.
Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "
Доктор физико-математических наук, профессор, директор Физтех-школы прикладной математики и информатики (ФПМИ)
Андрей Райгородский о ФПМИ МФТИ
МФТИ №1 среди технических вузов России
Нам есть, чем гордиться
МФТИ вошел в 50 лучших вузов мира по физике и в 100 лучших по математике по результатам рейтинга QS World University Rankings by Subject 2021
12 выпускников МФТИ вошли в список Forbes
В общих рейтингах лучших университетов мира Times Higher Education и Quacquarelli Symonds МФТИ занимает первое место среди технических вузов России
2 выпускника МФТИ стали Нобелевскими лауреатами по физике в 2010 году
Исследование Superjob показало, что самые высокие зарплаты среди молодых IT-специалистов - 230 000 рублей в месяц - окончивших вузы в 2014-2019 годах, у выпускников Московского Физико-технического института
Подписка на рассылку новостей ФПМИ МФТИ
Хотите быть в курсе предстоящих событий и новых программ? Тогда подпишитесь на нашу рассылку
Присоединяйтесь к стажерским программам от МФТИ
-
Стажерская программа позволит получить ценный опыт работы в реальной профессиональной среде и применить накопленные знания на практике - Принять участие в конкурсе могут студенты или выпускники программ ФПМИ МФТИ
Стоимость обучения
продолжительность программы 2,5 месяца
Чтобы подать заявку, получить бесплатную консультацию или подробную программу обучения, пожалуйста, заполните форму
Вернем деньги, если обучение не подойдет
Скидка 20%, если это ваш 2й курс
125 000 ₽ для физ. лиц.
продолжительность программы 2,5 месяца
125 000 ₽ для юр. лиц
Отправка заявки на обучение в МФТИ
Предоставление доступа к обучению слушателю
Получение пакета документов и договора-оферты слушателем от МФТИ
Поступление оплаты на счет МФТИ
Передача документов в подразделение вашей организации
Согласование обучения внутри вашей организации
Шаги по оплате обучения работодателем
Скидки и спецпредложения не применяются
Мы работаем по 3х стороннему договору
Данные организации-заказчика
Данные слушателя
Эта анкета поможет ускорить процесс согласования договора и начать обучение быстрее.
Предоставленная информация будет использована для предварительного заполнения документов, что сэкономит ваше время.
Кроме того, мы гарантируем конфиденциальность ваших данных и обеспечим их безопасное хранение
Предоставленная информация будет использована для предварительного заполнения документов, что сэкономит ваше время.
Кроме того, мы гарантируем конфиденциальность ваших данных и обеспечим их безопасное хранение
Или вы можете приложить карточку вашей организации
Наш менеджер свяжется с вами для уточнения или дозапроса информации. Для того, чтобы начать обучение быстрее, заполните, пожалуйста, форму выше
Обучение оплатит работодатель
Если вы хотите, чтобы ваше обучение оплатил работодатель, то вам нужно заполнить форму, которая поможет ускорить процесс согласования договора и начать обучение быстрее
Нажимая кнопку «Отправить», вы соглашаетесь с условиями обработки персональных данных
Часто задаваемые вопросы
Во-первых, наши курсы проходят в формате живых вебинаров . Это означает, что вы сможете еженедельно в течении обучения общаться с преподавателями, получать поддержку ассистентов и одногруппников, это поможет сохранять мотивацию.
Во-вторых, МФТИ - ведущий ВУЗ России в области Computer Science. Наши преподаватели отслеживают тенденции в науке и технологиях, сотрудничают с топовыми технологическими компаниями, поэтому вы учитесь только тому, что актуально. Мы обновляем программы с учетом современных требований работодателей, поэтому вы получаете необходимую базу знаний и навыков, чтобы войти в профессию или перейти на новый уровень на вашей текущей работе
В-третьих, у нас есть лицензия на образовательную деятельность, поэтому по результатам обучения мы выдаем удостоверения о повышении квалификации и дипломы о профессиональной переподготовке МФТИ
Во-вторых, МФТИ - ведущий ВУЗ России в области Computer Science. Наши преподаватели отслеживают тенденции в науке и технологиях, сотрудничают с топовыми технологическими компаниями, поэтому вы учитесь только тому, что актуально. Мы обновляем программы с учетом современных требований работодателей, поэтому вы получаете необходимую базу знаний и навыков, чтобы войти в профессию или перейти на новый уровень на вашей текущей работе
В-третьих, у нас есть лицензия на образовательную деятельность, поэтому по результатам обучения мы выдаем удостоверения о повышении квалификации и дипломы о профессиональной переподготовке МФТИ
До осени 2021 мы проводили обучение на базе ЦДПО МФТИ. Выделение в отдельную образовательную структуру в рамках ФПМИ МФТИ позволило стать нам более гибкими, быстрыми в принятии решений, клиентоориентированными, у нас появилась более удобная для слушателей с расширенными возможностями обучающая платформа. Все программы утверждаются на Ученом Совете МФТИ, что своего рода - "знак качества".
После успешного окончания курсов слушатели получают Удостоверение о повышении квалификации МФТИ.
После прохождения всех курсов, включенных в программу, слушатели получают Диплом о профессиональной переподготовке МФТИ
Под успешным прохождением курсов понимается сдача всех домашних заданий и финального проекта (где это предусмотрено программой) на оценку не ниже "удовлетворительно".
После прохождения всех курсов, включенных в программу, слушатели получают Диплом о профессиональной переподготовке МФТИ
Под успешным прохождением курсов понимается сдача всех домашних заданий и финального проекта (где это предусмотрено программой) на оценку не ниже "удовлетворительно".
Мы проводим обучение слушателей на курсах повышения квалификации и программах профессиональной переподготовки.
- Курсы направлены на получение определенных знаний и навыков для профессиональной деятельности (например: Python, SQL).
- Программы состоят из нескольких курсов и направлены на получение совокупности знаний и навыков, необходимых для работы в определенной сфере (например: Data Engineer, Data Scientist).
- Курсы направлены на получение определенных знаний и навыков для профессиональной деятельности (например: Python, SQL).
- Программы состоят из нескольких курсов и направлены на получение совокупности знаний и навыков, необходимых для работы в определенной сфере (например: Data Engineer, Data Scientist).
У нас есть курсы как для начинающих специалистов, так и для тех, кто осваивает профессию с нуля. Все зависит от вашей мотивации и ваших soft skills. У нас достаточно слушателей-"гуманитариев", которые успешно прошли обучение и нашли работу.
Все занятия проходят в формате живых вебинаров 2 раза в неделю в Talk: вы задаёте вопросы преподавателю, получаете ответы и общаетесь с однокурсниками.
Каждое занятие состоит из теоретической и практической части . Преподаватель сначала объясняет теорию, затем слушатели выполняют практические задания под руководством преподавателя.
Также преподаватели выдают домашние задания, которые помогают закреплять навыки. По результатам домашних заданий вы получаете фидбек от преподавателя или ассистента.
Каждое занятие состоит из теоретической и практической части . Преподаватель сначала объясняет теорию, затем слушатели выполняют практические задания под руководством преподавателя.
Также преподаватели выдают домашние задания, которые помогают закреплять навыки. По результатам домашних заданий вы получаете фидбек от преподавателя или ассистента.
Конечно, все занятия записываются, и на следующий день после занятия запись, а также материалы занятия, доступны на обучающей платформе. Вы всегда можете посмотреть урок в удобное для вас время. Доступ ко всем материалам курса - 1 год.
Мы всегда входим в положение слушателей и можем предложить продолжить обучение со следующим потоком (1 раз) или продлить срок аттестации, в течении которого слушатель сможет пройти весь материал и успешно сдать контрольные задания.
Вы можете оплатить курс /программу банковской картой.
У нас предусмотрены скидки студентам и выпускникам основных образовательных программ МФТИ, слушателям и выпускникам программ дополнительного профессионального образования МФТИ, а также сотрудникам МФТИ:
- на программы профессиональной переподготовки - 10%
- на курсы повышения квалификации - 20%
- на программы профессиональной переподготовки - 10%
- на курсы повышения квалификации - 20%
Мы на 100% уверены в качестве наших образовательных курсов и гарантируем, что вы в любой момент сможете вернуть деньги.
Мы вернем всю сумму за ту часть обучения, которую вы не успели пройти, если программа вам не подойдет.
Мы вернем всю сумму за ту часть обучения, которую вы не успели пройти, если программа вам не подойдет.
Да, мы можем предоставить рассрочку. График платежей прописан в оферте. Просто оставьте заявку на участие на лендинге соответсвующего курса/программы, и вы сможете обсудить все детали с менеджером.
.Да, мы имеем лицензию на образовательную деятельность, поэтому, если вы официально трудоустроены, то можете вернуть 13% от стоимости обучения. Подробнее >>
Условия рассрочки
По каждой из предлагаемых программ/курсов, имеется возможность оплаты обучения в рассрочку.
Условия рассрочки:
Полная стоимость обучения при использовании рассрочки не изменяется. Рассрочка беспроцентна, оформление рассрочки бесплатно.
Детали рассрочки описаны в оферте на каждую соответствующую программу/курс, в Приложении № 1 – График платежей.
В Графике платежей указаны контрольные даты, на которые слушателем суммарно за всё предшествующее такой дате время должна быть перечислена указанная в графике платежей соответствующая сумма, или превышающая её сумма (но не более полной стоимости обучения). Например:
Все описанные варианты допустимы, если на каждую из обозначенных в графике платежей дат внесено платежей на сумму не меньше указанной.
Условия рассрочки:
Полная стоимость обучения при использовании рассрочки не изменяется. Рассрочка беспроцентна, оформление рассрочки бесплатно.
Детали рассрочки описаны в оферте на каждую соответствующую программу/курс, в Приложении № 1 – График платежей.
В Графике платежей указаны контрольные даты, на которые слушателем суммарно за всё предшествующее такой дате время должна быть перечислена указанная в графике платежей соответствующая сумма, или превышающая её сумма (но не более полной стоимости обучения). Например:
- Оплата через равные промежутки времени платежами одинакового размера
- Оплата одним платежом в размере стоимости всего обучения
Все описанные варианты допустимы, если на каждую из обозначенных в графике платежей дат внесено платежей на сумму не меньше указанной.
Получить консультацию
Нажимая на кнопку "Отправить", вы соглашаетесь с условиями обработки персональных данных
Кто может получить дополнительное образование
Кто может получить Удостоверение о профессиональной переподготовке МФТИ?
Получить Удостоверение о повышении квалификации могут получить две категории слушателей:
• те, у кого уже есть среднее или высшее профессиональное образование;
• те, кто еще учится в колледжах или вузах и не получил диплом.
Студенты колледжей и вузов могут параллельно учиться по программам ДПО, но удостоверения о повышении квалификации им выдадут только после того, как будет окончен курс основного образования и на руках у выпускника будет диплом вуза или колледжа.
Могут ли учиться слушатели без высшего или среднего профессионального образования?
Слушатели без оконченного высшего или среднего профессионального образования могут проходить курсы повышения квалификации или программы профессиональной переподготовки. По окончании обучения они получат Сертификат об окончании программы
Получить Удостоверение о повышении квалификации могут получить две категории слушателей:
• те, у кого уже есть среднее или высшее профессиональное образование;
• те, кто еще учится в колледжах или вузах и не получил диплом.
Студенты колледжей и вузов могут параллельно учиться по программам ДПО, но удостоверения о повышении квалификации им выдадут только после того, как будет окончен курс основного образования и на руках у выпускника будет диплом вуза или колледжа.
Могут ли учиться слушатели без высшего или среднего профессионального образования?
Слушатели без оконченного высшего или среднего профессионального образования могут проходить курсы повышения квалификации или программы профессиональной переподготовки. По окончании обучения они получат Сертификат об окончании программы