Хотите быть в курсе предстоящих событий и новых программ?
Тогда подпишитесь на нашу рассылку.
Подписка на новости
На курсе мы познакомимся:
с технологиями работы с большими данными
с типами хранилищ больших объёмов данных
с подходами к потоковой и пакетной обработке данных
с принципами трансляции высокоуровневых языков программирования (SQL-подобных и функциональных) в последовательность задач на Hadoop кластере
c администрированием экосистемы BigData
Для кого курс:
Разработчики
расширите свои профессиональные возможности и получите новые навыки работы с большими данными
Аналитики
освоите работу с большими данными и сможете решать более сложные и интересные аналитические задачи
Junior Data Engineers
научитесь грамотно использовать современные технологии работы с Big Data и понимать, какую технологию в каких случаях лучше применять
Data Scientists
получите базу по современным инструментам и подходам к сбору, хранению и обработке данных, чтобы улучшить качество ML- модели
Кто может получить дополнительное профессиональное образование
Курсы повышения квалификации или профессиональной переподготовки могут проходить две категории слушателей:
те, у кого уже есть среднее или высшее профессиональное образование;
те, кто еще учится в колледжах или вузах и не получил диплом.
Студенты колледжей и вузов могут параллельно учиться по программам ДПО, но удостоверения о повышении квалификации или дипломы о профессиональной переподготовке им выдадут только после того, как будет окончен курс основного образования и на руках у выпускника будет диплом вуза или колледжа.
Как проходит обучение:
Живые вебинары с преподавателем МФТИ в Zoom
Вебинары записываются и доступны всегда
Постоянная поддержка от преподавателей в чате курса
Домашнее задание раз в неделю (~3 часа)
Мини-тест на 10-15 минут после каждой темы (2-3 занятий)
В конце курса выпускной прикладной проект
Вы научитесь:
Пользоваться распределенной файловой системой
Пользоваться высокоуровневыми языками программирования для BigData для обработки большого объема данных на вычислительном кластере
Запускать задачи на Hadoop кластере
Решать задачи статистики, задачи поиска и индексации, задачи машинного обучения на Hadoop кластере
Писать задачи для запуска на Hadoop кластере с помощью нативного Java-интерфейса
Работать с большими объемами данных и располагать кругозором в выборе архитектурного решения поставленной задачи
Писать задачи для запуска на Hadoop кластере с помощью любого другого языка программирования (с помощью инструментария Hadoop streaming)
Преподаватель
Олег Ивченко
Разработчик системы HJudge - системы автоматизированного тестирования Hadoop-приложений, системный администратор инфраструктуры больших данных в группе Яндекс-CERN, преподаватель курсов по обработке больших данных в МФТИ, ВШЭ, ШАД, Harbour.Space
Программа
Для прохождения курса необходимо иметь базовые навыки работы с Python, SQL, Linux. Приветствуется минимальный навык в Java
Виды отказов в сети. Распределённые файловые системы (GFS, HDFS). Их достоинство и сфера применения. Архитектура HDFS. Алгоритмы чтения и записи в HDFS. HDFS Web UI. Обзор API для работы с HDFS
Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. API для работы с Hadoop (Native Java API vs. Streaming)
Дополнительные элементы MapReduce-задачи (Combiner, Comparator, Partitioner). Типы Join'ов и их реализации в парадигме MR. Паттерны проекттирования MR (pairs, stripes, составные ключи).
Дополнительные применения MapReduce
Повторение SQL. HiveQL vs. SQL. Hive. Виды таблиц в Hive, типы данных, трансляция Hive-запросов в MapReduce-задачи.
Оптимизация запросов в Hive (партиционирование, бакетирование, оптимизация Join'ов). Примерные расчеты в Hive. Расширения Hive (select-transform и UDF). Не только Hive: обзор Apache Pig, Cloudera Impala, Presto, Trino
Итеративная обработка больших данных на Apache Spark, отличия Spark от MapReduce. Spark RDD API
SQL-запросы на Spark. GraphX и GraphFrames
Принципы обработки данных в реальном времени. Её отличия от "батч"-обработки. Spark Streaming API
Apache kafka. Архитектура, отличия алгоритмов репликации от HDFS. Роль лидера в Kafka
Kafka и Spark Streaming. Kafka Streams. Работа с KafkaStreams и сравнение со Spark Streaming
CAP-теорема. Google Bigtable и Apache HBase. Связь HBase с MapReduce и Spark
Связь Cassandra и Spark
Google Spanner и CockroachDB
Практикум по Cloudera и Яндекс.Облаку
Вы выполняете проект под руководством преподавателя курса, закрепляете знания и навыки, полученные на программе и систематизируете рабочий опыт.
Курс "ИНСТРУМЕНТЫ РАБОТЫ С БОЛЬШИМИ ДАННЫМИ" является частью программы DATA ENGINEER
Вы можете освоить новую профессию и получить Диплом о профессиональной переподготовке МФТИ установленного образца
2 выпускника МФТИ стали Нобелевскими лауреатами по физике в 2010 году
Факт 5
Среди молодых IT-специалистов, окончивших вузы в 2014-2019 годах, самые высокие зарплаты - 230 тыс. рублей в месяц - у выпускников Московского физико-технического института. Таковы результаты ежегодного исследования, проведенного порталом Superjob
Расписание курсов ФПМИ МФТИ 2024/2025
ОЗНАКОМИТЬСЯ
"Физтех-школа прикладной математики и информатики (ФПМИ) МФТИ – безусловно ведущий мировой центр науки и образования в области математики и информатики. Особенность нашей школы заключается в том, что она сочетает в себе активную научную деятельность и тесную связь с индустрией. На сегодняшний день школа включает в себя 28 кафедр и 22 лаборатории от ключевых академических институтов и ключевых представителей IT-индустрии: Яндекс, Тинькофф, Сбербанк, VK, Abbyy, 1C, Huawei и другие.
Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "
Андрей Райгородский о ФПМИ МФТИ
Доктор физико-математических наук, профессор, директор Физтех-школы прикладной математики и информатики (ФПМИ)
Партнеры ФПМИ
Стоимость обучения
Подать заявку и получить консультацию
Нажимая кнопку «Отправить», вы соглашаетесь с условиями обработки персональных данных
Если вы хотите, чтобы ваше обучение оплатил работодатель, то вам нужно заполнить форму, которая поможет ускорить процесс согласования договора и начать обучение быстрее
Нажимая кнопку «Отправить», вы соглашаетесь с условиями обработки персональных данных
Отправка заявки на обучение в МФТИ
Предоставление доступа к обучению слушателю
Получение пакета документов и договора-оферты слушателем от МФТИ
Поступление оплаты на счет МФТИ
Передача документов в подразделение вашей организации
Согласование обучения внутри вашей организации
Шаги по оплате обучения работодателем
Скидки и спецпредложения не применяются
Мы работаем по 3х стороннему договору
Данные организации-заказчика
Данные слушателя
Эта анкета поможет ускорить процесс согласования договора и начать обучение быстрее.
Предоставленная информация будет использована для предварительного заполнения документов, что сэкономит ваше время.
Кроме того, мы гарантируем конфиденциальность ваших данных и обеспечим их безопасное хранение
Или вы можете приложить карточку вашей организации
Наш менеджер свяжется с вами для уточнения или дозапроса информации. Для того, чтобы начать обучение быстрее, заполните, пожалуйста, форму выше
Присоединяйтесь к стажерским программам от МФТИ
Стажерская программа позволит получить ценный опыт работы в реальной профессиональной среде и применить накопленные знания на практике
Узнать подробнее
Принять участие в конкурсе могут студенты или выпускники программ ФПМИ МФТИ
Подать заявку на обучение или консультацию
Нажимая кнопку «Отправить», вы соглашаетесь с условиями обработки персональных данных
Предлагаем нашим слушателям рассрочку на оплату обучения (только для физических лиц)
ПОДРОБНЕЕ
Условия рассрочки
По каждой из предлагаемых программ/курсов, имеется возможность оплаты обучения в рассрочку.
Условия рассрочки:
Полная стоимость обучения при использовании рассрочки не изменяется. Рассрочка беспроцентна, оформление рассрочки бесплатно.
Детали рассрочки описаны в оферте на каждую соответствующую программу/курс, в Приложении № 1 – График платежей.
В Графике платежей указаны контрольные даты, на которые слушателем суммарно за всё предшествующее такой дате время должна быть перечислена указанная в графике платежей соответствующая сумма, или превышающая её сумма (но не более полной стоимости обучения). Например:
Оплата через равные промежутки времени платежами одинакового размера
Оплата одним платежом в размере стоимости всего обучения
Все описанные варианты допустимы, если на каждую из обозначенных в графике платежей дат внесено платежей на сумму не меньше указанной.