Обучение проводится совместно с основной магистратурой МФТИ ФПМИ Алгоритмы и технологии программирования.
Технологии хранения и обработки больших данных включают в себя различные подходы и инструменты, которые позволяют эффективно управлять и анализировать огромные объемы информации.
Обработка больших данных с помощью соответствующих инструментов предоставляет компаниям более глубокое понимание потребностей клиентов, рыночных трендов и операционной деятельности, что в свою очередь может привести к улучшению принятия решений.
Кому подойдет курс
Разработчики
Аналитики
Data Scientists
расширите свои профессиональные возможности и получите новые навыки работы с большими данными
освоите работу с большими данными и сможете решать более сложные и интересные аналитические задачи
получите базу по современным инструментам и подходам к сбору, хранению и обработке данных, чтобы улучшить качество ML- модели
Junior Data Engineers
научитесь грамотно использовать современные технологии работы с Big Data и понимать, какую технологию в каких случаях лучше применять
Программа курса
7 модулей
4 месяца
4 ак.ч. в неделю
Распределённые файловые системы (GFS, HDFS)
Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: Web, shell, Java.
Парадигма MapReduce
Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. Виды и классификация многопроцессорных вычислительных систем. Hadoop. Схема его работы, роли серверов в Hadoop-кластере. API для работы с Hadoop (Native Java API vs. Streaming), примеры. MapReduce, продолжение. Типы Join'ов и их реализации в парадигме MR. Паттерны проектирования MR (pairs, stripes, составные ключи).
Управление ресурсами Hadoop-кластера. YARN
Hadoop MRv1 vs. YARN. Нововведения в последних версиях Hadoop. Планировщик задач в YARN. Apache Slide.
SQL over BigData: Apache Drill, Cloudera Impala, Presto, Hive
SQL over BigData: Apache Drill, Cloudera Impala, Presto, Hive. Повторение SQL. HiveQL vs. SQL. Виды таблиц в Hive, типы данных, трансляция Hive-запросов в MapReduce-задачи. Аналитические функции в Hive. Расширения Hive: Streaming, User defined functions. Оптимизация запросов в Hive.
Технологии обработки данных в распределенной оперативной памяти. Apache Spark
Spark RDD vs Spark Dataframes Spark SQL Spark GraphFrames
Обработка данных в реальном времени. Kafka, Spark Streaming
Обработка данных в реальном времени. Spark Streaming. Распределённая очередь Apache Kafka. Kafka streams.
BigData NoSQL, Key-value базы данных
HBase. NoSQL подходы к реализации распределенных баз данных, key-value хранилища. Основные компоненты BigTable-подобных систем и их назначение, отличие от реляционных БД. Чтение, запись и хранение данных в HBase. Minor- и major-компактификация. Надёжность и отказоустойчивость в HBase. Cassandra. Основные особенности. Чтение и запись данных. Отказоустойчивость. Примеры применения HBase и Cassandra. Отличие архитектуры HBase от Сassandra.
Необходимый уровень знаний
Для успешного прохождения курса нужно владеть базовыми знаниями Python, Linux. Желателен минимальный опыт в Java, SQL. Основы Hadoop, Docker приветствуются, но не являются обязательными, так как их Вы будете изучать на курсе.
Как проходит обучение
Качественная теоретическая подготовка
Все преподаватели — признанные профессионалы в своей области. Вы получите те знания и навыки, которые востребованы сейчас на рынке
Живое общение с преподавателем
Онлайн-занятия с преподавателем – живые встречи по установленному расписанию. Занятия совмещают теорию и практику. Вы видите экран преподавателя, задаете вопросы, получаете обратную связь
Домашние задания
Материалы занятий нужно обязательно закреплять, выполняя домашние задания. Команда курса проверяет задания и дает обратную связь. Условием успешного окончания курса является выполнение всех домашних заданий
Записи занятий
Вы сможете всегда пересмотреть занятие в записи, чтобы лучше усвоить пройденную тему, или же если не смогли по какой-то причине присоединиться к занятию
Общение и поддержка 24/7
Вы будете добавлены в чат, где сможете общаться со своими сокурсниками, куратором школы и преподавателем: задавать вопросы, делиться опытом
Акцент на навыках
Вас ждёт много практической работы, разбор кейсов, а благодаря выполнению финального проекта под руководством преподавателя вы получите свой первый выполненный проект
Доступ к электронной библиотеке МФТИ
Электронная библиотека создана для того, чтобы информационно помогать нашим слушателям. Вы получаете удаленный доступ к электронным учебникам
Не прощаемся после курсов
На связи с вами и после курса. Поможем при необходимости составить и проверить ваше резюме, делимся информацией о тематических конференциях, вебинарах, вакансиях и стажировках
Преподаватель курса
Олег Николаевич Ивченко
Разработчик системы HJudge - системы автоматизированного тестирования Hadoop-приложений, системный администратор инфраструктуры больших данных в группе Яндекс-CERN, преподаватель курсов по обработке больших данных в МФТИ, ВШЭ, ШАД, Harbour.Space
Кто может получить дополнительное профессиональное образование
те, у кого уже есть среднее или высшее профессиональное образование;
Курсы повышения квалификации или профессиональной переподготовки могут проходить две категории слушателей:
те, кто еще учится в колледжах или вузах и не получил диплом. методы обработки текста, а именно - решения задач классификации, тегирования и генерации
Студенты колледжей и вузов могут параллельно учиться по программам ДПО, но удостоверения о повышении квалификации или дипломы о профессиональной переподготовке им выдадут только после того, как будет окончен курс основного образования и на руках у выпускника будет диплом вуза или колледжа
ФПМИ МФТИ
25
218
26
научных лабораторий, в которых рождается прогресс
преподавателей с учёными степенями
крупных компаний-партнёров, интегрированных с университетом
"Физтех-школа прикладной математики и информатики (ФПМИ) МФТИ – безусловно ведущий мировой центр науки и образования в области математики и информатики.
Особенность нашей школы заключается в том, что она сочетает в себе активную научную деятельность и тесную связь с индустрией.
На сегодняшний день школа включает в себя 28 кафедр и 22 лаборатории от ключевых академических институтов и ключевых представителей IT-индустрии: Яндекс, Тинькофф, Сбербанк, VK, Abbyy, 1C, Huawei и другие.
Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "
Доктор физико-математических наук, профессор, директор Физтех-школы прикладной математики и информатики (ФПМИ)
Андрей Райгородский о ФПМИ МФТИ
МФТИ №1 среди технических вузов России
Нам есть, чем гордиться
МФТИ вошел в 50 лучших вузов мира по физике и в 100 лучших по математике по результатам рейтинга QS World University Rankings by Subject 2021
В общих рейтингах лучших университетов мира Times Higher Education и Quacquarelli Symonds МФТИ занимает первое место среди технических вузов России
2 выпускника МФТИ стали Нобелевскими лауреатами по физике в 2010 году
Исследование Superjob показало, что самые высокие зарплаты среди молодых IT-специалистов - 230 000 рублей в месяц - окончивших вузы в 2014-2019 годах, у выпускников Московского Физико-технического института
Подписка на рассылку новостей ФПМИ МФТИ
Хотите быть в курсе предстоящих событий и новых программ? Тогда подпишитесь на нашу рассылку
Что еще важно
Гарантия возврата 14 дней
Рассрочка 0%
Возврат 13% от государства
За 14 дней вы посетите 4 занятия, и если вы решите прекратить обучение, вернём деньги в полном объёме
Институт напрямую, без посредничества банка, предоставляет рассрочку
Вы можете получить налоговый вычет за обучение и сэкономить до 13% от стоимости программы
Во-первых, наши курсы проходят в формате живых вебинаров . Это означает, что вы сможете еженедельно в течении обучения общаться с преподавателями, получать поддержку ассистентов и одногруппников, это поможет сохранять мотивацию.
Во-вторых, МФТИ - ведущий ВУЗ России в области Computer Science. Наши преподаватели отслеживают тенденции в науке и технологиях, сотрудничают с топовыми технологическими компаниями, поэтому вы учитесь только тому, что актуально. Мы обновляем программы с учетом современных требований работодателей, поэтому вы получаете необходимую базу знаний и навыков, чтобы войти в профессию или перейти на новый уровень на вашей текущей работе
В-третьих, у нас есть лицензия на образовательную деятельность, поэтому по результатам обучения мы выдаем удостоверения о повышении квалификации и дипломы о профессиональной переподготовке МФТИ
До осени 2021 мы проводили обучение на базе ЦДПО МФТИ. Выделение в отдельную образовательную структуру в рамках ФПМИ МФТИ позволило стать нам более гибкими, быстрыми в принятии решений, клиентоориентированными, у нас появилась более удобная для слушателей с расширенными возможностями обучающая платформа. Все программы утверждаются на Ученом Совете МФТИ, что своего рода - "знак качества".
После успешного окончания курсов слушатели получают Удостоверение о повышении квалификации МФТИ. После прохождения всех курсов, включенных в программу, слушатели получают Диплом о профессиональной переподготовке МФТИ Под успешным прохождением курсов понимается сдача всех домашних заданий и финального проекта (где это предусмотрено программой) на оценку не ниже "удовлетворительно".
Мы проводим обучение слушателей на курсах повышения квалификации и программах профессиональной переподготовки. - Курсы направлены на получение определенных знаний и навыков для профессиональной деятельности (например: Python, SQL). - Программы состоят из нескольких курсов и направлены на получение совокупности знаний и навыков, необходимых для работы в определенной сфере (например: Data Engineer, Data Scientist).
У нас есть курсы как для начинающих специалистов, так и для тех, кто осваивает профессию с нуля. Все зависит от вашей мотивации и ваших soft skills. У нас достаточно слушателей-"гуманитариев", которые успешно прошли обучение и нашли работу.
Все занятия проходят в формате живых вебинаров 2 раза в неделю в Zoom: вы задаёте вопросы преподавателю, получаете ответы и общаетесь с однокурсниками.
Каждое занятие состоит из теоретической и практической части . Преподаватель сначала объясняет теорию, затем слушатели выполняют практические задания под руководством преподавателя.
Также преподаватели выдают домашние задания, которые помогают закреплять навыки. По результатам домашних заданий вы получаете фидбек от преподавателя или ассистента.
Конечно, все занятия записываются, и на следующий день после занятия запись, а также материалы занятия, доступны на обучающей платформе. Вы всегда можете посмотреть урок в удобное для вас время. Доступ ко всем материалам курса -1 год.
Мы всегда входим в положение слушателей и можем предложить продолжить обучение со следующим потоком (1 раз) или продлить срок аттестации, в течении которого слушатель сможет пройти весь материал и успешно сдать контрольные задания.
Вы можете оплатить курс /программу банковской картой.
У нас предусмотрены скидки студентам и выпускникам основных образовательных программ МФТИ, слушателям и выпускникам программ дополнительного профессионального образования МФТИ, а также сотрудникам МФТИ:
- на программы профессиональной переподготовки - 15% - на курсы повышения квалификации - 35%
Мы на 100% уверены в качестве наших образовательных курсов и гарантируем, что вы в любой момент сможете вернуть деньги. Мы вернем всю сумму за ту часть обучения, которую вы не успели пройти, если программа вам не подойдет.
Да, мы можем предоставить рассрочку. График платежей прописан в оферте. Просто оставьте заявку на участие на лендинге соответсвующего курса/программы, и вы сможете обсудить все детали с менеджером.
.Да, мы имеем лицензию на образовательную деятельность, поэтому, если вы официально трудоустроены, то можете вернуть 13% от стоимости обучения. Подробнее >>
Условия рассрочки
По каждой из предлагаемых программ/курсов, имеется возможность оплаты обучения в рассрочку.
Условия рассрочки:
Полная стоимость обучения при использовании рассрочки не изменяется. Рассрочка беспроцентна, оформление рассрочки бесплатно.
Детали рассрочки описаны в оферте на каждую соответствующую программу/курс, в Приложении № 1 – График платежей.
В Графике платежей указаны контрольные даты, на которые слушателем суммарно за всё предшествующее такой дате время должна быть перечислена указанная в графике платежей соответствующая сумма, или превышающая её сумма (но не более полной стоимости обучения). Например:
Оплата через равные промежутки времени платежами одинакового размера
Оплата одним платежом в размере стоимости всего обучения
Все описанные варианты допустимы, если на каждую из обозначенных в графике платежей дат внесено платежей на сумму не меньше указанной.
Кто может получить Удостоверение о профессиональной переподготовке МФТИ?
Получить Удостоверение о повышении квалификации могут получить две категории слушателей:
• те, у кого уже есть среднее или высшее профессиональное образование; • те, кто еще учится в колледжах или вузах и не получил диплом. Студенты колледжей и вузов могут параллельно учиться по программам ДПО, но удостоверения о повышении квалификации им выдадут только после того, как будет окончен курс основного образования и на руках у выпускника будет диплом вуза или колледжа.
Могут ли учиться слушатели без высшего или среднего профессионального образования?
Слушатели без оконченного высшего или среднего профессионального образования могут проходить курсы повышения квалификации или программы профессиональной переподготовки. По окончании обучения они получат Сертификат об окончании программы