РАЗРАБОТЧИК BIGDATA
Старт нового потока – сентябрь 2024
Диплом о профессиональной переподготовке МФТИ
Подать заявку и получить ссылку на оплату
Нажимая кнопку «Отправить», вы соглашаетесь с условиями обработки персональных данных
Стоимость
Рассрочка
Скидки %
14 500 руб/мес.
15 % на программу и 35% на курс для слушателей ранее проходивших курсы и программы Лаборатории инноватики
Частями без переплат подробнее
145 000 р.
программы из 3 курсов
Обучение проводится совместно с основной магистратурой Алгоритмы и технологии программирования.
- среда обучения приближенная к реальной работе
- преподаватели и студенты занимают топовые позиции в крупных IT-компаниях
Вас ждут сложные задачи, интенсивная самостоятельная работа.
Выбрав программу профессиональной переподготовки , Вы присоединяетесь к группе и проходите обучение вместе с основной магистратурой.
- среда обучения приближенная к реальной работе
- преподаватели и студенты занимают топовые позиции в крупных IT-компаниях
Вас ждут сложные задачи, интенсивная самостоятельная работа.
Выбрав программу профессиональной переподготовки , Вы присоединяетесь к группе и проходите обучение вместе с основной магистратурой.
Учим онлайн из любой точки мира
Формат
Поддержка
Записи занятий
Диплом
Чат поддержки студентов 24 в сутки
Смотрите запись занятия в удобное время
Пройдите программу и получите диплом о профессиональной переподготовке
Как проходит обучение
Лекции и семинары в Zoom
Запись занятия и доступ на время обучения
Контрольные работы в качестве промежуточной проверки знаний
Обратная связь на домашние задания
КОМУ ПОДОЙДЕТ ПРОФЕССИЯ РАЗРАБОТЧИК BIGDATA
Разработчик
сможете совершенствовать навыки программирования, расширить и получить новые знания в desktop, web разработки, а также в работе с большими данными.
Аналитик
сможете проводить аналитику с помощью SQL и NoSQL инструментов, визуализировать данные и отчеты на основе больших массивов информации.
Data engineer
курсы помогут увеличить свой рабочий арсенал прикладных знаний в работе с данными.
Data scientist
получите знания по современным инструментам и подходам, необходимым для сбора, хранения и обработки данных. Изучите модели машинного обучения в применении к большим данным.
Для успешного прохождения курса нужно владеть базовыми знаниями Python, Linux, SQL, Spark, Hadoop, Docker. Желателен минимальный опыт в Java.
Не уверены, что готовы к успешному прохождению программы? Пройдите тест и проверьте свои знания
Необходимый уровень знаний
Программа
Профессия Разработчик BIGDATA
Профессия Разработчик BIGDATA
Чтобы получить Профессию Разработчик BIGDATA, подтвержденную Дипломом о профессиональной переподготовке МФТИ установленного образца, необходимо пройти обучение на трех самостоятельных курсах
КУРС ТЕХНОЛОГИИ ПРОГРАММИРОВАНИЯ И ОПЕРАЦИОННЫЕ СИСТЕМЫ
Старт: сентябрь 2024 года
Длительность: 4 месяца
Занятия 1 раз в неделю
Длительность: 4 месяца
Занятия 1 раз в неделю
- Семейство ОС Unix. Современные инструменты для работы в консолиСемейство ОС Unix, основные дистрибутивы и их отличия. Основные командные интерпретаторы, их отличия. Утилита sed, язык awk. Использование Python как заменителя shell. Jupyter Notebook. Терминальные мультиплексоры, автоматизация работы с ними.
- Системы контроля версийСистемы контроля версий в современных проектах. Разновидности VСS. Git и работа с ним. Работа над проектами в команде. Автоматизация работы с Git.
- Контейнеризация и виртуализацияЧто это такое? Чем отличаются? Современные платформы и работа с ними. Автоматизация работы с виртуальными окружениями.
- Непрерывная интеграцияМетодология гибкой разработки. Непрерывная интеграция (continuous integration) и её этапы. Основные инструменты CI и их связь с VCS.
- Оркестрация контейнеров. KubernetesОсновные задачи и концепции. Модель безопасности и контроллеры задач. Архитектура, компоненты. Хранение данных. Взаимодействие по сети. CI/CD в Kubernetes.
КУРС ХРАНЕНИЕ И ОБРАБОТКА БОЛЬШИХ ОБЪЁМОВ ДАННЫХ
Старт: февраль 2025 года
Длительность: 4 месяца
Занятия 1 раз в неделю, расписание на согасовании
Длительность: 4 месяца
Занятия 1 раз в неделю, расписание на согасовании
- Распределённые файловые системы (GFS, HDFS)Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: Web, shell, Java.
- Парадигма MapReduceПарадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. Виды и классификация многопроцессорных вычислительных систем. Hadoop. Схема его работы, роли серверов в Hadoop-кластере. API для работы с Hadoop (Native Java API vs. Streaming), примеры. MapReduce, продолжение. Типы Join'ов и их реализации в парадигме MR. Паттерны проектирования MR (pairs, stripes, составные ключи).
- Управление ресурсами Hadoop-кластера. YARNHadoop MRv1 vs. YARN. Нововведения в последних версиях Hadoop. Планировщик задач в YARN. Apache Slide.
- SQL over BigData: Apache Drill, Cloudera Impala, Presto, HiveSQL over BigData: Apache Drill, Cloudera Impala, Presto, Hive. Повторение SQL. HiveQL vs. SQL. Виды таблиц в Hive, типы данных, трансляция Hive-запросов в MapReduce-задачи. Аналитические функции в Hive. Расширения Hive: Streaming, User defined functions. Оптимизация запросов в Hive.
- Технологии обработки данных в распределенной оперативной памяти. Apache SparkSpark RDD vs Spark Dataframes
Spark SQL
Spark GraphFrames - Обработка данных в реальном времени. Kafka, Spark StreamingОбработка данных в реальном времени. Spark Streaming. Распределённая очередь Apache Kafka. Kafka streams.
- BigData NoSQL, Key-value базы данныхHBase. NoSQL подходы к реализации распределенных баз данных, key-value хранилища. Основные компоненты BigTable-подобных систем и их назначение, отличие от реляционных БД. Чтение, запись и хранение данных в HBase. Minor- и major-компактификация. Надёжность и отказоустойчивость в HBase. Cassandra. Основные особенности. Чтение и запись данных. Отказоустойчивость.
Примеры применения HBase и Cassandra.
Отличие архитектуры HBase от Сassandra.
КУРС МАШИННОЕ ОБУЧЕНИЕ НА БОЛЬШИХ ОБЪЁМАХ ДАННЫХ
Старт: сентябрь 2025 года
Длительность: 4 месяца
Занятия 1 раз в неделю
Длительность: 4 месяца
Занятия 1 раз в неделю
- Рекомендательные системы● Рекомендательные сервисы в продакшене.
● Метрики и базовые подходы
● Классические алгоритмы.
● Нейросетевые рекомендеры.
● Нерешенные проблемы и новые направлени.
● Рекомендации и Reinforcement Learning. - Анализ эпидемиологических графов● Foundations & Preliminaries
● Characterization of common graph types
● Notable results
● Advanced topics - Тематическое моделирование на больших данных● Проблемы тематического моделирования при больших данных. AD-LDA, его недостатки, Y!LDA, Mr. LDA. ARTM.
● Библиотеки BigARTM. Online LDA и его применение в Vowpal Wabbit
Преподаватели программы
Курсы повышения квалификации или профессиональной переподготовки могут проходить две категории слушателей:
- те, у кого уже есть среднее или высшее профессиональное образование;
- те, кто еще учится в колледжах или вузах и не получил диплом.
Кто может получить дополнительное профессиональное образование
ОТЗЫВЫ О ПРОГРАММЕ
Курс «Хранение и обработка больших объемов данных» является блоком программы профессиональной переподготовки «Разработчик BigData», также входит в учебный план образовательных программ магистратуры, занятия проводятся совместно с основной магистратурой.
Данный курс, по-моему мнению, охватывает основные инструменты работы с большими данными, построен на технологиях и фреймворках с открытым исходным кодом, которые наиболее активно используются и продвигаются практически во всех компаниях.
На занятия приглашаются ведущие специалисты из крупнейших компаний IT-компаний, банковской сферы, телекома и т.д. Насыщенная теоретическая часть, на семинарских занятиях и в домашках прокачивается навык написания кода.
Результаты оцениваются по итогам прохождения тестовых заданий по теоретической части, а также выполнения практических кейсов в домашних заданиях.
Кейсы непростые, для выполнения домашних заданий, чтобы набрать необходимое количество баллов, мне потребовалось не менее 15 часов в неделю. Для прохождения курса точно потребуется знания python, sql, linux, опыт работы с репозиториями git,gitlab (домашки сдаются через репозиторий). Необязательно, но желательно зание java, работа с docker.
Отличные преподаватели, мощная поддержка кураторов. Рекомендую.
Данный курс, по-моему мнению, охватывает основные инструменты работы с большими данными, построен на технологиях и фреймворках с открытым исходным кодом, которые наиболее активно используются и продвигаются практически во всех компаниях.
На занятия приглашаются ведущие специалисты из крупнейших компаний IT-компаний, банковской сферы, телекома и т.д. Насыщенная теоретическая часть, на семинарских занятиях и в домашках прокачивается навык написания кода.
Результаты оцениваются по итогам прохождения тестовых заданий по теоретической части, а также выполнения практических кейсов в домашних заданиях.
Кейсы непростые, для выполнения домашних заданий, чтобы набрать необходимое количество баллов, мне потребовалось не менее 15 часов в неделю. Для прохождения курса точно потребуется знания python, sql, linux, опыт работы с репозиториями git,gitlab (домашки сдаются через репозиторий). Необязательно, но желательно зание java, работа с docker.
Отличные преподаватели, мощная поддержка кураторов. Рекомендую.
ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ
Занятия проходят 1-2 раза в неделю по 2-4 академических часа, по предварительно составленному расписанию. Преподаватель проводит практические занятия дистанционно, в форме вебинаров с использованием платформы ZOOM или аналогичной. Самостоятельная работа выполняется слушателем в удобном для слушателя режиме. Параллельно с обучением Вы будете добавлены в чат, где сможете общаться со своими сокурсниками, куратором школы и преподавателем: задавать вопросы, делиться опытом
Вы сможете пересмотреть занятие в записи, если не смогли присоединиться или хотите повторить пройденную тему. Запись будет доступна на следующий день после занятия и далее на весь срок обучения.
Если почувствуете, что нагрузка слишком велика, то вы можете:
Перенести сроки обучения на следующий поток.
Перейти на другой курс обучения.
Вы сможете сделать возврат средств за ту часть обучения, которую не прошли.
К примеру, вы оплатили обучение целиком, но отучились только два месяца — мы вернём деньги за оставшиеся месяцы обучения.
Перенести сроки обучения на следующий поток.
Перейти на другой курс обучения.
Вы сможете сделать возврат средств за ту часть обучения, которую не прошли.
К примеру, вы оплатили обучение целиком, но отучились только два месяца — мы вернём деньги за оставшиеся месяцы обучения.
Закончив успешно курсы входящие в профессию вы получите диплом о профессиональной переподготовке МФТИ.
Вы можете оплатить всю стоимость обучения сразу, а также оплатить обучение в рассрочку. Первый платеж должен быть осуществлен до начала обучения.
После подтверждения участия в программе, мы высылаем оферту с графиком платежей и ссылку на оплату. Оплатить можно банковской картой.
После оплаты Вам придут:
1. Письмо с ссылками на подключения в чат и страница с актуальной информацией о курсе.
2. Письмо с формой Регистрационной анкеты (необходимо загрузить копии паспорта и диплома о высшем или среднем профессиональном образовании).
3. За три дня до старта курса придет письмо с расписанием лекций.
После подтверждения участия в программе, мы высылаем оферту с графиком платежей и ссылку на оплату. Оплатить можно банковской картой.
После оплаты Вам придут:
1. Письмо с ссылками на подключения в чат и страница с актуальной информацией о курсе.
2. Письмо с формой Регистрационной анкеты (необходимо загрузить копии паспорта и диплома о высшем или среднем профессиональном образовании).
3. За три дня до старта курса придет письмо с расписанием лекций.
Мы подбираем преподавателей в соответствии с задачами, опытом и уровнем участников программы.
Для того чтобы начать обучение Вы должны иметь диплом о высшем или среднем профессиональном образовании или справку о том, что обучаетесь сейчас. Возможность уделять время учебе не менее 8 часов в неделю. Иметь базовые знания по содержанию курса.
Занятия проходят 1-2 раза в неделю по 2-4 академических часа, по предварительно составленному расписанию. Преподаватель проводит практические занятия дистанционно, в форме вебинаров с использованием платформы ZOOM или аналогичной. Самостоятельная работа выполняется слушателем в удобном для слушателя режиме. Параллельно с обучением Вы будете добавлены в чат, где сможете общаться со своими сокурсниками, куратором школы и преподавателем: задавать вопросы, делиться опытом
Вы сможете пересмотреть занятие в записи, если не смогли присоединиться или хотите повторить пройденную тему. Запись будет доступна на следующий день после занятия и далее на весь срок обучения.
Если почувствуете, что нагрузка слишком велика, то вы можете:
Перенести сроки обучения на следующий поток.
Перейти на другой курс обучения.
Вы сможете сделать возврат средств за ту часть обучения, которую не прошли.
К примеру, вы оплатили обучение целиком, но отучились только два месяца — мы вернём деньги за оставшиеся месяцы обучения.
Перенести сроки обучения на следующий поток.
Перейти на другой курс обучения.
Вы сможете сделать возврат средств за ту часть обучения, которую не прошли.
К примеру, вы оплатили обучение целиком, но отучились только два месяца — мы вернём деньги за оставшиеся месяцы обучения.
Закончив успешно курсы входящие в профессию вы получите диплом о профессиональной переподготовке МФТИ.
Вы можете оплатить всю стоимость обучения сразу, а также оплатить обучение в рассрочку. Первый платеж должен быть осуществлен до начала обучения.
После подтверждения участия в программе, мы высылаем оферту с графиком платежей и ссылку на оплату. Оплатить можно банковской картой.
После оплаты Вам придут:
1. Письмо с ссылками на подключения в чат и страница с актуальной информацией о курсе.
2. Письмо с формой Регистрационной анкеты (необходимо загрузить копии паспорта и диплома о высшем или среднем профессиональном образовании).
3. За три дня до старта курса придет письмо с расписанием лекций.
После подтверждения участия в программе, мы высылаем оферту с графиком платежей и ссылку на оплату. Оплатить можно банковской картой.
После оплаты Вам придут:
1. Письмо с ссылками на подключения в чат и страница с актуальной информацией о курсе.
2. Письмо с формой Регистрационной анкеты (необходимо загрузить копии паспорта и диплома о высшем или среднем профессиональном образовании).
3. За три дня до старта курса придет письмо с расписанием лекций.
Мы подбираем преподавателей в соответствии с задачами, опытом и уровнем участников программы. Вы получите актуальные знания и навыки на рынке.
Для того чтобы начать обучение Вы должны иметь диплом о высшем или среднем профессиональном образовании или справку о том, что обучаетесь сейчас. Возможность уделять время учебе не менее 8 часов в неделю. Иметь базовые знания по содержанию курса.
Андрей Райгородский о ФПМИ МФТИ
Доктор физико-математических наук, профессор, директор Физтех-школы прикладной математики и информатики (ФПМИ)
“Физтех-школа прикладной математики и информатики (ФПМИ) МФТИ – безусловно ведущий мировой центр науки и образования в области математики и информатики. Особенность нашей школы заключается в том, что она сочетает в себе активную научную деятельность и тесную связь с индустрией. На сегодняшний день школа включает в себя 28 кафедр и 22 лаборатории от ключевых академических институтов и ключевых представителей IT-индустрии: Яндекс, Тинькофф, Сбербанк, VK, Abbyy, 1C, Huawei и другие.
Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "
Наша школа и МФТИ в целом гордимся своими выпускниками, например, мы занимаем первое место в рейтинге вузов России по уровню зарплат занятых в IT-отрасли специалистов "
Почему стоит выбрать МФТИ
1 место
в рейтинге Superjob в сфере
ТОП 3
в рейтинге Forbes
лучших вузов России
лучших вузов России
10 нобелевских лауреатов
среди выпускников и преподавателей
Более 80
академиков и членов-корреспондентов РАН
Почему Вам стоит выбрать МФТИ
1 место
в рейтинге Superjob в сфере
ТОП 3
в рейтинге Forbes
лучших вузов России
лучших вузов России
10 нобелевских лауреатов
среди выпускников и преподавателей
Более 80
академиков и членов-корреспондентов РАН
Подать заявку и получить консультацию
Нажимая кнопку «Отправить», вы соглашаетесь с условиями обработки персональных данных
Оплата обучения возможна в рассрочку
(только для физических лиц)
(только для физических лиц)
Оплата обучения возможна в рассрочку
(только для физических лиц)
(только для физических лиц)
Рассрочка на оплату обучения для физических лиц
По каждой из предлагаемых программ/курсов, имеется возможность оплаты обучения в рассрочку.
Условия рассрочки:
Полная стоимость обучения при использовании рассрочки не изменяется. Рассрочка беспроцентна, оформление рассрочки бесплатно.
Детали рассрочки описаны в оферте на каждую соответствующую программу/курс, в Приложении № 1 – График платежей.
В Графике платежей указаны контрольные даты, на которые слушателем суммарно за всё предшествующее такой дате время должна быть перечислена указанная в графике платежей соответствующая сумма, или превышающая её сумма (но не более полной стоимости обучения). Например:
Условия рассрочки:
Полная стоимость обучения при использовании рассрочки не изменяется. Рассрочка беспроцентна, оформление рассрочки бесплатно.
Детали рассрочки описаны в оферте на каждую соответствующую программу/курс, в Приложении № 1 – График платежей.
В Графике платежей указаны контрольные даты, на которые слушателем суммарно за всё предшествующее такой дате время должна быть перечислена указанная в графике платежей соответствующая сумма, или превышающая её сумма (но не более полной стоимости обучения). Например:
- Оплата через равные промежутки времени платежами одинакового размера
- Оплата одним платежом в размере стоимости всего обучения