Программа подготовлена с учетом потребностей бизнеса к квалификации специалистов в области ИИ и профессионального стандарта «Большие данные»

Модуль 1. Основы языка программирования Python.

Установка и настройка Jupyter Notebook, переменные и типы данных, строки, списки, цикл for, вложенные списки, условный оператор, цикл while, функции, словари, Web mining, введение в HTML, инструменты разработчика, POST\GET запросы, регулярные выражения, парсинг HTML, API, JSON, запуск скриптов на yandex cloud functions, обзор low-code платформ: «SaluteBot» и «Aimylogic»

Модуль 2. Pandas и предобработка данных.

Знакомство с библиотекой Pandas, знакомство со структурами данных Series, DataFrame, загрузка данных из CSV-файлов, изучение одномерных данных с помощью объекта Series, изучение объектов DataFrame, операции над объектами DataFrame, индексация данных, категориальные данные, выполнение арифметических операций над объектами Series и DataFrame, загрузка данных и обработка данных, группировка данных, Библиотеки datatime, matplotlib, NumPy, Seaborn, виды визуализации данных в pandas

Модуль 3. Визуализация данных Yandex DataLens

Визуализация и чарты в DataLens, типы дашбордов, интерактивность в дашбордах, вычисляемые поля и параметры, карты, объединение из нескольких датасетов

Модуль 4. Основы SQL

Установка и настройка клиента БД, Основы администрирования БД, Интеграция SQL и Python, интеграция SQL и Yandex DataLens, Основы языка SQL, срезы данных в SQL, агрегирующие функции, группировка и сортировка, объединение таблиц, подзапросы

Модуль 5. Основы машинного обучения с использованием библиотеки TensorFlow.

Обзор библиотеки TensorFlow, Обработка текста и естественного языка, вложения слов, Word2Vec, классификация текста с помощью BERT

В РЕЗУЛЬТАТЕ ОБУЧЕНИЯ В СМОЖЕТЕ:

- Проводить презентации при консультировании заказчика, согласовании и утверждении требований к результатам аналитических работ с использованием технологий больших данных;
- Подготавливать документы, регламентирующие требования к результатам аналитического исследования с использованием технологий больших данных в соответствии с существующими регламентами организации;
- Проводить анализ больших данных в соответствии с утвержденными требованиями к результатам аналитического исследования;
- Представлять содержание и результаты работ по анализу больших данных;
- Проводить анализ больших данных;
- Осуществлять интеграцию и преобразование данных в ходе работ по анализу больших данных;
- Осуществлять взаимодействие с внутренними и внешними поставщиками данных из гетерогенных источников;
- Использовать инструментальные средства для извлечения, преобразования, хранения и обработки данных из разнородных источников, в том числе в режиме реального времени;
- Производить очистку данных для проведения аналитических работ;
- Программировать на языках высокого уровня, ориентированных на работу с большими данными: для статистической обработки данных и работы с графикой, для работы с разрозненными фрагментами данных в больших массивах, для работы с базами структурированных и неструктурированных данных;
- Формировать предложения по использованию результатов анализа;
- Оформлять результаты аналитического исследования для представления заказчику;
- Разъяснять заказчику результаты аналитической работы;
- Анализировать большие данные с использованием существующей в организации методологической и технологической инфраструктуры.
- Управление разработкой продуктов, услуг и решений на основе больших данных