| Наименование | Подготовка данных для проведения аналитических работ по исследованию больших данных |
|
|
|
|
| Происхождение трудовой функции | Оригинал |
|
Заимствовано из оригинала |
|
|
|
| Код оригинала | Регистрационный номер профессионального стандарта |
| Трудовые действия | Определение источников больших данных для анализа, идентификация внешних и внутренних источников данных для проведения аналитических работ Получение и фильтрация больших объемов данных из гетерогенных источников Извлечение, проверка и очистка больших объемов данных из гетерогенных источников Агрегация и разработка представления больших объемов данных из гетерогенных источников Оценка соответствия набора данных предметной области и задачам аналитических работ |
| Необходимые умения | Определять требования к поставщикам данных из гетерогенных источников Осуществлять взаимодействие с внутренними и внешними поставщиками данных из гетерогенных источников Разрабатывать и оценивать модели больших данных Использовать инструментальные средства для извлечения, преобразования, хранения и обработки данных из разнородных источников, в том числе в режиме реального времени Производить очистку данных для проведения аналитических работ Проводить интеграцию и преобразование больших объемов данных Оценивать соответствие наборов данных задачам анализа больших данных Оценивать стоимость данных для проведения аналитических работ |
| Необходимые знания | Возможности имеющейся у исполнителя методологической и технологической инфраструктуры анализа больших данных Предметная область анализа Теоретические и прикладные основы анализа больших данных Современные методы и инструментальные средства анализа больших данных Современный опыт использования анализа больших данных Типы больших данных: метаданные, полуструктурированные, структурированные, неструктурированные Виды источников данных: созданные человеком, созданные машинами Источники информации, в том числе информации, необходимой для обеспечения деятельности в предметной области заказчика исследования Методы извлечения информации и знаний из гетерогенных, мультиструктурированных, неструктурированных источников, в том числе при потоковой обработке Российские и международные стандарты информационной безопасности Современная технологическая инфраструктура высокопроизводительных и распределенных вычислений Режимы получения и обработки данных, поддержка режима реального времени Технологии хранения и обработки больших данных в организации: базы данных, хранилища данных, распределенная и параллельная обработка данных, вычисления в оперативной памяти Облачные технологии, облачные сервисы Методы оценки временных и стоимостных характеристик технологий больших данных Технологии межличностной и групповой коммуникации в деловом взаимодействии, основы конфликтологии Правила деловой переписки |
| Другие характеристики |