WORKSHOP BIG DATA.DEVOPS
Участие студентов ГУМРФ имени адмирала С.О. Макарова в WORKSHOP BIG DATA.DEVOPS
Компания EPAM, предоставляющая комплекс услуг для цифрового бизнеса, провела WORKSHOP BIG DATA.DEVOPS. Мероприятие состоялось в офисе EPAM на улице Заставская 22/2 литер А, бизнес-центр Мегапарк, 7 этаж.
Институт водного транспорта ГУМРФ имени адмирала С.О. Макарова представляли студенты 2 и 3 курсов:
- Михалов Дмитрий (ИП-21, 01.03.02 «Прикладная математика и информатика»);
- Артемьев Денис (ИЗ-31, 10.05.03 «Информационная безопасность автоматизированных систем»);
- Якушина Анна (ИЗ-31, 10.05.03 «Информационная безопасность автоматизированных систем»);
Руководителем группы выступила доцент кафедры прикладной математики Волкова Тамара Александровна.
Мероприятие длилось 3.5 часа, за это время, при помощи наставников участниками была проделана следующая работа:
- на удаленных машинах был установлен Apache Ambari (программный продукт компании Apache Software Foundation, нацеленный на упрощение работы с Hadoop при помощи разработанного программного обеспечения для управления и контроля кластеров Apache Hadoop) посредством удаленного доступа ssh;
- создан кластер и выполнена его разметка для файловой системы, предназначенной для хранения файлов больших размеров HDFS;
- установлена программа Hive, которая позволяет работать с данными так, как если бы мы работали с обычной реляционной базой;
- установлена свободная объектно-реляционная система управления базами данных (СУБД) postgresql;
- обработаны предоставленные данные по метео-службам и статистике задержки рейсов;
- данные загружены в кластер в HDFS;
- выполнена разметка метаданных и перенесена в базу postgresql.
Далее компания предоставила код скриптов на языке Pyton, с помощью которых были построены корреляции полученных данных, затем было выполнено тестирование пройденного материала. Весь процесс сопровождался лекциями, объяснениями и наглядными примерами
Среди участников мероприятия в основном были представители бизнеса, взрослые профессионалы. Наши студенты получили интересный опыт участия, погрузившись в актуальную и сложную тематику.
Выражаем благодарность организаторам мероприятия за высокий уровень организации и продвижение цифровых технологий среди учащихся нашего вуза.