Чему вы научитесь
- Разрабатывайте распределенные системы, которые управляют «большими данными», используя Hadoop и связанные с ними технологии обработки данных.
- Используйте HDFS и MapReduce для хранения и анализа данных в масштабе.
- Используйте Pig и Spark для создания сценариев для обработки данных в кластере Hadoop более сложными способами.
- Анализ реляционных данных с помощью Hive и MySQL
- Анализируйте нереляционные данные с помощью HBase, Cassandra и MongoDB.
- Интерактивный запрос данных с помощью Drill, Phoenix и Presto
- Выберите подходящую технологию хранения данных для вашего приложения
- Узнайте, как YARN, Tez, Mesos, Zookeeper, Zeppelin, Hue и Oozie управляют кластерами Hadoop.
- Публикуйте данные в свой кластер Hadoop с помощью Kafka, Sqoop и Flume.
- Использование потоковых данных с помощью Spark Streaming, Flink и Storm
Требования
- Вам потребуется доступ к ПК с архитектурой x86 под управлением 64-разрядной версии Windows, MacOS или Linux с подключением к Интернету и не менее 8 ГБ *свободной* (не полной) оперативной памяти, если вы хотите участвовать в практических занятиях и упражнения. Если ваш ПК не соответствует этим требованиям или у вас есть только Mac на базе M1, вы все равно можете пройти курс, не выполняя практических действий.
- Некоторые действия потребуют некоторого предварительного опыта программирования, желательно на Python или Scala.
- Базовое знакомство с командной строкой Linux будет очень полезным.
Описание
Мир Hadoop и «больших данных» может быть пугающим — сотни различных технологий с загадочными именами образуют экосистему Hadoop. С помощью этого руководства по Hadoop вы не только поймете, что это за системы и как они сочетаются друг с другом, но и познакомитесь с ними на практике и узнаете, как использовать их для решения реальных бизнес-задач!
Изучите и освойте самые популярные технологии обработки данных в этом комплексном курсе, который преподает бывший инженер и старший менеджер Amazon и IMDb. Мы выйдем далеко за рамки самого Hadoop и погрузимся во все виды распределенных систем, с которыми вам может понадобиться интегрироваться.
- Установите и работайте с реальной установкой Hadoop прямо на своем рабочем столе с помощью Hortonworks (теперь часть Cloudera) и пользовательского интерфейса Ambari.
- Управляйте большими данными в кластере с помощью HDFS и MapReduce
- Напишите программы для анализа данных в Hadoop с помощью Pig и Spark.
- Храните и запрашивайте свои данные с помощью Sqoop, Hive, MySQL, HBase, Cassandra, MongoDB, Drill, Phoenix и Presto.
- Проектируйте реальные системы с помощью экосистемы Hadoop
- Узнайте, как управлять вашим кластером с помощью YARN, Mesos, Zookeeper, Oozie, Zeppelin и Hue.
- Обрабатывайте потоковые данные в режиме реального времени с помощью Kafka, Flume, Spark Streaming, Flink и Storm.
Разработчики Spark и Hadoop очень ценятся в компаниях с большими объемами данных; это очень востребованные навыки для изучения.
Почти каждая крупная компания, в которой вы, возможно, захотите работать, тем или иным образом использует Hadoop, включая Amazon, Ebay, Facebook, Google, LinkedIn, IBM, Spotify, Twitter и Yahoo! Hadoop нужен не только технологическим компаниям; даже New York Times использует Hadoop для обработки изображений.
Этот всеобъемлющий курс охватывает более 25 различных технологий в более чем 14 часах видеолекций. Он наполнен практическими занятиями и упражнениями, так что вы получите реальный опыт использования Hadoop — это не просто теория.
В этом курсе вы найдете множество упражнений для людей любого уровня. Если вы руководитель проекта, который просто хочет выучить модные словечки, для многих занятий в курсе есть веб-интерфейсы, не требующие знаний в области программирования. Если вы знакомы с командными строками, мы также покажем вам, как с ними работать. А если вы программист, я предлагаю вам написать настоящие сценарии в системе Hadoop с использованием Scala, Pig Latin и Python.
Вы закончите этот курс с реальным глубоким пониманием Hadoop и связанных с ним распределенных систем, и вы сможете применять Hadoop для решения реальных проблем. А в конце вас ждет ценный сертификат об окончании!
Обратите внимание, что этот курс посвящен разработке приложений, а не администрированию Hadoop. Хотя вы приобретете некоторые административные навыки по пути.
Умение работать с «большими данными» — невероятно ценный навык для современных работодателей. Не оставайтесь в стороне – записывайтесь прямо сейчас!
«The Ultimate Hands-On Hadoop… стал для меня решающим открытием. Я дополнял ваш курс кучей литературы и конференций, пока мне не удалось попасть на собеседование. Могу с гордостью сказать, что я получил работу инженера по большим данным. примерно через год после того, как я начал ваш курс. Большое спасибо за весь отличный контент, который вы создали, и кристально чистые объяснения ", - Альдо Серрано.
«Честно говоря, я не был бы там, где я сейчас, без этого курса. Фрэнк упрощает сложное, помогая вам пройти через процесс на каждом этапе пути. Настоятельно рекомендуется и стоит вашего времени, особенно среда Spark. Этот курс помог мне добиться многого. лучшее понимание среды и ее возможностей. Фрэнк упрощает сложное, помогая вам в процессе на каждом этапе. Настоятельно рекомендуется и стоит вашего времени, особенно среда Spark». - Тайлер Бак
Для кого этот курс:
- Инженеры-программисты и программисты, которые хотят понять большую экосистему Hadoop и использовать ее для хранения, анализа и продажи «больших данных» в любом масштабе.
- Менеджеры проектов, программ или продуктов, которые хотят понимать жаргон и высокоуровневую архитектуру Hadoop.
- Аналитики данных и администраторы баз данных, которым интересен Hadoop и его связь с их работой.
- Системные архитекторы, которым необходимо понимать компоненты, доступные в экосистеме Hadoop, и то, как они сочетаются друг с другом.
Язык курса: Английский
Последнее редактирование модератором:
- Статус
- В этой теме нельзя размещать новые ответы.