Оптимизация Spark с помощью Scala
Spark Optimization with Scala
Rockthejvm
Изучите все тонкости Spark и извлеките максимум из своего кода с помощью Scala.
Почему $ & * (# моя работа выполняется так медленно?
Позвольте мне описать это, а затем скажите мне, похоже ли это на вас: вы выполняете задание из 4 строк на гигабайте данных с двумя невинными соединениями, и на выполнение этого требуется чертов час. Или другой вариант: у вас есть часовая работа, которая выполнялась плавно, пока задача 1149/1150 не зависла, и еще через два часа вы решаете ее убить, потому что не знаете, вы ли это, ошибка в Spark, или какой-то бог больших данных, который злится на вас!
Затем вы говорите: «Хм, может быть, мой кластер Spark слишком мал, позвольте мне поднять процессор и память». Тогда ... то же самое. Амазон, наверное, сейчас смеется. Так что это должен быть вопрос на миллион долларов.
Вы просматриваете единственный в сети курс по оптимизации Spark. С помощью техник, которые вы здесь изучаете, вы сэкономите время, деньги, энергию и избавитесь от головной боли.
Давай исправим это
Этим курсом мы подрезаем сорняки под корень. Мы глубоко погружаемся в Spark и понимаем, почему работа занимает так много времени, прежде чем мы коснемся какого-либо кода или, что еще хуже, тратим деньги на вычисления. А потом приносим пистолеты. Вы изучите 20+ техник и стратегий оптимизации. Каждый из них по отдельности может дать как минимум двукратное повышение производительности вашей работы, и я показываю это на камеру.
Что вас ждет:
Продажник:
Скачать:
Spark Optimization with Scala
Rockthejvm
Изучите все тонкости Spark и извлеките максимум из своего кода с помощью Scala.
Почему $ & * (# моя работа выполняется так медленно?
Позвольте мне описать это, а затем скажите мне, похоже ли это на вас: вы выполняете задание из 4 строк на гигабайте данных с двумя невинными соединениями, и на выполнение этого требуется чертов час. Или другой вариант: у вас есть часовая работа, которая выполнялась плавно, пока задача 1149/1150 не зависла, и еще через два часа вы решаете ее убить, потому что не знаете, вы ли это, ошибка в Spark, или какой-то бог больших данных, который злится на вас!
Затем вы говорите: «Хм, может быть, мой кластер Spark слишком мал, позвольте мне поднять процессор и память». Тогда ... то же самое. Амазон, наверное, сейчас смеется. Так что это должен быть вопрос на миллион долларов.
Вы просматриваете единственный в сети курс по оптимизации Spark. С помощью техник, которые вы здесь изучаете, вы сэкономите время, деньги, энергию и избавитесь от головной боли.
Давай исправим это
Этим курсом мы подрезаем сорняки под корень. Мы глубоко погружаемся в Spark и понимаем, почему работа занимает так много времени, прежде чем мы коснемся какого-либо кода или, что еще хуже, тратим деньги на вычисления. А потом приносим пистолеты. Вы изучите 20+ техник и стратегий оптимизации. Каждый из них по отдельности может дать как минимум двукратное повышение производительности вашей работы, и я показываю это на камеру.
Что вас ждет:
- Вы поймете внутреннее устройство Spark, чтобы объяснить, пишете ли вы хороший код или нет.
- Вы сможете заранее предсказать, займет ли работа много времени
- Вы будете читать планы запросов и DAG во время выполнения заданий, чтобы понять, делаете ли вы что-то не так.
- Вы оптимизируете преобразования DataFrame далеко за пределами стандартного автооптимизатора Spark.
- Вы будете выполнять быструю пользовательскую обработку данных с помощью эффективных RDD, в отличие от SQL.
- Вы диагностируете зависания, этапы и задачи
- Вы обнаружите и исправите перекосы данных
- Кроме того, вы исправите несколько сбоев памяти по пути
Продажник:
Скачать: