На овом блогу, да видимо како да направимо Спарк за одређену верзију Хадооп-а.
Такође ћемо научити како да градимо Спарк са ХИВЕ и ПРЕДИЈОМ.
типови података у мискл-у са примерима
С обзиром да јесте Хадооп, јдк, мвн и иди унапред инсталиран и унапред конфигурисан на вашем систему.
Отвори Мозилла претраживач и Преузми Искра користећи везу испод.
хттпс://едурека.вистиа.цом/медиас/к14еамзаза/
Отворите терминал.
Наредба: тар -квф Довнлоадс / спарк-1.1.1.тгз
Команда: лс
Отворите директоријум спарк-1.1.1.
Можете отворити пом.кмл датотека. Ова датотека вам даје информације о свим зависности Потребан вам је.
Не уређујте га како бисте се избегли невоље.
Команда: цд спарк-1.1.1 /
Наредба: судо гедит сбт / сбт-лаунцх-либ.басх
Уредите датотеку као доњи снимак, сачувајте је и затворите.
Смањујемо меморију како бисмо избегли проблем са простором гомиле објеката као што је поменуто у доњем снимку.
Сада покрените доњу команду у терминалу да бисте изградили искру за Хадооп 2.2.0 са ХИВЕ и ИАРН.
Команда: ./сбт/сбт -П предива -П кошница -Пхадооп-2.2 -Д хадооп.верзија = 2.2.0 -Д скипТестс скупштина
Напомена: Моја верзија Хадооп-а је 2.2.0, можете је променити у складу са вашом верзијом Хадооп-а.
За остале верзије Хадооп-а
# Апацхе Хадооп 2.0.5-алфа
-Дхадооп.версион = 2.0.5-алфа
#Цлоудера ЦДХ 4.2.0
-Дхадооп.версион = 2.0.0-цдх4.2.0
# Апацхе Хадооп 0.23.к
-Пхадооп-0.23 -Дхадооп.верзија = 0.23.7
# Апацхе Хадооп 2.3.Кс
-Пхадооп-2.3 -Дхадооп.верзија = 2.3.0
# Апацхе Хадооп 2.4.Кс
-Пхадооп-2.4 -Дхадооп.верзија = 2.4.0
Састављање и паковање ће потрајати, сачекајте док се не заврши.
Две тегле спарк-ассембли-1.1.1-хадооп2.2.0.јар и спарк-екамплес-1.1.1-хадооп2.2.0.јар се ствара.
Патх оф спарк-ассембли-1.1.1-хадооп2.2.0.јар : /хоме/едурека/спарк-1.1.1/ассембли/таргет/сцала-2.10/спарк-ассембли-1.1.1-хадооп2.2.0.јар
Патх оф спарк-екамплес-1.1.1-хадооп2.2.0.јар: /хоме/едурека/спарк-1.1.1/екамплес/таргет/сцала-2.10/спарк-екамплес-1.1.1-хадооп2.2.0.јар
Честитамо, успешно сте изградили Спарк за кошницу и предиво.
Имате питање за нас? Молимо вас да их наведете у одељку за коментаре и јавићемо вам се.
Повезани постови:
Апацхе Спарк са Хадооп-ом - Зашто је то важно?