Научили смо како Направите кошницу и предиво на Спарк-у . Сада да испробамо примере кошница и предива на Спарк-у.
Пример кошнице на варници
Покренућемо пример Хиве он Спарк. Направићемо табелу, учитати податке у њу и извршити једноставан упит. Када радите са кошницом, морате конструисати а ХивеЦонтект која наслеђује од СКЛЦонтект .
Команда: цд спарк-1.1.1
Команда: ./бин/спарк-схелл
Направите улазну датотеку 'узорак' у вашем кућном директоријуму, као испод снимка (табулатор одвојен)
Команда: вал склЦонтект = нови орг.апацхе.спарк.скл.хиве.ХивеЦонтект (сц)
Команда: склЦонтект.скл („ИЗРАДИ ТАБЕЛУ АКО НЕ ПОСТОЈИ тест (назив СТРИНГ, ранг ИНТ) РЕДНИ ФОРМАТ ОДДЕЉЕНА ПОЉА ЗАКЉУЧЕНА„ ‘ЛИНИЈАМА ПРЕКИНУТИМ„
‘”)
за шта се користи наука о подацима
Команда: склЦонтект.скл („УЧИТАЈ ЛОКАЛНИ ПОДАЦИ ПОДАТАКА‘ / хоме / едурека / сампле ’ИН ТАБЛЕ тест“)
Команда: склЦонтект.скл („СЕЛЕЦТ * ФРОМ тест ВХЕРЕ ранк<5”).collect().foreach(println)
Пример предива на варници
Покренућемо пример СпаркПи на Пређи. Пређу на Спарк можемо распоредити у два начина: кластер режим и режим клијента. У режиму кластера пређе, покретачки програм Спарк покреће се унутар главног процеса апликације којим Иарн управља на кластеру, а клијент може да оде након покретања апликације. У режиму пређе-клијент, покретачки програм се изводи у клијентском процесу, а мастер апликација се користи само за тражење ресурса од пређе.
шта матх.абс ради у јави
Команда: цд спарк-1.1.1
Команда: СПАРК_ЈАР =. / Ассембли / таргет / сцала-2.10 / спарк-ассембли-1.1.1-хадооп2.2.0.јар ./бин/спарк-субмит –мастер предиво –деплотски модус кластер -разред орг.апацхе.спарк.примери. СпаркПи –нум-извршитељи 1 –дривер-меморија 2г –извршитељ-меморија 1г –извршитељ-језгра 1 примери / таргет / сцала-2.10 / спарк-екамплес-1.1.1-хадооп2.2.0.јар
Након што извршите горњу наредбу, причекајте неко вријеме док не добијете УСПЕО поруку.
Прегледајте лоцалхост: 8088 / кластер и кликните на апликацију Спарк.
Кликните на трупци .
Кликните на стдоут да бисте проверили излаз.
За постављање Пређе на Спарк у клијентском режиму, само направите –Деплои-моде као што „Клијент“. Сада знате како да направите кошницу и предиво на Спарк-у. На њима смо такође радили вежбе.
Имате питање за нас? Молимо вас да их наведете у одељку за коментаре и јавићемо вам се.
Повезани постови
Апацхе Спарк са Хадооп-ом - Зашто је то важно?
генерише случајни низ јава
Кошница и предиво се електрифицирају варницом