Пре него што започнемо овај туторијал за Апацхе Оозие, схватимо где се користи систем планера. У сценаријима у стварном времену, један посао овиси о другим пословима, попут излаза задатка МапРедуце може се прослиједити послу Хиве ради даље обраде. Следећи сценарио може бити планирање скупа задатака на основу времена попут дневног, недељног, месечног или на основу доступности података. Апацхе Оозие вам пружа моћ да се лако носите са оваквим сценаријима. Због тога је Апацхе Оозие важан део .
У овом блогу туторијала за Апацхе Оозие, покриваћемо:
- Апацхе Оозие Увод
- Оозие Воркфлов
- Оозие координатор
- Оозие Бундле
- Посао тока броја речи
- Посао координатора бројања речи заснованих на времену
Започећемо овај Оозие туториал представљањем Апацхе Оозие-а. Затим ћемо разумети типове послова који се могу створити и извршити помоћу Апацхе Оозие.
Водич за Апацхе Оозие: Увод у Апацхе Оозие
Апацхе Оозие је систем за планирање за управљање и извршавање Хадооп послова у дистрибуираном окружењу. Можемо створити жељени цевовод комбиновањем различитих врста задатака. То може бити ваш задатак Хиве, Пиг, Скооп или МапРедуце. Користећи Апацхе Оозие такође можете да планирате своје послове. У оквиру низа задатка, два или више послова такође могу бити програмирани да се паралелно изводе. То је скалабилан, поуздан и проширив систем.
Оозие је Јава апликација отвореног кода која је одговорна за покретање радњи у току рада. Заузврат користи извршни механизам Хадооп за извршавање задатака.
Апацхе Оозие открива извршавање задатака путем повратног позива и анкете. Када Оозие покрене задатак, он пружа јединствени ХТТП УРЛ за повратни позив задатку и обавештава тај УРЛ када је задатак завршен. Ако задатак не успе да позове УРЛ повратног позива, Оозие може извршити анкету задатка.
Постоје три врсте послова у Апацхе Оозие:
- Оозие Воркфлов послови & минус Ово су усмерени ациклични графикони (ДАГ) који одређују редослед акција које треба извршити.
- Оозие координатор послови & минус Они се састоје од послова тока посла покренутих временом и доступношћу података.
- Оозие Бундлес & минус То се може назвати пакетом више координатора и радних задатака.
Хајде сада да разумемо све ове послове један по један.
Водич за Апацхе Оозие: Оозие Воркфлов
Ток посла је низ радњи распоређених у директни ациклични графикон (ДАГ). Акције зависе једна од друге, јер се следећа акција може извршити тек након излаза тренутне акције. Акција тока посла може бити акција Свиња, Хиве акција, МапРедуце акција, Схелл акција, Јава акција итд. Могу постојати стабла одлучивања која ће одлучити како и под којим условом треба да се извршава посао.
Можемо створити различите врсте акција на основу посла и свака врста акције може имати свој тип ознака.Ток рада и скрипте или тегле треба да буду смештени у ХДФС путању пре извршења тока посла.
шта је цлоуд цлоуд услуге Салесфорце
Команда: оозие посао –оозие хттп: // лоцалхост: 11000 / оозие -цонфиг јоб.пропертиес -рун
За проверу статуса посла можете да одете на Оозие веб конзолу, тј. хттп: // име_хоста: 11000 . Кликом на посао видећете статус посла.
У сценаријима, где желимо паралелно да радимо више послова, можемо да користимо Виљушка . Кад год користимо форк, морамо користити Јоин као крајњи чвор за форк. За сваку вилицу треба да постоји спој. Јоин претпоставља да су сви чворови који се извршавају паралелно подређени једној вилици. На пример, паралелно можемо истовремено да направимо две табеле.
Ако желимо да изведемо акцију на основу резултата одлуке, можемо додати ознаке одлуке. На пример, ако већ имамо таблицу кошница, нећемо је морати поново креирати. У тој ситуацији можемо додати ознаку одлуке да не покрећемо кораке креирања табеле ако табела већ постоји. Чворови одлуке имају ознаку прекидача сличну случају прекидача.
Вредност трагача посла, чвора имена, скрипте и парамета може се директно проследити. Али, овим постаје тешко управљати. Овде је корисна датотека за конфигурисање (тј. .Проперти датотека).
Водич за Апацхе Оозие: Координатор Оозие-а
Можете планирати сложене токове рада као и редовно планиране токове рада помоћу Координатора. Оозие координатори покрећу послове токова посла на основу времена, података или предиката. Токови рада унутар координатора послова започињу када се испуни задати услов.
Дефиниције потребне за послове координатора су:
- почетак & минус Датум и време почетка посла.
- крај & минус Датум завршетка посла.
- Временска зона & минус Временска зона апликације координатора.
- фреквенција & минус Учесталост извршавања послова у минутима.
За контролне информације доступна су још нека својства:
- пауза у утакмици & минус Максимално време, у минутима, за које ће акција сачекати да задовољи додатне услове, пре него што се одбаци. 0 означава да ако сви улазни догађаји нису задовољени у тренутку материјализације радње, акција треба одмах да истекне. -1 означава да нема временског ограничења, акција ће чекати заувек. Подразумевана вредност је -1.
- подударност & минус Максималан број радњи за посао који се може одвијати паралелно. Подразумевана вредност је 1.
- извршење - Одређује налог за извршење ако је више инстанци посла координатора задовољило своје критеријуме извршења. То може бити:
- ФИФО (подразумевано)
- ЛИФО
- ЛАСТ_ОНЛИ
Команда: оозие посао –оозие хттп: // лоцалхост: 11000 / оозие -цонфиг -рун
Ако својство конфигурације које се користи у дефиницији није дато са конфигурацијом посла током предаје посла координатора, предаја посла неће успјети.
Водич за Апацхе Оозие: Оозие Бундле
Оозие Бундле системомогућава вам да дефинишете и извршите скуп апликација координатора, које се често називају цевовод података. У Оозие пакету нема експлицитне зависности међу апликацијама координатора. Међутим, зависност података апликација координатора можете користити за стварање имплицитног цјевовода апликација података.Можете започети / зауставити / суспендовати / наставити / поново покренути пакет. Омогућава бољу и лакшу оперативну контролу.
Време почетка & минус Време када пакет треба покренути и предати пријаве координатора.
Напредујући у овом упутству за Апацхе Оозие, разумећемо како да креирамо посао.
Водич за Апацхе Оозие: Посао тока бројања речи
У овом примеру ћемо извршити посао пребројавања речи користећи Апацхе Оозие. Овде нећемо разговарати о томе како написати програм за бројање речи МапРедуце. Дакле, пре него што следите овај водич за Апацхе Оозие, морате да преузмете ово тегла за бројање речи датотека. Сада креирајте ВордЦоунтТест директоријум у који ћемо сместити све датотеке. Направите директоријум либ где ћемо сместити теглу за бројање речи као што је приказано на сликама испод.
Сада, идемо напред и креирајмо посао.својства & воркфлов.кмл датотеке, где ћемо одредити посао и параметре повезане са њим.
посао.својства
Прво, креирамо посао.својства датотеку, где дефинишемо путању до НамеНоде & РесоурцеМанагер. Путања НамеНоде је потребна за решавање путање директорија тока посла, а путања јобТрацкер помоћи ће у предаји посла на ИАРН. Морамо да обезбедимо пут воркфлов.кмл датотеку, која треба да се чува у ХДФС-у.
воркфлов.кмл
Даље, треба да креирамо воркфлов.кмл датотеку, где ћемо дефинисати све своје радње и извршити их. Прво морамо да наведемо име апликације за ток рада тј. ВоркфловРуннерТест . Затим прецизирамо стартни чвор . Почетни чвор ( у тхе почињу да ознака ) је улазна тачка за посао у току рада. Усмерава на први чвор тока посла одакле би посао требало да започне. Као што видите на доњој слици, следећи чвор је пресек0 одакле ће посао започети.
Даље, у чвору акције прецизирамо задатак који треба извршити. Овде извршавамо задатак МапРедуце ВордЦоунт. Морамо да наведемо конфигурације потребне за извршавање овог задатка МапРедуце. Дефинишемо трагач посла и адресу НамеНоде.
Следи припремљени елемент, који се користи искључиво за чишћење директоријума, пре извршавања акције. Овде изводимо операцију брисања у ХДФС-у за брисање датотеке оут1 директоријум ако је већ створен. Ознака за припрему користи се за креирање или брисање директоријума пре извршавања посла. Затим специфицирамо својства МапРедуце као што су назив реда послова, класа маппер, класа редуктора, класа излазног кључа и класа излазних вредности.
Последња конфигурација задатка МапРедуце је улазно-излазни директоријум у ХДФС-у. Улазни директоријум је подаци директоријум, који је ускладиштен у основној путањи НамеНоде . Напокон ћемо одредити елемент килл ако посао не успе.
Сада морамо да преместимо ВордЦоунтТест директоријум у ХДФС-у, као што смо навели у оозие.вф.апплицатион.патх имање у посао.својства датотека. Дакле, ми копирамо ВордЦоунтТест у основном директоријуму Хадооп-а.
Команда: хадооп фс -пут ВордЦоунтТест /
Да бисте проверили, можете да одете на НамеНоде Веб УИ и проверите да ли је фасцикла отпремљена у ХДФС основни директоријум или не.
Сада смо сви спремни да кренемо напред и извршимо посао тока посла.
Команда: оозие посао –оозие хттп: // лоцалхост: 11000 / оозие -цонфиг јоб.пропертиес -рун
Једном када извршимо свој посао, добићемо ИД посла (тј. 0000009-171219160449620-оозие-едур-В ) као што је приказано на горњој слици. Можете отићи и проверити посао који сте послали у Оозие Веб УИ тј. лоцалхост: 11000 . На доњој слици можете видети да је посао који смо предали наведен доле.
Ако ћете посматрати на горњој слици, видећете ИД посла, назив посла, статус посла, корисника који је послао посао, време израде, почетак и последња измена. Можете кликнути на посао да бисте добили више детаља попут:
- Информације о послу
- Дефиниција посла
- Конфигурација посла
Како је статус посла успео, тако морамо да пређемо у ХДФС основни директоријум и проверимо да ли је излазни директоријум креиран или не.
оператер резолуције опсега у ц ++
Као што видите да оозиеоут директоријум је креиран у ХДФС-у, па сада погледајмо излазну датотеку која је креирана.
Као што смо видели како се креира посао Оозие тока посла, сада ћемо напредовати на овом блогу Апацхе Оозие Туториал и разумети како створити посао координатора.
Водич за Апацхе Оозие: Посао координатора бројања речи заснованих на времену
У овом примеру ћемо створити посао координатора бројања речи заснован на времену који ће се извршити након одређеног временског интервала. Можете да креирате и закажете посао користећи Апацхе Оозие који треба да се извршава свакодневно или повремено.
Напредујмо брзо у овом упутству за Апацхе Оозие и створимо посао координатора. Овде ћемо направити три датотеке, тј. координатор.својства , координатор.кмл & воркфлов.кмл датотека. Опет, овде ћемо поставити ж ордцоунт тегла унутар либ директоријум као што је приказано на доњој слици.
Сада ћемо погледати ове датотеке појединачно. Прво ћемо започети са датотеком координатор.пропертиес.
Овде наводимо учесталост извршавања радног тока. Учесталост се увек изражава у минутима. У нашем случају, овај посао координатора извршиће се сваких сат времена између наведеног времена. Фреквенција се користи за хватање периодичних интервала у којима се производе скупови података и планирано је покретање апликација координатора.
За дефинисање учесталости у минутима, сатима, данима и месецима користите следећи формат:
| $ {координата: минута (инт н)} | н | $ {координата: минута (45)} -> 45 |
| $ {координата: сати (инт н)} | н * 60 | $ {координата: сати (3)} -> 180 |
| $ {координата: дана (инт н)} | променљива | $ {цоорд: даис (2)} -> минута у пуна два дана од тренутног датума |
| $ {координата: месеци (инт н)} | променљива | $ {координата: месеци (1)} -> минута у 1 целом месецу од тренутног датума |
Даље, дефинишемо време почетка и завршетка посла како је приказано на горњој слици. Почетно време је датум почетка посла и време завршетка је датум завршетка посла.
Даље, наводимо УРЛ адреса НамеНоде и РесоурцеМанагер, који ће се користити за упућивање на воркфлов.кмл датотеку у ХДФС-у и слање послова на ИАРН. Напокон, прецизирамо путању воркфлов.кмл, коју ћемо сачувати у ХДФС-у. Такође ћемо одредити путању апликације у којој ће бити ускладиштене све датотеке и директоријуми.
Друга датотека је координатор.кмл где ћемо користити сва својства која смо навели у координатор.својства датотека. Сада ћемо прво одредити својства апликације координатора, тј. Име, фреквенцију и временску зону. Затим ћемо одредити токове рада један по један. Овде имамо само један ток рада. Дакле, унутар елемента акције креираћемо елемент тока посла, где ћемо одредити путању апликације.
Следеће, напредовање напред морамо створити воркфлов.кмл датотека у којој ћемо одредити задатак. Слично је воркфлов.кмл датотеку коју смо креирали у послу тока посла.
Сад ћемо поново то да померимо ВордЦоунтТест_ТимедБасед директоријум на ХДФС.
Команда : хадооп фс -пут ВордЦоунтТест_ТимеБасед /
Сада смо сви спремни да кренемо напред и извршимо овај посао координатора у овом водичу за Оозие. Хајде да га извршимо.
Команда : оозие посао –оозие хттп: // лоцалхост: 11000 / оозие -цонфиг координатор.пропертиес -рун
Запишите овај ИД посла координатора (тј. 0000010-171219160449620-оозие-едур-Ц). Помоћи ће вам да пронађете свој посао у Оозие Веб УИ.
Посао можете видети доле на картици Послови координатора у Оозие Веб УИ. Слично послу посла, имамо име, статус, корисника, учесталост, време почетка и завршетка посла. Када кликнете на одређени посао, видећете детаље посла, као што је приказано на сликама испод.
како направити низ објеката у јави
- Информације о послу координатора
- Дефиниција посла координатора
- Конфигурација посла координатора
Као што смо прегледали различите картице. Вратићемо се у ХДФС основни директоријум где ће се креирати излазна мапа. Као што видите на доњој слици, оозиеТимеБаседоут директоријум је створен, као што смо навели у воркфлов.кмл датотека.
Сада, погледајмо излазну датотеку која је креирана.
Надам се да вам је овај Апацхе Оозие Туториал блог био информативан. Ако сте заинтересовани да сазнате више, можете проћи кроз ово која вам говори о великим подацима и како Хадооп решава изазове повезане са великим подацима.
Сад кад сте разумели Апацхе Оозие, погледајте Едурека, поуздана компанија за учење на мрежи са мрежом од више од 250.000 задовољних ученика раширених широм света. Едурека курс обуке за сертификацију великих података помаже ученицима да постану стручњаци за ХДФС, предиво, МапРедуце, свињу, кошницу, ХБасе, Оозие, Флуме и Скооп користећи случајеве коришћења у реалном времену на малопродаји, друштвеним медијима, ваздухопловству, туризму, финансијском домену.
Имате питање за нас? Молимо вас да то споменете у одељку за коментаре и јавићемо вам се.