Увод у Хадооп Јоб Трацкер



Ово даје увид у употребу Јоб трацкер-а

је хадооп тешко научити

Хадооп Јоб Тацкер

Јоб Трацкер је главни демон за управљање ресурсима посла и распоређивање / надгледање послова. Делује као веза између Хадооп-а и ваше апликације.





Процес

Корисник прво копира датотеке у Дистрибуирани систем датотека (ДФС), пре него што клијенту пошаље посао. Клијент затим прима ове улазне датотеке. Корисник ће добити поделе или блокове на основу улазних датотека.Клијент је могаостворити поделе или блокове у човекунер ит преферс, јер иза тога стоје одређена разматрања. Ако се изврши анализа комплетних података, податке ћете поделити на поделе. Датотеке се не копирају преко клијента, већ се копирају користећи флуме или Скооп или било који спољни клијент.

Једном када се датотеке копирају у ДФС и клијент ступи у интеракцију са ДФС-ом,поделе ће покренути МапРедуце јоб. Посао се предаје путем трагача за послом. Трагач посла је главни демон који се изводи на истом чвору као и онтрчиови вишеструки послови на чворовима података. Ови подаци леже на различитим чворовима података, али на њима је одговоран трагач посла.



Након што клијент преда напосао праћења, посао се иницијализира у реду послова, а трагач посла креира мапе и смањује. На основу програма који је садржан у функцији карте и функцији редукције, креираће задатак карте и смањити задатак. Ове две ће се изводити на улазним поделама. Напомена: Када их креирају клијенти, овај унос дели све податке.

како инсталирати ецлипсе иде

Сваки унос подјеле има покренут посао мапе и излаз задатка мапе иде у задатак смањења. Трагач послова покреће стазу на одређеним подацима. Може постојати вишеструка репликација тога, тако да он бира локалне податке и покреће задатак на том одређеном програму за праћење задатака. Трагач задатака је онај који заправо покреће задатак на чвору података. Трагач посла ће проћиинформацијетрагачу задатака и трагач задатака ће покренути посао на чвору података.

Једном када је посао додијељен трагачу задатака, уз сваки трагач задатака и трагач посла повезан је откуцај срца. Шаље сигнале да би сазнао да ли су чворови података још увек живи. Њих две су често синхронизоване, јер постоји могућност да чворови нестану.



Имате питање за нас? Спомените их у одељку за коментаре и јавићемо вам се.

Повезани постови:

скок у ц ++