У овом блогу са упутствима за Апацхе Флуме, разумећемо како Флуме помаже у стримовању података из различитих извора. Али пре тога, схватимо важност уноса података. Уношење података је почетни и важан корак за обраду и анализу података, а затим из њих извлачење пословних вредности. Постоји више извора из којих се подаци прикупљају у организацији.
Хајде да разговарамо о још једном важном разлогу зашто је Флуме постао толико популаран. Надам се да сте можда упознати , који се изузетно користи у индустрији јер може да чува све врсте података. Флуме се лако може интегрисати са Хадооп-ом и одлагати неструктуриране, као и полуструктуриране податке на ХДФС, допуњујући моћ Хадооп-а. Због тога је Апацхе Флуме важан део Хадооп екосистема.
На овом блогу са упутствима за Апацхе Флуме обрадићемо:
- Увод у Апацхе Флуме
- Предности Апацхе Флуме-а
- Флуме Арцхитецтуре
- Стреаминг података са Твиттер-а помоћу Флуме-а
Овај туторијал за Флуме започињемо расправом о томе шта је Апацхе Флуме. Затим ћемо кренути напред, схватићемо предности коришћења Флуме-а.
Водич за Апацхе Флуме: Увод у Апацхе Флуме
Апацхе Флуме је алат за уношење података у ХДФС. Прикупља, обједињује и транспортује велику количину проточних података као што су датотеке дневника, догађаји из различитих извора попут мрежног саобраћаја, друштвених медија, е-порука итд. На ХДФС.Флуме је изузетно поуздан и дистрибуиран.
Главна идеја која стоји иза дизајна Флуме-а је хватање података стриминга са различитих веб сервера на ХДФС. Има једноставну и флексибилну архитектуру засновану на протоку протока података. Отпоран је на кварове и пружа механизам поузданости за толеранцију грешака и опоравак квара.
Након што смо разумели шта је Флуме, сада напредујмо на овом блогу са упутствима за Флуме и схватимо предности Апацхе Флуме-а. Затим ћемо кренути напред, погледаћемо архитектуру Флуме-а и покушати да схватимо како она фундаментално функционише.
врста коментара у јави
Водич за Апацхе Флуме: Предности Апацхе Флуме-а
Постоји неколико предности Апацхе Флуме-а што га чини бољим избором у односу на друге. Предности су:
- Флуме је скалабилан, поуздан, отпоран на кварове и прилагодљив за различите изворе и судопере.
- Апацхе Флуме може да складишти податке у централизованим продавницама (тј. Подаци се достављају из једне продавнице) попут ХБасе и ХДФС.
- Флуме је хоризонтално скалабилан.
- Ако брзина читања премашује брзину писања, Флуме пружа сталан проток података између операција читања и писања.
- Флуме пружа поуздану испоруку порука. Трансакције у Флуме-у се заснивају на каналу где се за сваку поруку одржавају две трансакције (један пошиљалац и један прималац).
- Коришћењем Флуме-а можемо уносити податке са више сервера у Хадооп.
- Даје нам решење које је поуздано и дистрибуирано и помаже нам у прикупљању, обједињавању и премештању велике количине скупова података као што су Фацебоок, Твиттер и е-цоммерце веб странице.
- Помаже нам да у ХДФС унесемо мрежне податке из различитих извора као што су мрежни саобраћај, друштвени медији, поруке е-поште, датотеке дневника итд.
- Подржава велики скуп извора и одредишта.
Архитектура је која Апацхе Флуме оснажује овим предностима. Сада, пошто знамо предности Апацхе Флуме-а, идемо напред и разумемо Апацхе Флуме архитектуру.
Водич за Апацхе флуме: Архитектура флума
Сада, схватимо архитектуру Флуме-а из доњег дијаграма:
Постоји агент Флуме који уноси податке за струјање из различитих извора података у ХДФС. Из дијаграма лако можете да схватите да веб сервер указује на извор података. Твиттер је један од познатих извора за стриминг података.
Средство за гријање има 3 компоненте: извор, судопер и канал.
- Извор : Прихвата податке из долазне струје и складишти их у каналу.
- Цханнел : Генерално, брзина читања је бржа од брзине писања. Дакле, потребан нам је неки бафер који одговара разлици брзине читања и писања. У основи, бафер делује као посредничко складиште које складишти податке који се привремено преносе и због тога спречава губитак података. Слично томе, канал делује као локално складиште или привремено складиште између извора података и трајних података у ХДФС-у.
- Лавабо : Затим, наша последња компонента, тј. Синк, прикупља податке са канала и трајно урезује или записује податке у ХДФС.
Сада када знамо како функционише Апацхе Флуме, погледајмо практично где ћемо потапати Твиттер податке и чувати их у ХДФС-у.
Водич за Апацхе Флуме: Стреаминг Твиттер података
У овом практичном делу ћемо преносити податке са Твиттер-а користећи Флуме, а затим их складиштити у ХДФС, као што је приказано на доњој слици.
Први корак је стварање апликације Твиттер. За ово прво морате да одете на овај урл: хттпс://аппс.твиттер.цом/ и пријавите се на свој Твиттер налог. Идите на стварање картице апликације као што је приказано на доњој слици.
Затим креирајте апликацију као што је приказано на доњој слици.
Након креирања ове апликације, пронаћи ћете кључ за приступ и приступ. Копирајте кључ и приступни токен. Ове жетоне ћемо проследити у нашу конфигурациону датотеку Флуме да бисмо се повезали са овом апликацијом.
Сада креирајте датотеку флуме.цонф у кореновском директоријуму флуме-а, као што је приказано на доњој слици. Као што смо разговарали, у архитектури Флуме-а конфигурисаћемо извор, умиваоник и канал. Наш извор је Твиттер, одакле преносимо податке, а наш Синк је ХДФС, где записујемо податке.
У конфигурацији извора прослеђујемо тип изворника Твиттер као орг.апацхе.флуме.соурце.твиттер.ТвиттерСоурце. Затим преносимо сва четири токена која смо добили од Твиттера. Коначно, у изворној конфигурацији прослеђујемо кључне речи за које ћемо преузимати твеетове.
У конфигурацији Синк конфигурисаћемо ХДФС својства. Поставићемо ХДФС путању, формат записа, тип датотеке, величину серије итд. Напокон ћемо подесити меморијски канал како је приказано на доњој слици.
Сада смо сви спремни за извршење. Идемо напред и извршимо ову наредбу:
$ ФЛУМЕ_ХОМЕ / бин / флуме-нг агент --цонф ./цонф/ -ф $ ФЛУМЕ_ХОМЕ / флуме.цонф
Након извршења ове наредбе неко време, а затим можете изаћи из терминала помоћу ЦТРЛ + Ц. Тада можете ићи у свој Хадооп директоријум и проверити поменуту путању, без обзира да ли је датотека креирана или не.
шта је виртуелна функција јава
Преузмите датотеку и отворите је. Добићете нешто као што је приказано на доњој слици.
Надам се да је овај блог информативан и да вам додаје вредност. Ако сте заинтересовани да сазнате више, можете проћи кроз ово која вам говори о великим подацима и како Хадооп решава изазове повезане са великим подацима.
Сад кад сте разумели Апацхе Флуме, погледајте Едурека, поуздана компанија за учење на мрежи са мрежом од више од 250.000 задовољних ученика раширених широм света. Едурека курс обуке за сертификацију великих података помаже ученицима да постану стручњаци за ХДФС, предиво, МапРедуце, свињу, кошницу, ХБасе, Оозие, Флуме и Скооп користећи случајеве коришћења у реалном времену на малопродаји, друштвеним медијима, ваздухопловству, туризму, финансијском домену.
Имате питање за нас? Молимо вас да то споменете у одељку за коментаре и јавићемо вам се.