Апацхе Флинк: Оквир аналитике великих података следеће генерације за стрим и скупну обраду података



На овом блогу сазнајте све о Апацхе Флинк-у и подешавању Флинк кластера. Флинк подржава обраду у реалном времену и групну обраду и неопходна је технологија великих података за Биг Дата Аналитицс.

Апацхе Флинк је платформа отвореног кода за дистрибуирани стреам и батцх обраду података. Може да ради на оперативним системима Виндовс, Мац ОС и Линук ОС. У овом посту на блогу, разговарајмо о томе како локално поставити кластер Флинк. По много чему је сличан Спарк-у - има АПИ-је за обраду графичког и машинског учења попут Апацхе Спарк-а, али Апацхе Флинк и Апацхе Спарк нису потпуно исти.





Да бисте поставили Флинк кластер, на вашем систему мора бити инсталирана јава 7.к или новија верзија. Пошто сам на свом крају инсталирао Хадооп-2.2.0 на ЦентОС (Линук), преузео сам Флинк пакет који је компатибилан са Хадооп 2.к. Покрените наредбу испод да бисте преузели Флинк пакет.

Команда: вгет хттп://арцхиве.апацхе.орг/дист/флинк/флинк-1.0.0/флинк-1.0.0-бин-хадооп2-сцала_2.10.тгз



Command-Apache-Flink

Отпакирајте датотеку да бисте добили директоријум флинк.

Команда: тар -квф Довнлоадс / флинк-1.0.0-бин-хадооп2-сцала_2.10.тгз



Команда: лс

Додајте променљиве окружења Флинк у датотеку .басхрц.

Команда: судо гедит .басхрц

Морате да покренете доњу команду како би се промене у .басхрц датотеци активирале

Команда: извор .басхрц

Сада идите у директоријум флинк и покрените кластер локално.

Команда: цд хефти-1.0.0

Команда: бин / старт-лоцал.сх

Једном када покренете кластер, моћи ћете да видите даемон ЈобМанагер покренут.

Команда: јпс

Отворите прегледач и идите на хттп: // лоцалхост: 8081 да бисте видели веб интерфејс Апацхе Флинк.

Покренимо једноставан пример броја речи користећи Апацхе Флинк.

Пре покретања примера инсталирајте нетцат на вашем систему (судо иум инсталл нц).

Сада у новом терминалу покрените наредбу испод.

Команда: нц -лк 9000

Покрените доњу наредбу у флинк терминалу. Ова наредба покреће програм који преусмјерене податке узима као улаз и изводи операцију броја ријечи на тим преточеним подацима.

Команда: бин / флинк рун екамплес / стреаминг / СоцкетТектСтреамВордЦоунт.јар –хостнаме лоцалхост –порт 9000

У веб корисничком интерфејсу моћи ћете да видите посао у активном стању.

Покрените наредбу испод у новом терминалу, ово ће исписати податке који се струје и обрађују.

Команда: таил -ф лог / флинк - * - манагер посла - *. оут

Сада идите на терминал где сте покренули нетцат и унесите нешто.

Оног тренутка када притиснете тастер ентер на кључној речи након што сте откуцали неке податке на нетцат терминалу, на тим подацима ће се применити операција бројања речи и излаз ће се овде одштампати (флинков дневник послова менаџера) у року од милисекунди!

оквир вођен подацима у примеру селена вебдривер

У врло кратком року подаци ће се струјирати, обрађивати и штампати.

О Апацхе Флинку можете научити још много тога. Дотакнућемо се и других Флинк тема на нашем предстојећем блогу.

Имате питање за нас? Спомените их у одељку за коментаре и јавићемо вам се.

Повезани постови:

Апацхе Фалцон: Нова платформа за управљање подацима за еколошки систем Хадооп