Хадооп, као што сви знамо, плакат је великих података. Као софтверски оквир способан за обраду слоновских пропорција података, Хадооп се пробио на врх ЦИО листе модних речи.
Међутим, невиђени пораст стека у меморији увео је екосистем великих података нову алтернативу за аналитику. МапРедуце начин аналитике замењује се новим приступом који омогућава аналитику како у оквиру Хадооп-а тако и ван њега. Апацхе Спарк је ново ново лице аналитике великих података.
како покренути атом питхон
Љубитељи великих података сертификовали су Апацхе Спарк као најврући мотор за израчунавање података за велике податке на свету. Брзо избацује МапРедуце и Јаву са њихових позиција, а трендови послова одражавају ову промену. Према истраживању ТипеСафе-а, 71% глобалних програмера Јаве тренутно процењује или истражује око Спарка, а 35% њих је већ почело да га користи. Тренутно се траже стручњаци за Спарк, а у наредним недељама очекује се да ће само број радних места повезаних са Спарк-ом проћи кроз кров.
Па, шта је то због Апацхе Спарк-а због којег се појављује на врху сваке листе обавеза ЦИО-а?
шта је непроменљиви објекат у јави
Ево неколико занимљивих карактеристика Апацхе Спарк:
- Хадооп интеграција - Спарк може радити са датотекама ускладиштеним у ХДФС-у.
- Спарк-ова интерактивна шкољка - Спарк је написан на скали и има своју верзију тумача Сцала.
- Спарк-ов аналитички пакет - Спарк долази са алатима за интерактивну анализу упита, обраду и анализу великих графова и анализу у реалном времену.
- Отпорни дистрибуирани скупови података (РДД) - РДД-ови су дистрибуирани објекти који се могу кеширати у меморији, преко кластера рачунских чворова. Они су примарни објекти података који се користе у Спарк-у.
- Дистрибуирани оператери - Поред МапРедуце-а, постоји још много оператора које можете користити на РДД-има.
Организације попут НАСА, Иахоо и Адобе обавезале су се на Спарк. То је оно што Јохн Трипиер, Аллианце анд Ецосистем Леад у Датабрицкс-у каже: „Усвајање Апацхе Спарка од великих и малих предузећа расте невероватном брзином у широком спектру индустрија, а потражња за програмерима са сертификованом стручношћу је брза следећи одело ”. Никада није било боље време за Леарн Спарк ако имате позадину у Хадооп-у.
Едурека је посебно припремила курс о Апацхе Спарк & Сцала, који су заједно креирали практичари из стварног живота. За диференцирано искуство е-учења уживо, заједно са пројектима релевантним за индустрију, погледајте наш курс. Нове серије почињу ускоро, па погледајте курс овде: .
Имате питање за нас? Молимо вас да то споменете у одељку за коментаре и јавићемо вам се.
Повезани постови:
Апацхе Спарк вс Хадооп МапРедуце
деф __инит__ питхон