Апацхе Спарк цомбБиКеи објаснио



Овај Спарк Хадооп блог вам говори све што треба да знате о Апацхе Спарк цомбБиКеи. Нађите просечну оцену по ученику методом цомбБиКеи.

Прилог Притхвирај Босе

Спарк је брзи кластер рачунарски оквир дизајниран за брзо рачунање и потражњу за професионалцима са је данас значајно на тржишту.Ево моћног АПИ-ја у Спарк-у који је цомбБиКеи .





АПИ скала: орг.апацхе.спарк.ПаирРДДФунцтионс.цомбинеБиКеи .

Питхон АПИ: писпарк.РДД.цомбинеБиКеи .



јава програми за фибоначијеве серије

АПИ има три функције (као ламбда изрази у Питхон или анонимне функције у Мердевине ), Наиме,

  1. Направите функцију комбиновача: к
  2. Функција обједињавања вредности: и
  3. Функција спајања комбиновача: з

а АПИ формат је цомбБиКеи (к, и, з) .

Погледајмо пример (у Сцали). Пун извор Сцала се може наћи овде .



Циљ нам је да пронађемо просечну оцену по студенту.

Ево класе чувара места СцореДетаил чување имена ученика заједно са оценом предмета.

Scoredetail-spark-combinebykey

Неки тест подаци се генеришу и конвертују у вредности пара кључева где кључ = Име ученика и вредност = СцореДетаил инстанци.

Затим креирамо Паир РДД као што је приказано у доњем фрагменту кода. Само за експериментирање, створио сам хасх партиционер величине 3, тако да ће три партиције садржавати 2, 2 и 4 пара кључних вредности. Ово је истакнуто у одељку у којем истражујемо сваку партицију.

Сада можемо истражити сваку партицију. Прва линија исписује дужину сваке партиције (број парова вредности кључа по партицији), а друга линија садржај сваке партиције.

која је разлика између кмл и хтмл

И ево завршног покрета у којем израчунавамо просечну оцену по ученику након комбиновања резултата на партицијама.

Горњи ток кода је следећи ...
Прво треба да креирамо функцију комбиновача која је у основи корпа = (вредност, 1) за сваки кључ који се нађе у свакој партицији. Након ове фазе излаз за сваки (кључ, вредност) на партицији је (кључ, (вредност, 1)).

Затим се на следећој итерацији комбинирају функције комбинације по партицији помоћу функције обједињавања вредности за сваки кључ. Након ове фазе излаз сваког (кључ, (вредност, 1)) је (кључ, (укупно, бројање)) на свакој партицији.

Коначно, функција комбинирања спајања спаја све вриједности на партицијама у извршитељима и шаље податке натраг управљачком програму. Након ове фазе излази сваки (кључ, (укупно, бројање)) по партицији
(кључ, (тоталАцроссАллПартитионс, цоунтАцроссАллПартитионс)).

Мапа претвара
(кеи, тупле) = (кеи, (тоталАцроссАллПартитионс, цоунтАцроссАллПартитионс))
да се израчуна просек по кључу као (кључ, тупле._1 / тупле._2).

Последњи ред исписује просечне оцене за све ученике на крају возача.

Имате питање за нас? Спомените их у одељку за коментаре и јавићемо вам се.

Повезани постови:

Демистификовање партиционирања у варници