У данашњем свету, подаци су главни састојак Интернет апликација и обично обухвата следеће:
- Посете страници и кликови
- Активности корисника
- Догађаји који одговарају пријавама
- Активности на друштвеним мрежама попут лајкова, дељења и коментара
- Показатељи специфични за апликацију (нпр. Евиденције, време учитавања странице, перформансе итд.)
Ово подаци се могу користити за покретање аналитике у реалном времену који служе у разне сврхе, од којих су неке:
- Испорука реклама
- Праћење абнормалних понашања корисника
- Приказивање претраге на основу релевантности
- Приказивање препорука на основу претходних активности
Проблем: Прикупљање свих података није лако јер се подаци генеришу из различитих извора у различитим форматима
Решење: Један од начина за решавање овог проблема је коришћење система за размену порука. Системи за размену порука пружају беспрекорну интеграцију дистрибуираних апликација уз помоћ порука.
Апацхе Кафка:
Апацхе Кафка је дистрибуирани систем за размену порука са претплатама, који је првобитно развијен у ЛинкедИн-у, а касније је постао део Апацхе пројекта. Кафка је брз, окретан, скалабилан и дизајниран.
Кафка архитектура и терминологија:
Тема: Ток порука који припада одређеној категорији назива се темом
Продуцент: Произвођач може бити било која апликација која може објавити поруке на тему
Потрошач: Потрошач може бити било која апликација која се претплаћује на теме и троши поруке
Брокер : Кафка кластер је скуп сервера, од којих се сваки назива брокер
Кафка је скалабилан и омогућава стварање више врста кластера.
- Кластер појединачног брокера са једним чвором
- Кластер вишеструких брокера са једним чвором
- Кластер вишеструких чворова Вишеструки брокери
Сингле Ноде Сингле Брокер
Која је улога ЗооКеепер-а?
Сваки Кафка брокер се координира са осталим Кафка брокерима користећи ЗооКеепер. Услуга ЗооКеепер обавештава произвођаче и потрошаче о присуству нових брокера или неуспеху брокера у систему Кафка.
Вишеструки брокери са једним чвором
Више чворова Вишеструки брокери
Кафка @ ЛинкедИн
ЛинкедИн Невсфеед покреће Кафка
Препоруке ЛинкедИн-а покреће Кафка
ЛинкедИн обавештења покреће Кафка
Белешка: Поред овога, ЛинкедИн користи Кафка за многе друге задатке као што су надгледање евиденције, метрике перформанси, побољшање претраживања, између осталог.
Ко још користи Кафку?
ДатаСифт: ДатаСифт користи Кафку као сакупљач праћења догађаја и за праћење потрошње токова података у реалном времену
Воога: Воога користи Кафку за прикупљање и обраду података праћења из свих њихових Фацебоок игара (хостованих код различитих добављача) на централној локацији
Спонгецелл: Спонгецелл користи Кафку за покретање целокупног цевовода за аналитику и надзор, возећи и апликације у реалном времену и ЕТЛ
Логгли: Логгли је најпопуларније управљање дневником засновано на облаку. Користи Кафку за прикупљање дневника.
Упоредна студија: Кафка насупрот АцтивеМК насупрот РаббитМК
Кафка има ефикаснији формат складиштења. У просеку, свака порука има изнад 9 бајтова у Кафки, наспрам 144 бајта у АцтивеМК
И у АцтивеМК и у РаббитМК, брокери одржавају стање испоруке сваке поруке уписивањем на диск, али у случају Кафке не постоји уписивање на диск, што га чини бржим.
Широким усвајањем Кафке у производњи, чини се да је обећавајуће решење за решавање проблема из стварног света. Обука Апацхе Кафке вам може помоћи да испред аналитичара у стварном времену напредујете. Започните са упутством за Апацхе Кафка овде .
Имате питање за нас? Молимо вас да то споменете у одељку за коментаре и јавићемо вам се.
Повезани постови:
алгоритми за сортирање ц ++
Шта вам је потребно за каријеру у Аналитици у реалном времену