Апацхе Кафка: Дистрибуирани систем за размену порука следеће генерације

Апацхе Кафка пружа велику пропусност и скалабилне системе за размену порука што га чини популарним у аналитици у реалном времену. Научите како вам водич за Апацхе кафка може помоћи

У данашњем свету, подаци су главни састојак Интернет апликација и обично обухвата следеће:





  • Посете страници и кликови
  • Активности корисника
  • Догађаји који одговарају пријавама
  • Активности на друштвеним мрежама попут лајкова, дељења и коментара
  • Показатељи специфични за апликацију (нпр. Евиденције, време учитавања странице, перформансе итд.)

Ово подаци се могу користити за покретање аналитике у реалном времену који служе у разне сврхе, од којих су неке:

  • Испорука реклама
  • Праћење абнормалних понашања корисника
  • Приказивање претраге на основу релевантности
  • Приказивање препорука на основу претходних активности

Проблем: Прикупљање свих података није лако јер се подаци генеришу из различитих извора у различитим форматима



Решење: Један од начина за решавање овог проблема је коришћење система за размену порука. Системи за размену порука пружају беспрекорну интеграцију дистрибуираних апликација уз помоћ порука.

apache-kafka-next-generation-distributed-messaging-system

Апацхе Кафка:



Апацхе Кафка је дистрибуирани систем за размену порука са претплатама, који је првобитно развијен у ЛинкедИн-у, а касније је постао део Апацхе пројекта. Кафка је брз, окретан, скалабилан и дизајниран.

Кафка архитектура и терминологија:

Тема: Ток порука који припада одређеној категорији назива се темом

Продуцент: Произвођач може бити било која апликација која може објавити поруке на тему

Потрошач: Потрошач може бити било која апликација која се претплаћује на теме и троши поруке

Брокер : Кафка кластер је скуп сервера, од којих се сваки назива брокер

Кафка је скалабилан и омогућава стварање више врста кластера.

  • Кластер појединачног брокера са једним чвором
  • Кластер вишеструких брокера са једним чвором
  • Кластер вишеструких чворова Вишеструки брокери

Сингле Ноде Сингле Брокер

Која је улога ЗооКеепер-а?

Сваки Кафка брокер се координира са осталим Кафка брокерима користећи ЗооКеепер. Услуга ЗооКеепер обавештава произвођаче и потрошаче о присуству нових брокера или неуспеху брокера у систему Кафка.

Вишеструки брокери са једним чвором

Више чворова Вишеструки брокери

Кафка @ ЛинкедИн

ЛинкедИн Невсфеед покреће Кафка

Препоруке ЛинкедИн-а покреће Кафка

ЛинкедИн обавештења покреће Кафка

Белешка: Поред овога, ЛинкедИн користи Кафка за многе друге задатке као што су надгледање евиденције, метрике перформанси, побољшање претраживања, између осталог.

Ко још користи Кафку?

ДатаСифт: ДатаСифт користи Кафку као сакупљач праћења догађаја и за праћење потрошње токова података у реалном времену

Воога: Воога користи Кафку за прикупљање и обраду података праћења из свих њихових Фацебоок игара (хостованих код различитих добављача) на централној локацији

Спонгецелл: Спонгецелл користи Кафку за покретање целокупног цевовода за аналитику и надзор, возећи и апликације у реалном времену и ЕТЛ

Логгли: Логгли је најпопуларније управљање дневником засновано на облаку. Користи Кафку за прикупљање дневника.

Упоредна студија: Кафка насупрот АцтивеМК насупрот РаббитМК

Кафка има ефикаснији формат складиштења. У просеку, свака порука има изнад 9 бајтова у Кафки, наспрам 144 бајта у АцтивеМК

И у АцтивеМК и у РаббитМК, брокери одржавају стање испоруке сваке поруке уписивањем на диск, али у случају Кафке не постоји уписивање на диск, што га чини бржим.

Широким усвајањем Кафке у производњи, чини се да је обећавајуће решење за решавање проблема из стварног света. Обука Апацхе Кафке вам може помоћи да испред аналитичара у стварном времену напредујете. Започните са упутством за Апацхе Кафка овде .

Имате питање за нас? Молимо вас да то споменете у одељку за коментаре и јавићемо вам се.

Повезани постови:

алгоритми за сортирање ц ++

Шта вам је потребно за каријеру у Аналитици у реалном времену