Apache Lucene – wyszukiwanie w czasie rzeczywistym

Apache Lucene jest biblioteką do pełnotekstowego wyszukiwania, będącą fundamentem popularnych systemów, takich jak Elasticsearch czy Apache Solr. Umożliwia tworzenie indeksu do wyszukiwania pełnotekstowego, jego przeszukiwanie, zapis i odczyt z dysku. Lucene jednak nie oferuje wyszukiwania w czasie rzeczywistym, dane zawsze dostępne są z pewnym opóźnieniem (z języka angielskiego "near real-time search"). Co więcej, opóźnienie to może rosnąć w sposób niekontrolowany, utrudniając spełnienie rygorystycznych SLA dotyczących czasów odpowiedzi dla naszych zapytań. Z prezentacji dowiecie się, jak działa proces indeksowania i odpytywania w Apache Lucene. Skupimy się na działaniu odwróconego indeksu, w jaki sposób alokowana jest dla niego pamięć i w jakim formacie przetrzymywane są w nim dane. Ma to bezpośredni wpływ na opóźnienia podczas wyszukiwania. Następnie opowiem, w jaki sposób Twitter oraz Datastax zmodyfikowali Lucene, tak aby zminimalizować opóźnienia w indeksowaniu i sprostać wyśrubowanym wymaganiom wydajnościowym.