Am 24. November fand die Elastic on tour in Frankfurt statt. Bei der Veranstaltung gibt es Vorträge zu Elasticsearch und dem Elastic Stack, Trainings und die Möglichkeit mit den Entwicklern zu sprechen. In diesem Blogpost möchte ich die Eindrücke teilen, die ich vor Ort gesammelt habe.

elasticontourelasticontour2

Bei der Elastic on tour werden weltweit in einigen Städten Neuigkeiten und Erfahrungen zum Elastic Stack vorgestellt. Da der Elastic Stack gerade in der Version 5 veröffentlich worden ist, lag das Hauptaugenmerk der Veranstaltung natürlich auf der neuen Version. Einige Entwickler und Gründer des Projekts waren auch anwesend und haben sich im Laufe des Tages den Fragen der Teilnehmer gestellt.

Die Keynote

Los ging es mit der Keynode von Tyler Hannan, der einen Rückblick auf die Entwicklung von Elasticsearch in den letzten Jahren geworfen hat. Der Fokus lag dabei auf der Entstehung und den Erfolgen des ELK Stacks und wie dieser zum Elastic Stack geworden ist.

elasticontour3

Elasticsearch 5.0

In dem ersten Vortrag wurden die Neuerungen von Elasticsearch 5 vorgestellt. Dazu zählen die bessere Performance und eine bessere Unterstützung von Zahlen.

Ein Highlight der neuen Version ist Painless, die neue Scriptsprache für Elasticsearch. In dem Vortrag wurde erklärt wie diverse Sicherheitsbedenken Elastic dazu bewogen haben, eine eigene Scriptsprache zu entwicklen.

Außerdem wurde die vereinfachte Architektur, die verbesserte Resilienz und schnellere und normalisiertere DSL vorgestellt.

Für zukünftige Versionen wurde versprochen, dass Upgrades zu einem No-brainer gemacht werden. Zudem wurde angekündigt, dass der TransportClient verschwinden wird. Stattdessen wird auf den neuen nativen RESTful Java Client gesetzt.

Kibana 5.0

Im nächsten Vortrag hat Philipp Krenn einen Blick auf die neue Version von Kibana geworfen. Interessant ist dabei vor allem die Wandlung von einer reinen Anwendung zur Visualisierung von Daten, zu einer Anwendung die nun auch für die Verwaltung des Elastic Stacks zuständig ist. Kibana ist nun „das Fenster zum Elastic Stack“.

In einer Demo wurden die Möglichkeiten einiger neuer Komponenten, wie Timelion oder Sense (heißt jetzt Console) präsentiert.

elasticontour4

Ingest

Bei dem Vortrag zum Ingesting von Nicolas Ruflin ging es zuerst um die Neuigkeiten von Logstash und Beats in der neuen Version. So haben die Beats nun zum Beispiel Kafka Output bekommen. Für mich die wichtigste Neuerung bei Logstash ist, dass Logstash sich durch eine Monitoring API nicht mehr wie eine Blackbox verhält.

Außerdem wurde natürlich auch die neuen Ingest Nodes beschrieben und wie sie sich von Logstash abgrenzen.

Am Ende des Vortrags wurde ein Ausblick zur weiteren Entwicklung der Tools gegeben. So wurden unter anderem neue Beats Module und Logstash Persistance (disk based queuing) angekündigt.

X-Pack

Mit dem X-Pack wurden in Elasticsearch 5 viele Features in einem „pack“ zusammengefasst. In dem Vortrag wurden unter anderem die Rollen-basierte Security vorgestellt. Interessant fand ich, dass das Sicherheitskonzept sehr low-level auf Lucene-Ebene umgesetzt wurde. So kann eine bestmögliche Sicherheit garantiert werden.

Auch Graph wurde vorgestellt (Man sollte Graph übrigens nicht mit einer graphenorientierten Datenbank verwechseln). An einem Beispiel wurden die Möglichkeiten von Graph eindrucksvoll dargestellt.

Am Ende gab es noch einen Ausblick auf die zukünftigen Pläne. Darunter befinden sich Kerberos und SAML realms und Monitoring UIs für Logstash und Beats. Außerdem soll es beim Alerting und bei Graph Verbesserungen an der UI geben.

Prelert

Am meisten habe ich mich auf den Vortrag zu Prelert gefreut. Nachdem das gleichnamige Behavioral Analytics Unternehmen vor ein paar Wochen von Elastic aufgekauft wurde, wird Prelert nun fest in den Elastic Stack integriert. Der ehemalige CTO von Prelert Steve Dodson hat den Werdegang des Unternehmens in dem Vortrag dargestellt.

elasticontour5

Prelert erkennt ungewöhnliche Verhaltensweisen im Datenfluss, indem es durch maschinelles Lernen Abweichungen zur üblichen Verhaltensweise erkennt. Interessant ist der Einsatz vor allem im IT Betrieb und der IT Sicherheit, Prelert wird aber auch in vielen anderen Bereichen verwendet.

Obwohl Prelert noch nicht lange Teil von Elastic ist, ist die Integration doch schon überraschen weit fortgeschritten. Das erste Release ist für das erste Quartal 2017 angedacht.

Anwendungsfälle

Ein Highlight waren sicherlich die Präsentationen der Anwendungsfälle von Elasticsearch und dem Elastic Stack bei der R+V Versicherung und Autoscout24. Von beiden Unternehmen wurde jeweils ein Anwendungsfall aus dem Bereich Monitoring und ein reiner Searchengine Anwendungsfall vorgestellt.

Trainings

Der letzte Punkt auf der Agenda waren zwei Trainings. Dabei wurden konkrete Umsetzungen mit dem Elastic Stack vorgestellt. Die Fälle haben gut gezeigt wie man konkrete Probleme, wie zum Beispiel das Erkennen von Brute-force Attacken, mit dem Elastic Stack meistern kann. Zum Einsatz kamen neben dem Elastic Stack, der X-Pack und Prelert. Auch Percolates wurden verwendet.

Mein Fazit

Elastic on tour bietet eine tolle Möglichkeit Neuigkeiten über den Elastic Stack zu erfahren. Besonders lohnenswert macht das Event der Erfahrungs- und Wissensaustausch mit Gleichgesinnten und den Machern des Elastic Stack. Es ist auch schön zu sehen, wie andere Unternehmen den Elastic Stack einsetzen und welche Probleme sie damit lösen konnten.

Links