Elastic{ON} Tour Paris 2018
Elastic{ON} Tour Paris 2018 s’est déroulée le 30 janvier 2018 à Paris au Pavillon Dauphine, avec une présentation des nouveautés d’ElasticSearch 6.0. Retour sur les annonces phares de cette édition.
Note : J’avais déjà rédigé un article sur les grandes Nouveautés d’ElasticSearch 6.0. Le présent article couvre d’autres aspects non évoqués dans l’article initial.
Les vidéos de la conférence sont accessibles ici
Le mot d’ordre de la conférence, annoncé d’emblée par Shay Bannon (Fondateur et CEO d’Elastic) : “Simple things should be simple !”
Elastic part d’un constat : la mise en place de la stack complète (ElasticSearch, Logstash, Kibana, Beats…) prend un certain temps, ce qui peut en rebuter plus d’un. Afin de faciliter le ticket d’entrée, Elastic met à disposition dans ses outils des modules de pré-configuration de bout en bout, c’est-à-dire une seule commande à taper pour :
- Configurer l’intégration des logs avec emplacement par défaut (ex: apache, nginx…)
- Configurer des dashboards par défaut
Par exemple, sur la page d’accueil du site d’ElasticSearch, tout en haut apparaissent des icônes pour différents usages. Pour chaque usage, une notice explique :
- Les modules à télécharger
- Les commandes à taper pour préconfigurer la chaîne complète
- Les dashboards consultables suite à l’exécution des commandes
Cette présentation par usages est également disponible directement dans Kibana à partir de la version 6.2, en page d’accueil.
Nouveaux usages
Jusque là, les usages courants de la stack Elastic consistaient principalement en de la recherche, du logging, ou des métriques.
De nouveaux usages sont mis en avant avec la version 6 :
Security Analytics
La stack Elastic permet désormais :
- un audit des connexions / accès aux fichiers
- une interconnexion possible avec SIEM (ArcSight…)
APM | Application Performance Monitor
Elastic propose également un agent pour mesurer les performances de vos applications Web.
Liste des langages supportés à présent :
- Node.js (javascript)
- Flask (Python)
- Django (Python)
- Rails (Ruby - Beta)
- Rack (Ruby - Beta)
Le support d’autres langages est prévu.
Nouveautés ElasticSearch
A l’inverse de l’API Shrink, il est désormais possible de faire un Split d’index sans avoir à tout réindexer, ce qui permet de doubler le nombre de shards primaires.
ElasticSearch 6.2 apporte également le support de Java 9.
Nouveautés Machine Learning
Basiquement, le module Machine Learning permet l’apprentissage de comportement d’une métrique, d’en déduire la saisonnalité et les valeurs acceptables à chaque instant, et donc de détecter des anomalies (valeurs en dehors des seuils acceptables à l’instant T), de manière bien plus efficace qu’en se basant sur de simples seuils statiques.
A présent, il est possible d’afficher une prévision (forecast) sur une courte durée (puis une comparaison du comportement réel avec le forecast après coup). On peut également définir des périodes à venir que l’on souhaite ignorer volontairement dans l’apprentissage (ex: jours fériés, jours de solde pour un site e-commerce, etc.)
Les modules de pré-configuration permettent aussi de créer automatiquement les jobs Machine Learning adaptés au besoin.
Nouveautés Kibana
Le support du SQL en natif a été évoqué lors de la conférence, pour permettre un accès sans avoir à apprendre le Query DSL d’ElasticSearch.
Une démo nous a appris qu’on pouvait coller directement du Query DSL dans la barre de recherche de Kibana dans les dernières versions.
Au niveau sécurité, le support de SAML est en cours d’ajout, rejoint bientôt par OAuth.
De nouvelles visualisations font leur apparition : Canvas & Vega (voir ci-dessous).
Kibana - Canvas
Un peu différent d’un dashboard, Canvas est présenté comme un slide powerpoint interactif. Globalement, il s’agit d’un plugin Kibana qui peut s’afficher en plein écran, et qui est totalement configurable au niveau apparence et positionnement des graphes.
Pendant la conférence, les données étaient alimentées via les cafetières (IoT) pour indiquer le nombre de cafés servis en temps réel :
Nous avons eu le droit à une démo de mise en place d’un Canvas pour une salle d’exploitation.
Si vous présentez un slide identique tous les mois avec les valeurs qui changent (ex: kpi), il vous suffit de réaliser le Canvas une seule fois, d’alimenter les données dans Elastic, et de sélectionner la période qui vous intéresse !
Sources :
Kibana - Vega
De nouveaux types de graphes hautement personnalisables via un JSON sont définissables, via les langages Vega et Vega lite. Ce langage permet la définition de graphes interactifs, avec une grande variété de résultats possibles, j’ai mis ci-dessous quelques exemples présentés sur la page GitHub du langage.
Sources :
Elastic Cloud Entreprise (ECE)
Après avoir mis à disposition une solution d’hébergement nommée Elastic Cloud en 2015, Elastic propose Elastic Cloud Entreprise (ECE), qui permet d’héberger un cloud on-premise. Cette solution, basée sur Docker, et initialement créée pour AWS permet de :
- Disposer d’environnements isolés en terme de CPU et de RAM
- Gérer des clusters dans différentes versions (à partir de la 2.4.6)
- Gérer différentes zones
- Gérer des serveurs hétérogènes
- Disposer de la couche X-pack avec Security active dans l’ensemble des clusters
- Mettre à jour des versions des clusters Elastic en Rolling Update
- Déplacer des nœuds / des clusters
- Self monitoring
La solution est éprouvée depuis 2015 par Elastic sur des milliers de clusters : il s’agit du même logiciel que celui utilisé par l’offre Elastic Cloud.
Nouveau partenariat : SwiftType
SwiftType est une solution de recherche applicative en SaaS, de la même manière que Google Site Search. Elastic vient d’en faire l’acquisition.
Google Site Search (GSS) a fermé ses portes le 1° avril 2018. Vous pouvez le remplacer par son concurrent SwiftType en quelques minutes
