Il y a un an, Opensearch est allé chercher l’indépendance – et a trouvé quelque chose de bien plus précieux. En vertu de la gouvernance neutre des fournisseurs, le projet a attiré plus de 3 300 contributeurs, a frappé un milliard de téléchargements et propose maintenant tout, de la recherche sémantique sémantique de revenus d’Uber à l’infrastructure d’observabilité massive de SAP.
Deux conversations à l’Open Source Summit Europe à Amsterdam – avec Pallavi Priyadarshini, responsable de l’ingénierie pour la recherche à la Opensearch Software Foundation, et Yupeng Fu, ingénieur personnel principal chez Uber – montrent comment l’innovation axée sur la communauté crée des alternatives prête à l’entreprise aux plates-formes propriétaires.
Prendre de l’ampleur sous la gouvernance de la Fondation Linux
La transformation est plus profonde que les numéros de téléchargement ne le suggèrent. Pour Priyadarshini, le passage à la gouvernance neutre des fournisseurs a fondamentalement changé le fonctionnement du projet et qui participe. Elle explique:
Les gens nous considèrent comme un projet de neutralité de fournisseur, désormais contrôlé par une seule entreprise. Cela a conduit à une croissance communautaire énorme.
La base des contributeurs s’étend sur les grandes entreprises, les universités et les petites entreprises, chacune apportant des besoins de production du monde réel qui accélèrent l’innovation à travers le projet.
La prise de décision technique a également changé, souligne Pryadarshini:
Nous voulons que chaque contributeur se sente autonomisé, ce sont vraiment les contributeurs et les agents qui prennent les décisions techniques.
L’approche de la mise à la terre signifie que le mérite l’emporte sur l’influence des entreprises. Elle continue:
Ils ne se présentent pas dans notre base de code en tant que grande entreprise ou petite entreprise. Ce ne sont que des contributeurs d’OpenSearch.
Implémentation d’entreprise à l’échelle Uber
Pour Uber, la recherche représente une fonction commerciale critique qui touche chaque interaction utilisateur. Fu explique:
Ouvrez l’application Uber et vous utiliserez la recherche presque immédiatement. Sur Uber Eats, les gens explorent les choix de nourriture et les restaurants. Sur les manèges Uber, la destination que vous tapez dans les entraînements correspondant, navigation et le trajet lui-même. De nombreuses fonctions principales de nos applications sont construites sur la plate-forme de recherche.
Les défis techniques sont immenses. Il élabore:
La recherche est peut-être la plus difficile, car c’est très exigeant. En le regardant à partir d’un point de vue du client, il veut tout – faible latence, données fraîches, évolutivité, haute disponibilité. Ils se soucient également de la qualité des résultats.
Jusqu’en 2019, Uber a maintenu son propre moteur de recherche en interne, mais les limites sont devenues claires. Comme Fu rappelle:
Avec une petite équipe au sein des entreprises, il est difficile de suivre le rythme avec la communauté de l’industrie. Finalement, tôt ou tard, nous avons réalisé que ce n’était pas durable.
La décision de pivoter d’Opeensearch a permis à Uber de «tirer le meilleur parti des deux mondes – nous voulions apporter nos innovations, mais aussi tirer parti du travail de la communauté, en particulier dans des domaines comme la recherche vectorielle et l’intelligence artificielle (IA).»
Les contributions d’Uber au projet OpenSearch ont été substantielles – l’ingestion basée sur la traction Kafka pour les flux en temps réel, le support GRPC / Protobuf remplaçant les protocoles REST / JSON et Luceneplus parent-enfant pour les structures de données hiérarchiques. FU Remarques:
En interne, nous avions ces besoins, mais ils ne sont pas uniques à Uber. Ils sont également précieux pour de nombreuses autres entreprises.
La recherche sémantique stimule les résultats commerciaux
L’avancement le plus visible a été la recherche sémantique – des modèles basés sur les vecteurs qui comprennent l’intention et le contexte plutôt que des correspondances de mots clés littéraux. Chez Uber, l’impact commercial a été mesurable. Fu dit:
La recherche sémantique est très puissante, et la partie la plus attrayante est qu’elle aide réellement les affaires d’Uber. Nous avons vu des augmentations de mesures de revenus comme les réservations brutes grâce à des tests A / B.
Les améliorations sont pratiques. Si vous tapez «Chase» à San Francisco et que les utilisateurs sont guidés vers le stade Warriors, tandis qu’à New York, on leur montre Chase Bank. On Uber Eats, une question comme la «boisson froide» fait face à des boissons que la recherche lexicale pourrait manquer à cause de sa spécificité. «Les gens se sentent compris sans avoir à tout énoncer littéralement», explique Fu.
Applications agentiques et version 3.2
La version 3.2 d’OpenSearch représente un saut technique majeur, en particulier avec la recherche agentique et les fonctionnalités de mémoire agentique. Ceux-ci permettent aux requêtes en langage naturel de déclencher la planification du flux de travail tout en permettant au système de se souvenir du contexte des interactions précédentes, ce qui rend les résultats plus précis au fil du temps. Priyadarshini dit:
Nous voulons donner aux développeurs les blocs fondamentaux pour les applications agentiques, tout en rendant l’expérience sans main et naturel.
Le projet réduit également le frottement avec des interfaces à glisser-déposer et à faible code qui rendent les applications de recherche alimentées par Ai plus accessibles.
Les cas d’utilisation s’étendent sur plusieurs industries – les services de voyage Personnaliser les recommandations, les plates-formes musicales adaptant les listes de lecture (même si je me demande parfois si ma plate-forme de streaming musicale me connaît vraiment…) et des sites de commerce électronique utilisant des images plutôt que des mots clés. La recherche hybride joue ici un rôle essentiel, combinant la recherche exacte de mots clés pour la précision avec la recherche sémantique pour le contexte et les nuances.
Observabilité comme plate-forme unifiée
Au-delà de la recherche, l’observabilité devient tout aussi importante pour Opensearch. Le même moteur alimente les deux cas d’utilisation, mais les requêtes d’observabilité traitent de grandes quantités de journaux et de métriques pour diagnostiquer les problèmes et construire des tableaux de bord. Les interfaces et la personnalisation du langage naturel font également partie de cette expérience.
La Fondation a lancé un groupe de conseil technique d’observabilité pour approfondir ce travail, créant des liens avec d’autres projets sous la Cloud Native Computing Foundation (CNCF). Le service de journalisation Cloud de SAP, qui exécute plus de 11 000 instances OpenSearch pour unifier les données d’observabilité à grande échelle, fournit une validation à l’échelle de l’entreprise. Pour donner une idée de l’impact que cela a, Karsten Schniter, architecte logiciel chez SAP, explique dans une étude de cas récente:
Avec OpenteLelemy et OpenSesearch, nous pouvons enfin regarder toutes nos données d’observabilité en un seul endroit, la filtrer instantanément et comprendre exactement ce qui se passe sur des milliers de charges de travail. Cela change à quelle vitesse nous pouvons agir.
La priorité immédiate de FU est la prise en charge des métriques natives dans OpenSesearch. Aujourd’hui, OpenSesearch peut effectuer la recherche, l’analyse, la journalisation et le traçage – l’étape suivante est la gestion efficace des mesures. Uber construit un nouvel index de séries chronologiques et un moteur de requête pour créer un système unique qui unifie les journaux, les traces et les métriques – la pile d’observabilité complète.
Souveraineté numérique et innovation mondiale
Le contexte européen ajoute une autre dimension au positionnement d’OpenSearch. Alors que les régulateurs resserrent les règles concernant l’utilisation de l’IA et la résidence aux données, les entreprises évaluent les choix technologiques via l’objectif de la souveraineté numérique. L’approche d’Opensearch préserve l’innovation mondiale tout en permettant le contrôle local. Comme le souligne Priyadarshini:
Toutes les innovations de base entrent dans l’open source. Nous ne différencions pas en fonction de la géographie.
La sécurité, la conformité et les fonctionnalités d’IA agentiques sont intégrées dans la base de code principale, permettant aux fournisseurs régionaux d’ajouter des couches spécifiques au pays sans fragmenter la plate-forme principale.
Mon point de vue
La combinaison de ces deux perspectives – la gouvernance des fondations et la mise en œuvre de l’entreprise – montre pourquoi OpenSearch gagne beaucoup SP dans le paysage compétitif de recherche et d’observabilité. La gouvernance neutre du fournisseur de la Fondation Linux a apporté des contributions de diverses sources, tandis que les adoptants d’entreprise comme Uber sont des innovations de test de stress à grande échelle avant d’atteindre la communauté plus large.
Ces deux conversations ont mis en évidence plusieurs résultats mesurables: la recherche sémantique stimule les revenus à Uber, SAP exécutant 11 000 instances pour l’observabilité unifiée et une base de contributeurs qui est passée de centaines à des milliers sous gouvernance ouverte. La trajectoire d’Opensearch suggère que le développement axé sur la communauté peut correspondre au rythme des alternatives propriétaires tout en offrant une plus grande flexibilité et contrôle.
Le projet reste un travail en cours, mais sa première année sous la Fondation Linux montre que l’open source peut être un véritable établissement les tendances de l’innovation dans la recherche et l’observabilité de l’entreprise alimentées par l’IA – pas seulement les suivre.