Publié le 2024-02-29 10:00:00. Netflix dévoile Metaflow, un outil open source conçu pour fluidifier le développement de projets de Machine Learning (ML) et d’Intelligence Artificielle (IA), en comblant le fossé entre l’expérimentation et la production.
- Metaflow permet de structurer chaque étape d’un workflow ML (chargement des données, ingénierie des fonctionnalités, entraînement, évaluation) en tant que points de contrôle explicites.
- La nouvelle fonctionnalité « Spin » offre la possibilité de réexécuter une seule étape d’un workflow, facilitant le débogage et l’expérimentation.
- Netflix privilégie une approche progressive, optimisant d’abord la boucle de développement interne avant de déployer des pipelines rigides.
Chez Netflix, les équipes de data science sont souvent confrontées à la difficulté de transposer rapidement leurs idées initiales, esquissées dans des notebooks, en solutions prêtes pour la production. Pour répondre à ce défi, l’entreprise a développé Metaflow, un outil open source qui se positionne comme un pont entre ces deux phases. Il ne s’agit pas d’un environnement de développement complet, ni d’un outil de déploiement, mais plutôt d’un moyen de maintenir une itération rapide tout en introduisant une structure solide.
L’un des principaux avantages de Metaflow réside dans sa capacité à traiter chaque étape d’un workflow de Machine Learning comme un point de contrôle précis. Cela signifie que les données sont chargées et prétraitées une seule fois, et que la logique d’entraînement peut être revue sans nécessiter une réexécution complète. De plus, il est toujours possible de retracer précisément les données et le code qui ont généré un résultat spécifique. Ainsi, Metaflow permet de bénéficier de la rapidité des notebooks, tout en éliminant les incertitudes liées à l’état caché et aux conjectures.
Récemment, Netflix a enrichi Metaflow avec une nouvelle fonctionnalité baptisée « Spin ». Cette dernière permet de réexécuter une seule étape d’un workflow, un peu comme si l’on relançait une cellule dans un notebook. « Spin » est conçu pour être rapide, local et jetable, ce qui en fait un outil idéal pour le débogage, l’expérimentation et le renforcement de la logique avant de s’engager dans une exécution complète.
L’approche adoptée par Netflix, qui consiste à ne pas imposer aux data scientists des pipelines rigides trop tôt dans le processus, est particulièrement intéressante. L’entreprise privilégie l’optimisation de la boucle de développement interne, avant de passer à l’étape de la mise à l’échelle. Cette philosophie semble porter ses fruits et pourrait inspirer d’autres organisations dans leur propre développement de projets ML.