Développement Scala dans Amazon SageMaker Studio avec le noyau Almond

Publié le 2025-10-16 05:40:00. Amazon SageMaker Studio, une plateforme dédiée à la science des données et à l’apprentissage automatique (IA/ML) avec une forte orientation Python, intègre désormais le langage de programmation Scala grâce au noyau Almond. Cette évolution répond aux besoins des équipes travaillant avec des écosystèmes comme Apache Spark, qui reposent largement sur Scala pour le traitement de données volumineuses.

• Intégration de Scala dans SageMaker Studio via le noyau Almond pour les flux de travail IA/ML.
• Solution aux limitations de prise en charge native de Scala dans SageMaker Studio pour les utilisateurs de Spark.
• Guide détaillé pour installer et configurer le noyau Almond avec l’outil open-source Coursier.

Scala, un langage apprécié pour sa polyvalence combinant programmation orientée objet et fonctionnelle, s’exécute sur la machine virtuelle Java (JVM). Il offre une compatibilité aisée avec les bibliothèques Java et est particulièrement performant dans le traitement de données à grande échelle, comme l’illustre le framework Apache Spark. Cependant, jusqu’à présent, Amazon SageMaker Studio privilégiait l’écosystème Python, laissant les développeurs Scala dans une position inconfortable, souvent contraints de jongler avec des environnements séparés ou des solutions de contournement complexes. Cette situation entraînait des perturbations dans les flux de travail, une perte de productivité et des coûts de développement accrus, notamment pour les organisations ayant déjà bâti des bases de code Scala conséquentes.

L’ajout du noyau Almond vient combler cette lacune, étendant ainsi les capacités de SageMaker Studio. Il permet aux équipes de conserver leurs environnements Scala préférés tout en bénéficiant de l’infrastructure cloud et des outils d’IA/ML d’Amazon. Cette intégration vise à simplifier l’analyse exploratoire et le développement en Scala, offrant une expérience transparente aux côtés des outils Python déjà présents sur la plateforme.

Une solution open-source pour une intégration transparente

Le noyau Almond, un projet open-source, vise à apporter le support de Scala directement dans l’environnement des notebooks Jupyter. Son installation repose sur l’utilisation de Coursier, un outil reconnu pour la gestion des applications et des dépendances Scala. Coursier simplifie grandement le processus de téléchargement et d’installation des bibliothèques, assurant la compatibilité des versions et réduisant les risques de conflits.

L’installation se déroule au sein d’un environnement Conda personnalisé, garantissant une séparation claire des configurations de SageMaker Studio et une reproductibilité des environnements de développement.

Prérequis techniques

Pour déployer cette solution, les utilisateurs doivent disposer d’un accès à JupyterLab (version 2.4.1 ou supérieure) au sein de SageMaker Studio. Cela implique la possession d’un compte AWS actif et la configuration d’un domaine SageMaker Studio avec un profil utilisateur approprié. Une familiarité avec l’environnement des notebooks Jupyter est également recommandée.

Il est important de noter que SageMaker Studio communique avec Internet via un Virtual Private Cloud (VPC) géré par Amazon SageMaker. Une connexion sortante est nécessaire pour le téléchargement de paquets et l’accès aux ressources externes. Les pare-feux d’entreprise ou les restrictions réseau peuvent potentiellement interférer avec ce processus. Les utilisateurs déployant SageMaker Studio dans un sous-réseau privé devront consulter la documentation spécifique pour activer l’accès sortant à Internet.

Les autorisations de Gestion des identités et des accès AWS (IAM) sont également cruciales. Bien qu’un accès administrateur soit requis pour la configuration initiale, il est préconisé de suivre le principe du moindre privilège en production, en accordant uniquement les autorisations nécessaires aux utilisateurs et aux rôles.

Étapes d’installation et de configuration

Le processus d’intégration comprend plusieurs étapes clés :

Création d’un espace JupyterLab dans SageMaker Studio

Les utilisateurs sont invités à suivre les instructions officielles pour créer un espace JupyterLab dans SageMaker Studio, en choisissant la version de distribution SageMaker souhaitée.

Mise en place d’un environnement Conda personnalisé

Un environnement Conda isolé et reproductible est créé et activé via les commandes suivantes dans le terminal de JupyterLab :

conda create -n myenv python=3.10 -y
conda init bash
source ~/.bashrc
conda activate myenv

Installation d’OpenJDK

Étant donné que Scala s’exécute sur la JVM, l’installation de Java est indispensable. Si Java n’est pas déjà présent, OpenJDK 11, compatible avec Spark 3.3.2, peut être installé via Conda :

conda install -c conda-forge openjdk=11 -y

Une vérification confirme la réussite de l’installation.

Configuration de la variable d’environnement JAVA_HOME

Il est nécessaire de s’assurer que la variable JAVA_HOME pointe vers la bonne installation Java :

which java
export JAVA_HOME=/home/sagemaker-user/.conda/envs/myenv

Téléchargement et configuration de Coursier

Coursier est installé en téléchargeant son exécutable et en lui accordant les permissions nécessaires :

curl -Lo coursier https://git.io/coursier-cli
chmod +x coursier

Installation du noyau Scala (Almond)

Le noyau Almond est ensuite installé à l’aide de Coursier :

./coursier launch almond -- --install

Ajustement du chemin Java du noyau

Le fichier de configuration du noyau Scala (~/.local/share/jupyter/kernels/scala/kernel.json) doit être modifié pour spécifier le chemin absolu de l’installation Java correcte, afin de résoudre les problèmes de localisation du noyau par défaut.

{
  "argv": [
    "/home/sagemaker-user/.conda/envs/myenv/bin/java",
    "-jar",
    "/home/sagemaker-user/.local/share/jupyter/kernels/scala/launcher.jar",
    "--connection-file",
    "{connection_file}"
  ],
  "display_name": "Scala",
  "language": "scala"
}

Démarrage et test du noyau

Une fois configuré, le noyau Scala peut être lancé depuis le lanceur de JupyterLab dans SageMaker Studio. Un exemple de code permet de vérifier le bon fonctionnement de l’intégration, en affichant les versions de Scala et de Java utilisées :

println(s"Scala: ${scala.util.Properties.versionNumberString}")
println(s"Java : ${System.getProperty("java.version")}")

Le résultat attendu confirme les versions installées.

Considérations techniques et de déploiement

Plusieurs points sont à considérer pour une utilisation optimale du noyau Scala sur SageMaker Studio :

• Compatibilité JVM et Spark : Il est crucial de vérifier la compatibilité de la version de la JVM avec les exigences spécifiques de Spark pour éviter les problèmes de performance ou d’exécution. La documentation officielle de Spark fournit des guides de compatibilité.
• Gestion des environnements Conda : Maintenir l’isolation des environnements Conda est essentiel pour la stabilité. Les noyaux personnalisés doivent résider dans des environnements séparés pour prévenir les conflits de dépendances. Cette isolation facilite également le dépannage et les mises à jour.
• Maintenance et sécurité : L’utilisateur est responsable de la maintenance de la santé et de la sécurité de ses environnements personnalisés. Cela inclut la mise à jour régulière des bibliothèques Scala et des dépendances pour corriger les vulnérabilités et optimiser les performances. Une surveillance continue et des examens périodiques des packages installés sont recommandés.

En tenant compte de ces aspects, les équipes peuvent intégrer efficacement les flux de travail Scala dans SageMaker Studio, créant ainsi des environnements de science des données robustes et fiables.

Considérations financières

Cette solution repose sur des outils open-source et n’entraîne pas de coûts AWS supplémentaires au-delà de l’utilisation standard de l’environnement SageMaker Studio. Les utilisateurs sont invités à consulter la page de tarification de SageMaker pour plus de détails.

Nettoyage des ressources

Après utilisation, il est recommandé de nettoyer les ressources pour maintenir l’efficacité et la rentabilité de l’environnement SageMaker Studio. Cela inclut l’arrêt du noyau, la suppression de l’environnement Conda personnalisé si nécessaire, et le nettoyage des ressources SageMaker associées (applications, blocs-notes, profils utilisateurs, espaces et le domaine SageMaker lui-même).

Conclusion

L’intégration du noyau Almond dans SageMaker Studio permet désormais aux data scientists et ingénieurs d’exploiter pleinement les capacités de Scala, en particulier pour les projets impliquant Apache Spark et le traitement de données à grande échelle. Cette avancée facilite l’adoption de flux de travail complexes et optimisés grâce à la syntaxe concise et aux constructions de programmation fonctionnelle de Scala.

À propos des auteurs

Varun Rajan est architecte de solutions senior chez Amazon Web Services (AWS), spécialisé dans le soutien aux industries stratégiques. Avec plus de vingt ans d’expérience, il conçoit et optimise des solutions cloud, traduisant les défis commerciaux complexes en systèmes évolutifs et sécurisés.

Aakash Aggarwal est responsable de compte technique chez AWS, basé dans la région de la baie de San Francisco. Fort de plus d’une décennie d’expérience dans le développement et la gestion de charges de travail cloud, il accompagne les clients stratégiques d’AWS dans leur adoption du cloud, avec une expertise en IA/ML, conteneurisation et observabilité.