Our telecom client is seeking an experienced Data Engineer to join the Business Intelligence Big Data Team. In this role, you will build high-performance data pipelines, collaborate with Data Scientists and stakeholders to enhance analytic capabilities.
Core Responsibilities
- Design and develop high-performance data processing and ingestion frameworks.
- Partner with Business Analysts to expand data coverage and improve analytic depth.
- Deliver clean, defect-free code, participate in peer reviews, and provide post-deployment support.
- Research and recommend emerging technologies to optimize the Big Data environment.
- Independently resolve complex development issues within a large-scale IT landscape.
Technical Requirements
- GCP expertise is an asset with hands-on experience with BigQuery, Dataflow, Dataproc, Pub/Sub, and Cloud Composer.
- Proficiency in Apache Spark (using Scala or PySpark).
- 4+ years of experience with mainstream languages such as Python, Java, or Scala.
- Demonstrated experience developing scalable Big Data ingestion frameworks.
- Experience in writing ETLs for data ingestions from multiple enterprise data sources / databases.
Key Competencies
- Strong analytical skills specifically tailored to "Big Data" environments.
- Ability to take initiative and learn new technical standards and processes quickly.
- Motivation to work independently on multifaceted, complex projects.
________________________________
Nous recherchons un(e) Data Engineer pour rejoindre le groupe BI de l’un de nos clients du secteur des télécommunications. Dans ce rôle, vous concevrez des architectures d'ingestion évolutives et des pipelines de données fiables au sein de l'écosystème GCP, faisant le pont entre l'analytique traditionnelle et les initiatives émergentes en IA/ML.
Principales responsabilités :
- Concevoir des pipelines d'ingestion par lots (batch) et en temps réel (streaming) depuis des systèmes d'entreprise multi-sources vers Google Cloud.
- Modéliser des structures dimensionnelles, des schémas et des couches sémantiques dans BigQuery et dbt pour soutenir le reporting et l'analytique.
- Collaborer avec les équipes de Data Science pour préparer des jeux de données de variables (features) prêts pour le ML et les intégrer aux flux de travail.
- Mettre en œuvre des contrôles automatisés de la qualité des données et optimiser les performances des couches de stockage et de calcul.
Qualifications requises :
- 4+ années d'expérience en ingénierie logicielle et des données avec Python, Scala ou Java.
- Expertise pratique des services de données GCP, notamment BigQuery, Cloud Composer, Pub/Sub, Dataflow et Dataproc.
- Expérience éprouvée dans la mise en œuvre de transformations de données à grande échelle.
- Maîtrise d'Apache Spark (avec Scala ou PySpark).
- Solides connaissances des concepts de modélisation dimensionnelle et des outils de transformation.
- Expérience démontrée dans la conception de cadres d'ingestion robustes pour les bases de données d'entreprise, les API et les flux d'événements.
- Fortes compétences analytiques spécifiquement adaptées aux environnements « Big Data ».
- Capacité à faire preuve d'initiative et à assimiler rapidement de nouveaux standards techniques et processus.
- Motivation à travailler de manière autonome sur des projets complexes et multidimensionnels.
Qualifications souhaitées :
- Sensibilisation aux pratiques MLOps.
- Expérience avec des outils de tests automatisés.
- Bonne connaissance de Docker, Terraform, de l'automatisation CI/CD et d'outils décisionnels modernes tels que Looker ou Power BI.
Pay: $45.00-$55.00 per hour
Work Location: Hybrid remote in Montréal, QC
