Data Engineering 2026 En coursIn Progress

European Football Analytics Platform

Pipeline de données end-to-end qui collecte, transforme et analyse les données des 5 grands championnats européens. End-to-end data pipeline that collects, transforms and analyzes data from the 5 major European football leagues.

Stack moderne : Python, Apache Airflow, AWS S3, Snowflake et dbt. Architecture Medallion Bronze → Silver → Gold avec orchestration et tests de qualité automatisés. Modern stack: Python, Apache Airflow, AWS S3, Snowflake and dbt. Bronze → Silver → Gold Medallion architecture with orchestration and automated quality tests.

2026
5 championnats européens5 European leagues
Voir le code
European Football Analytics Platform

En 30 secondes

Ingestion Python (API-Football, OpenWeather, Kaggle CSV) vers AWS S3 (Bronze), chargement Snowflake (Silver), transformations dbt (Gold), le tout orchestré par Apache Airflow. Couvre la Premier League, La Liga, Serie A, Bundesliga et Ligue 1. Python ingestion (API-Football, OpenWeather, Kaggle CSV) to AWS S3 (Bronze), Snowflake loading (Silver), dbt transformations (Gold), all orchestrated by Apache Airflow. Covers Premier League, La Liga, Serie A, Bundesliga and Ligue 1.

5
ChampionnatsLeagues
4
Sources de donnéesData sources
3
Couches MedallionMedallion layers
4
Marts Gold (dbt)Gold marts (dbt)
3
Pipelines ingestionIngestion pipelines
Docker
ConteneurisationContainerization

Problème → Solution → Impact

ObjectifObjective

Construire un pipeline production-grade unifiant résultats de matchs, classements, stats joueurs et conditions météo pour produire des analyses comparables entre les 5 grands championnats.Build a production-grade pipeline unifying match results, standings, player stats and weather conditions to produce comparable analytics across the 5 major leagues.

SolutionSolution

Architecture Medallion avec ingestion Python vers S3, tables nettoyées dans Snowflake, marts analytiques dbt et orchestration Airflow avec monitoring et tests de qualité.Medallion architecture with Python ingestion to S3, cleaned tables in Snowflake, dbt analytics marts and Airflow orchestration with monitoring and quality tests.

Insights produitsInsights delivered

Taux victoire domicile/extérieur, buts par championnat, impact météo sur les résultats, top buteurs et passeurs, tendances de performance par équipe.Home vs away win rates, goals per league, weather impact on results, top scorers and assisters, team performance trends.

Architecture & Patterns

Medallion Architecture

🥉 Bronze — AWS S3 (raw JSON/CSV) 🥈 Silver — Snowflake (cleaned tables) 🥇 Gold — dbt (analytics marts)

5 Championnats couverts5 leagues covered

Premier LeagueEngland
La LigaSpain
Serie AItaly
BundesligaGermany
Ligue 1France

Flux du pipelinePipeline flow

  • Airflow déclenche l'ingestion Pythontriggers Python ingestion
  • Données brutes stockées sur S3 (Bronze)Raw data stored on S3 (Bronze)
  • Chargement vers Snowflake (Silver)Load to Snowflake (Silver)
  • dbt construit les marts Goldbuilds Gold marts
  • Tests qualité dbt exécutés automatiquementdbt quality tests run automatically

Sources de donnéesData sources

API-Football

Résultats, classements et stats joueurs via REST APIMatch results, standings and player stats via REST API

OpenWeather

Conditions météo aux stades (pluie, température…)Weather conditions at stadiums (rain, temperature…)

Kaggle CSV

Données historiques de footballHistorical football data

OpenStreetMap

Coordonnées GPS des stades (Nominatim)Stadium GPS coordinates (Nominatim)

Marts Gold : mart_league_performance · mart_team_stats · mart_player_rankings · mart_weather_impactGold marts: mart_league_performance · mart_team_stats · mart_player_rankings · mart_weather_impact

Stack Technique

Ingestion

Python 3.8+
Pandas
requests

Orchestration & Transform

Apache Airflow 2.0+
dbt 1.0+
pytest

Storage & Cloud

AWS S3
Snowflake
Docker

Analytics InsightsAnalytics Insights

Performance équipesTeam performance

  • Taux victoireWin rateDomicile vs extérieurHome vs away
  • Buts marquésGoals scoredPar championnatPer league
  • TendancesTrendsÉvolution saisonnièreSeasonal evolution

Classements joueursPlayer rankings

  • Top buteursTop scorersPar liguePer league
  • Top passeursTop assistersPar liguePer league
  • RégularitéConsistencyPerformance joueurPlayer performance

Impact météoWeather impact

  • Pluie vs beau tempsRain vs clearRésultats matchsMatch outcomes
  • TempératureTemperatureEffet sur le jeuEffect on play
  • Ligue la plus compétitiveMost competitive leagueComparaison inter-liguesCross-league comparison

Discutons de votre projet

Vous avez un projet similaire ? Je serais ravi d'en discuter.

GitHub Me contacter