DBT: Instalación de DBT (Data Build Tool)

Introducción

DBT es la herramienta que utilizaremos para las capas Silver y Gold de nuestro proyecto de BI, encargándose de la transformación y carga de datos (Transform and Load).

DBT no se instala como un software independiente, sino como un paquete de Python.

Por tanto, necesitamos tener Python instalado previamente en nuestro PC.

Instalación de Python

• Descargar Python 3.X desde la página oficial:
• https://www.python.org/downloads/ 
• Asegurarse de marcar la opción “Add Python to PATH” durante la instalación para que sea accesible desde la terminal.
• La instalación de Python es similar en Windows, Linux y macOS. En este curso se utilizan ejemplos con Windows.

Instalación de un editor de código (VSCode)

• Descargar e instalar Visual Studio Code:
• https://code.visualstudio.com/download 
• VSCode será nuestro entorno principal para trabajar con DBT y editar archivos SQL y YAML.

Extensiones recomendadas para VSCode

Para trabajar cómodamente con DBT, instalaremos las siguientes extensiones desde el Marketplace:

• Add to .gitignore
• Jinja HTML
• Jinja
• DBT Power User
• YAML

Instalación de DBT

• Crear la carpeta del proyecto con la qué trabajaremos 

• Crear un entorno virtual de Python 
• Abrir la carpeta del proyecto desde vscode
• Abrir una nueva terminal
• Ejecutar “python3 -m venv .venv” 
• Ejecutar “ .\.venv\Scripts\activate” 

• El enlace oficial de DBT para la instalación es: https://docs.getdbt.com/docs/core/pip-install

• Ejecutar “pip install dbt-core”

• El comando instala todas estas dependencias en el entorno virtual de python

• Ejecutar “ pip install dbt-postgres” 

• Cambiar el PATH del directorio del fichero de perfiles
  • En Windows, ejecutar “$env:DBT_PROFILES_DIR = (Get-Location)” 
  • En Linux, ejecutar “export DBT_PROFILES_DIR=$(pwd)” 

• Ejecutar “dbt init” 

• Crear el fichero “packages.yml” dentro de la carpeta del proyecto e incluir estas dependencias

packages:

  – package: dbt-labs/dbt_utils

    version: [«1.0.0»]

  – package: calogica/dbt_expectations

    version: [«>=0.10.0»]

  – package: dbt-labs/codegen

    version: 0.9.0

• Ejecutar “cd formacion_dbt_postgres”
• Ejecutar “dbt deps” para instalar las dependencias 

Primera ejecución con DBT en VSCode

Introducción

Una vez instalado DBT y configurado VSCode, el siguiente paso es realizar nuestra primera ejecución de DBT para confirmar que todo está funcionando correctamente y familiarizarnos con la herramienta.

DBT nos permite transformar los datos que ya tenemos en PostgreSQL y generar modelos en capas Silver y Gold.

Preparativos antes de ejecutar

• Mover el fichero profiles.yml a la carpeta del proyecto para qué funcione la extensión DBT Power User 

• Abrir el fichero settings de vscode y añadir el siguiente código

    // 👇 Configuración dbt Power User

    «dbtPowerUser.projectDir»: «${workspaceFolder}»,   // ruta al proyecto dbt

    «dbtPowerUser.profilesDir»: «${workspaceFolder}»,  // si tu profiles.yml está dentro del proyecto

    «dbtPowerUser.pythonPath»: «${workspaceFolder}/.venv/Scripts/python.exe», // ruta a tu venv (Windows)

    «dbtPowerUser.target»: «dev»,                      // target por defecto

    «dbt.dbtPath»: «${workspaceFolder}»,

    «database-client.autoSync»: true // debe existir en profiles.yml

• Abrir el fichero de muestra y ejecutarlo con “CONTROL + INTRO”. Ahora podremos ejecutar ficheros Jinja de DBT directamente desde VSCode sin necesidad de compilar