Senior Data Engineer

• Thiết kế, xây dựng và duy trì các pipeline dữ liệu batch và incremental có khả năng mở rộng.

• Tích hợp dữ liệu từ hệ thống ERP, cơ sở dữ liệu, API, nền tảng SaaS và file vào data lake hoặc data warehouse.

• Phát triển và tối ưu các quy trình chuyển đổi dữ liệu qua các lớp Raw, Trusted và Curated.

• Thiết kế mô hình dữ liệu đa chiều, bao gồm bảng fact, dimension và slowly changing dimension.

• Đảm bảo tính chính xác, nhất quán và idempotency của dữ liệu trong quá trình xử lý, chạy lại hoặc backfill.

• Triển khai cơ chế kiểm tra chất lượng dữ liệu, đối soát tự động và giám sát pipeline.

• Tối ưu truy vấn SQL, phương thức lưu trữ, phân vùng và hiệu năng xử lý dữ liệu.

• Xử lý sự cố trên môi trường production, phân tích nguyên nhân gốc rễ và triển khai giải pháp khắc phục lâu dài.

• Áp dụng các tiêu chuẩn kỹ thuật trong kiểm thử, code review, viết tài liệu và CI/CD.

• Phối hợp với Data Analyst, các đơn vị nghiệp vụ và đội ngũ kỹ thuật để cung cấp những sản phẩm dữ liệu đáng tin cậy.

• Hỗ trợ và hướng dẫn các Data Engineer cấp Junior hoặc Middle khi cần thiết

• Trên 5 năm kinh nghiệm trong lĩnh vực Data Engineering hoặc vị trí liên quan.

• Thành thạo SQL, bao gồm truy vấn phức tạp, window functions, tối ưu truy vấn và điều chỉnh hiệu năng.

• Có kinh nghiệm chuyên sâu sử dụng Python để xây dựng các data pipeline trên môi trường production.

• Có kinh nghiệm với ít nhất một công cụ điều phối luồng dữ liệu như Airflow, Dagster, Prefect, AWS Step Functions hoặc tương đương.

• Có kinh nghiệm với ít nhất một nền tảng cloud data warehouse hoặc lakehouse như Databricks, Snowflake, BigQuery, Redshift, ClickHouse hoặc tương đương.

• Hiểu biết tốt về kiến trúc data warehouse và mô hình hóa dữ liệu đa chiều.

• Có kinh nghiệm xây dựng các pipeline batch và incremental từ nhiều nguồn dữ liệu.

• Có kinh nghiệm triển khai kiểm tra chất lượng dữ liệu, giám sát, cảnh báo và đối soát.

• Có kinh nghiệm sử dụng Git, automated testing và CI/CD cho data pipeline.

• Có kiến thức thực tế về ít nhất một nền tảng đám mây lớn: AWS, Azure hoặc GCP.

• Có khả năng điều tra, xử lý sự cố production và độc lập chịu trách nhiệm đối với data pipeline từ giai đoạn phát triển đến vận hành.

• Có kỹ năng giao tiếp, xây dựng tài liệu và phối hợp liên phòng ban tốt.

Ưu tiên

• Có kinh nghiệm sử dụng dbt hoặc framework chuyển đổi dữ liệu SQL tương đương.

• Có kinh nghiệm tích hợp ERP hoặc các hệ thống giao dịch có khối lượng dữ liệu lớn.

• Có kiến thức về Kafka, Kinesis, Flink hoặc các công nghệ xử lý dữ liệu streaming khác.

• Có kinh nghiệm sử dụng Terraform hoặc các công cụ Infrastructure as Code khác.

• Có hiểu biết về data catalog, metadata và data lineage.

• Có kinh nghiệm trong các lĩnh vực ô tô, sản xuất, bán lẻ, viễn thông hoặc dịch vụ tài chính