Chuyên viên/Chuyên viên CC DE

Xây dựng và vận hành hệ thống Data Warehouse (DWH)
Thiết kế, phát triển và vận hành hệ thống DWH phục vụ lưu trữ và quản trị dữ liệu tập trung.
Thiết kế mô hình dữ liệu và Data Mart phục vụ khai thác dữ liệu cho các hệ thống downstream.
Xây dựng kiến trúc dữ liệu đảm bảo khả năng mở rộng, ổn định và hiệu năng cao.
Phát triển pipeline dữ liệu
Xây dựng và vận hành các pipeline ETL/ELT lấy dữ liệu từ nhiều nguồn:
RDBMS (Oracle, PostgreSQL, MSSQL, MySQL…)
MongoDB
API
File batch
Streaming source
Thiết kế cơ chế đồng bộ dữ liệu batch, incremental hoặc near realtime.
Xây dựng cơ chế CDC và đồng bộ dữ liệu giữa hệ thống nguồn và DWH.
Tự động hóa quy trình xử lý và đồng bộ dữ liệu.
Làm sạch và chuẩn hóa dữ liệu
Thực hiện cleansing, transform và chuẩn hóa dữ liệu từ nhiều nguồn khác nhau.
Mapping dữ liệu giữa hệ thống transactional và DWH.
Xử lý dữ liệu lỗi, trùng lặp, thiếu dữ liệu hoặc không đồng nhất.
Xây dựng các rule kiểm tra chất lượng dữ liệu (Data Quality).
Tổng hợp dữ liệu
Xây dựng các bảng aggregate/fact phục vụ khai thác dữ liệu.
Thiết kế và tối ưu logic xử lý dữ liệu khối lượng lớn.
Tối ưu hiệu năng query, partitioning và indexing.
Vận hành & tối ưu hệ thống
Monitoring và xử lý lỗi pipeline/ETL job.
Phân tích và xử lý sự cố liên quan đến dữ liệu.
Thực hiện reconciliation giữa dữ liệu nguồn và DWH.
Đảm bảo SLA và tính ổn định của hệ thống dữ liệu.
Kiến thức & kinh nghiệm
Tốt nghiệp Đại học chuyên ngành CNTT hoặc tương đương.
Có kinh nghiệm làm việc với hệ thống DWH, ETL/ELT hoặc Data Pipeline.
Hiểu về kiến trúc:
Data Warehouse
Data Mart
ETL/ELT
CDC
Có kinh nghiệm xử lý dữ liệu lớn là lợi thế.
Kỹ năng kỹ thuật
Thành thạo SQL và tối ưu truy vấn.
Có kinh nghiệm với:
Oracle
PostgreSQL
MSSQL
MySQL
MongoDB
Hiểu đặc điểm dữ liệu relational và document-based database.
Có kinh nghiệm với các công cụ ETL/workflow:
Airflow
Talend
Pentaho
NiFi dbt
Có khả năng lập trình:
Python
Java
Hiểu về Kafka hoặc streaming data là lợi thế.
Ưu tiên
Có kinh nghiệm vận hành hệ thống dữ liệu lớn hoặc realtime.
Có kiến thức về Linux, Docker, Kubernetes là lợi thế.
Có kinh nghiệm tối ưu hiệu năng hệ thống dữ liệu.
Kỹ năng mềm
Tư duy logic và phân tích dữ liệu tốt.
Chủ động và có trách nhiệm trong công việc.
Có khả năng làm việc nhóm và phối hợp liên phòng ban.
Kỹ năng xử lý vấn đề và troubleshooting tốt.
Công nghệ sử dụng
Oracle / PostgreSQL / MSSQL / MongoDB
Airflow / Kafka
Python / Java
Linux
Docker / Kubernetes
GitLab CI/CD
Ngành nghề: CNTT - Phần mềm
Kinh nghiệm: 3 Năm
Cấp bậc: Nhân viên
Hình thức: Nhân viên chính thức
Địa điểm: Hà Nội