Tuyển dụng Senior Llmops Engineer – AI Infrastructure & Gpu Computing tại Hà Nội

Đơn vị tuyển dụng: Viettel Cyber Security (VCS)

Địa điểm làm việc: 41st Floor, Landmark-Keangnam, Pham Hung Street, Hà Nội

Lĩnh vực: LLMOps · AI Infrastructure · GPU Computing · MLOps

Level: Senior

MÔ TẢ VỊ TRÍ

Viettel Cyber Security (VCS) đang xây dựng và phát triển nền tảng LLM nội bộ, phục vụ nhu cầu ứng dụng AI trong hoạt động nghiên cứu, phát triển sản phẩm và vận hành của công ty.

Chúng tôi tìm kiếm LLMOps Engineer có kinh nghiệm triển khai và vận hành các mô hình ngôn ngữ lớn (LLM) trên hạ tầng GPU on-premise, đồng thời tham gia xây dựng hệ thống công cụ và quy trình LLMOps hỗ trợ hoạt động nghiên cứu, fine-tuning và quản lý vòng đời mô hình.

• LLM Serving & Operations: Triển khai, tối ưu hiệu năng, giám sát và đảm bảo hoạt động ổn định của các mô hình LLM phục vụ nhiều ứng dụng và người dùng nội bộ.

• Training Platform & Model Lifecycle: Xây dựng môi trường, công cụ và quy trình tự động hóa phục vụ fine-tuning, quản lý phiên bản, đánh giá, lưu trữ và triển khai mô hình từ nghiên cứu lên production.

LLMOps Engineer phối hợp với các team AI/ML Research, AI Engineering và hạ tầng. Việc nghiên cứu thuật toán, xây dựng dữ liệu huấn luyện và trực tiếp thực hiện fine-tuning thuộc trách nhiệm của team nghiên cứu mô hình.

TRÁCH NHIỆM CHÍNH

Triển khai và vận hành LLM (LLM Serving & Operations)

• Triển khai, cấu hình và vận hành các mô hình LLM mã nguồn mở như Qwen, DeepSeek, Llama và các mô hình tương đương trên hạ tầng GPU on-premise.

• Xây dựng môi trường LLM Serving sử dụng vLLM, SGLang, TensorRT-LLM, Hugging Face TGI hoặc công nghệ tương đương.

• Tối ưu inference với Continuous Batching, KV Cache Optimization, Quantization, Tensor Parallelism và kỹ thuật phù hợp với từng mô hình.

• Benchmark mô hình theo Throughput, Tokens/second, Time to First Token (TTFT), Time per Output Token (TPOT), Latency và Concurrency.

• Tối ưu GPU, VRAM và bộ nhớ hệ thống nhằm nâng cao hiệu suất, khả năng phục vụ đồng thời và hiệu quả đầu tư hạ tầng.

• Triển khai Load Balancing, Request Queuing, Rate Limiting, Model Routing và kiểm soát tài nguyên phục vụ nhiều nhóm người dùng.

• Xây dựng quy trình triển khai, nâng cấp, chuyển phiên bản, Canary Deployment và Rollback, hạn chế gián đoạn dịch vụ.

• Phối hợp với các team ứng dụng để cung cấp và tích hợp API LLM phục vụ nhu cầu nội bộ.

Xây dựng nền tảng phục vụ Fine-tuning (Training Platform & LLMOps Pipeline)

• Thiết kế, triển khai và duy trì môi trường thực thi các tác vụ huấn luyện và fine-tuning LLM trên GPU on-premise.

• Xây dựng workflow hỗ trợ vòng đời huấn luyện: quản lý phiên bản dataset; cấu hình training job; điều phối GPU; theo dõi metrics/experiments; quản lý checkpoint và artifacts; tích hợp kết quả đánh giá và quy trình phê duyệt; phát hành mô hình lên serving.

• Triển khai Experiment Tracking, Model Registry, Artifact Storage và Workflow Orchestration như MLflow, Weights & Biases, Kubeflow, Ray hoặc tương đương.

• Tích hợp môi trường huấn luyện sử dụng PyTorch, Hugging Face Transformers, PEFT, DeepSpeed, FSDP hoặc framework tương đương.

• Hỗ trợ team nghiên cứu xử lý GPU Out-of-Memory, lỗi Distributed Training, lỗi môi trường, checkpoint recovery và tối ưu tài nguyên.

• Đảm bảo Reproducibility và truy xuất nguồn gốc phiên bản dataset, code, cấu hình, checkpoint và mô hình.

• Chuẩn hóa bàn giao mô hình từ nghiên cứu sang production: kiểm tra tương thích, hiệu năng, tài nguyên và khả năng rollback.

• Tự động hóa triển khai, kiểm thử và phát hành mô hình để giảm thao tác thủ công.

GPU Platform & Reliability Engineering

• Triển khai và quản lý GPU workload trên Linux, Docker, Kubernetes hoặc nền tảng điều phối tương đương.

• Giám sát GPU Utilization, VRAM, GPU Interconnect và hiệu năng workload; phối hợp với hạ tầng về capacity planning, CUDA, driver và runtime dependencies.

• Xây dựng Monitoring, Logging, Metrics, Tracing và Alerting cho cả LLM Serving và Training.

• Theo dõi Availability, Error Rate, Latency, Throughput, Queue Length, Token Usage và mức độ sử dụng tài nguyên.

• Phát hiện và xử lý sự cố hiệu năng, quá tải, deployment và môi trường huấn luyện; thực hiện RCA, phòng ngừa tái diễn.

• Xây dựng High Availability, Fault Tolerance, Backup/Recovery và Disaster Recovery phù hợp với yêu cầu dịch vụ.

• Phối hợp với team hạ tầng về GPU Networking, Storage Performance và mở rộng năng lực tính toán.

LLM Platform Automation, Security & Governance

• Xây dựng CI/CD pipeline cho triển khai, kiểm thử, cập nhật và phát hành mô hình LLM; áp dụng Infrastructure as Code.

• Triển khai/tích hợp LLM Gateway như LiteLLM để quản lý model endpoint, authentication, quota, rate limiting và usage tracking.

• Quản lý Model Registry, Model Versioning, Artifact Storage và kiểm soát vòng đời mô hình.

• Triển khai RBAC, Secrets Management, API Authentication, Audit Logging và phân tách quyền truy cập.

• Đảm bảo tuân thủ chính sách an toàn thông tin, bảo vệ dữ liệu và quản trị nội bộ.

• Viết tài liệu thiết kế kỹ thuật, hướng dẫn triển khai, vận hành và xử lý sự cố (Runbook).

• Nghiên cứu và thử nghiệm công nghệ mới nhằm cải thiện hiệu năng, độ ổn định và tự động hóa.

QUYỀN LỢI

• Thu nhập cạnh tranh, thỏa thuận theo năng lực và kinh nghiệm.

• Trực tiếp triển khai, tối ưu và vận hành các LLM hiện đại trên GPU on-premise.

• Cơ hội nghiên cứu LLM Serving, MLOps, GPU Computing và Distributed Training.

• Tham gia xây dựng nền tảng AI/LLM dùng chung phục vụ nhiều nhóm nội bộ.

• Review lương định kì tháng 3 hàng năm

• Bảo hiểm sức khỏe và tai nạn cá nhân của Bảo Việt

• Khám sức khỏe định kì hàng năm

• Chế độ hỗ trợ đặc biệt dành cho nhân viên nữ trong thời gian nghỉ thai sản.

• Giải thưởng ghi nhận năng lực, các đóng góp nổi bật kịp thời

• Được tài trợ 100% đối với các chứng chỉ xếp hạng chuyên môn quốc tế chuyên sâu theo từng vị trí (trong trường hợp vận may chưa tới, đừng lo, VCS sẽ hỗ trợ 50% chi phí thi tuyển), khen thưởng đột xuất với CBNV đạt chứng chỉ chuyên môn quốc tế

• Liên tục đầu tư học liệu mới nhất, cập nhật nhất trên thị trường về lĩnh vực ATTT từ các nhà cung cấp, các học viện/uy tín hàng đầu thế giới

• 100% cán bộ nhân viên được cấp tài khoản Elearning từ Udemy – học thỏa sức mọi lúc mọi nơi

• Miễn phí tham gia các chương trình chia sẻ kiến thức chuyên ngành, các hội thảo chuyên môn từ các diễn giả đầu ngành trong nước và quốc tế

• Có cơ hội làm việc với khách hàng đa dạng trong nước và quốc tế

• Làm việc tại văn phòng Hạng A – tòa Landmark 72 với tổ hợp không gian xanh và khu vực riêng dành cho gym, giải trí (chơi Bi-a, Pes, Café, Đọc sách)

• Thư giãn 30 phút mỗi ngày với hoạt động Happy hours (16h-16h30)

• Các hoạt động thể thao: Bơi, Pickleball, Bi-a, Pocker, Pes, v.v

• Mười hai (12) ngày phép hàng năm theo Luật Lao Động, ba (3) ngày nghỉ mát và một (1) ngày lễ truyền thống 22/12 của Viettel.

• Tổ chức sinh nhật cá nhân: quà và bánh sinh nhật từ phía Công ty

• Tham gia các event Công ty: hoạt động Teambuilding hàng quý, sinh nhật hàng tháng, Year End Party, nghỉ mát, ngày lễ 08/03, 20/10 (các chị em được nghỉ ½ ngày), ngày sinh nhật tập đoàn 01/06, v.v

• Quan tâm bố mẹ, con cái của nhân viên vào các dịp đặc biệt.

Kinh nghiệm và năng lực chuyên môn

• Có kinh nghiệm trong DevOps, MLOps, AI Infrastructure, Machine Learning Engineering hoặc lĩnh vực tương đương.

• Có kinh nghiệm triển khai, cấu hình, tối ưu hoặc vận hành mô hình AI/LLM trên GPU.

• Có kiến thức về hệ thống phân tán, containerization, automation, monitoring và vận hành production.

• Có khả năng lập trình, phân tích hiệu năng, troubleshooting và phối hợp với team nghiên cứu AI/ML.

Yêu cầu kỹ thuật bắt buộc (Must-have)

• LLM Serving & Inference: Kinh nghiệm với vLLM, SGLang, TensorRT-LLM, TGI hoặc tương đương; hiểu batching, KV cache, token generation, quantization và GPU memory; biết benchmark và tối ưu inference.

• GPU & Infrastructure: Thành thạo Linux, Python, Docker và Kubernetes hoặc container orchestration tương đương; có kiến thức thực tế về CUDA Runtime, NVIDIA GPU, GPU/VRAM utilization; kinh nghiệm CI/CD, monitoring và troubleshooting.

• Training Platform & Model Lifecycle: Hiểu quy trình fine-tuning, LoRA/QLoRA; có kiến thức thực hành PyTorch, Hugging Face Transformers; hiểu training job, checkpoint, experiment tracking, model artifacts, model versioning và tự động hóa.

• Programming & Engineering: Thành thạo Python, shell scripting, Git; hiểu High Availability, Scalability, Fault Tolerance, Observability, Resource Management, API và bảo mật hệ thống.

Yêu cầu ưu tiên (Nice-to-have)

• Vận hành LLM trên GPU on-premise quy mô lớn; distributed training với DeepSpeed, PyTorch FSDP, Ray Train.

• MLflow, We

Yêu cầu công việc

Kinh nghiệm và năng lực chuyên môn

• Có kinh nghiệm trong DevOps, MLOps, AI Infrastructure, Machine Learning Engineering hoặc lĩnh vực tương đương.

• Có kinh nghiệm triển khai, cấu hình, tối ưu hoặc vận hành mô hình AI/LLM trên GPU.

• Có kiến thức về hệ thống phân tán, containerization, automation, monitoring và vận hành production.

• Có khả năng lập trình, phân tích hiệu năng, troubleshooting và phối hợp với team nghiên cứu AI/ML.

Yêu cầu kỹ thuật bắt buộc (Must-have)

• LLM Serving & Inference: Kinh nghiệm với vLLM, SGLang, TensorRT-LLM, TGI hoặc tương đương; hiểu batching, KV cache, token generation, quantization và GPU memory; biết benchmark và tối ưu inference.

• GPU & Infrastructure: Thành thạo Linux, Python, Docker và Kubernetes hoặc container orchestration tương đương; có kiến thức thực tế về CUDA Runtime, NVIDIA GPU, GPU/VRAM utilization; kinh nghiệm CI/CD, monitoring và troubleshooting.

• Training Platform & Model Lifecycle: Hiểu quy trình fine-tuning, LoRA/QLoRA; có kiến thức thực hành PyTorch, Hugging Face Transformers; hiểu training job, checkpoint, experiment tracking, model artifacts, model versioning và tự động hóa.

• Programming & Engineering: Thành thạo Python, shell scripting, Git; hiểu High Availability, Scalability, Fault Tolerance, Observability, Resource Management, API và bảo mật hệ thống.

Yêu cầu ưu tiên (Nice-to-have)

• Vận hành LLM trên GPU on-premise quy mô lớn; distributed training với DeepSpeed, PyTorch FSDP, Ray Train.

• MLflow, Weights & Biases, Kubeflow hoặc các hệ thống Experiment Tracking và Model Registry.

• NVIDIA GPU Operator, DCGM Exporter, Prometheus, Grafana và GPU Observability.

• LiteLLM, Triton Inference Server, NVIDIA NIM hoặc các nền tảng LLM Gateway/Serving.

• Model serving nhiều GPU/nhiều node; Model Evaluation, LLM Benchmarking và regression testing.

• Object Storage, Artifact Repository, Distributed Storage và lưu trữ checkpoint.

• Terraform, Ansible, Helm hoặc Infrastructure as Code; nền tảng AI/ML dùng chung nhiều team.

Kỹ năng bổ trợ

• Tư duy hệ thống, khả năng phân tích và giải quyết vấn đề kỹ thuật.

• Chủ động nghiên cứu và ứng dụng công nghệ mới; làm việc độc lập và phối hợp nhóm.

• Đọc hiểu tốt tài liệu kỹ thuật tiếng Anh; có trách nhiệm với hiệu năng và độ ổn định dịch vụ.

Quyền lợi

• Thưởng:

  Offer theo gói tổng thu nhập năm cạnh tranh

  Review lương định kì tháng 3 hàng năm

• Chăm sóc sức khoẻ:

  Bảo hiểm sức khỏe và tai nạn cá nhân của Bảo Việt (Hạn mức chi trả lên đến 600 triệu/năm)

  Khám sức khỏe định kì hàng năm

• Hoạt động nhóm:

  Tham gia các event Công ty: hoạt động Teambuilding hàng quý, sinh nhật hàng tháng, Year End Party, nghỉ mát, ngày lễ 08/03, 20/10 (các chị em được nghỉ ½ ngày), ngày sinh nhật tập đoàn 01/06, v.v