Data Engineer (Big Data)

仕事内容

- Xây dựng, phát triển các hệ thống lưu trữ, xử lý dữ liệu lớn (Big Data)

- Xây dựng các giải pháp ETL có khả năng mở rộng linh hoạt với độ tin cậy cao, phục vụ cho việc khai thác/ ingest các loại dữ liệu (cấu trúc, lưu lượng, tốc độ) từ nhiều nguồn khác nhau

- Xây dựng, phát triển các công cụ khai thác dữ liệu, quản trị dữ liệu

- Thiết kế chi tiết giải pháp cho các luồng thu thập, chuẩn hóa, làm sạch, làm giàu, lưu trữ, xử lý, phân tích và hiển thị dữ liệu lớn

- Phối hợp, hỗ trợ Data Scientist trong việc chuyển đổi các mô hình, thuật toán học máy, khai phá dữ liệu thành các bản đặc tả, thiết kế phần mềm đảm bảo chúng có thể được cài đặt, triển khai hiệu quả trên môi trường tính toán phân tán và có khả năng mở rộng tốt khi tập dữ liệu đầu vào tăng trưởng nhanh

- Thiết kế giải pháp và trực tiếp phát triển các module, thư viện có tính chất nền tảng, có khả năng tái sử dụng cao, ảnh hưởng diện rộng