Data Analytics
Azure Data Factory
Lapisan ingestion dan orkestrasi yang memindahkan data dari ERP, basis data, berkas, dan API ke warehouse atau lakehouse.
Produk
Azure Data FactoryAzure Data Factory adalah tempat lapisan ingestion, orkestrasi, dan integrasi dibangun di cloud. Layanan ini menghubungkan sistem sumber yang sudah dijalankan organisasi, termasuk ERP, basis data operasional, lokasi berkas, dan API, lalu memindahkan datanya ke data warehouse atau lakehouse. Pipeline-nya terjadwal dan terpantau, sehingga usia data di balik sebuah laporan diketahui, bukan diandaikan.
Cara kerjanya
- Sistem sumber diinventarisasi bersama tim pemiliknya, termasuk seberapa sering tiap sistem boleh dibaca dan seperti apa jendela ekstraksi yang aman.
- Linked service dan dataset dikonfigurasi untuk tiap sumber, baik itu ERP, basis data relasional, lokasi berkas, maupun API.
- Pipeline memindahkan data ke lapisan pendaratan di warehouse atau lakehouse, dengan transformasi yang diterapkan sejauh model tujuannya menuntut.
- Pipeline dijadwalkan dan dependensinya diurutkan, sehingga proses hilir tidak berjalan di atas ekstrak hulu yang gagal.
- Setiap eksekusi dipantau dan kegagalannya dialertkan, sehingga refresh yang tidak jalan ditemukan sebelum dasbornya dibaca, bukan sesudah.
Persoalan yang diselesaikan
Data berada di ERP, di beberapa basis data operasional, di berkas yang diekspor manual tiap bulan, dan di balik API yang dulu ditulis untuk keperluan lain, sehingga pelaporan bergantung pada ingatan seseorang untuk mengambil semuanya. Azure Data Factory mengubah pengumpulan itu menjadi pipeline terjadwal yang terpantau, sehingga pekerjaannya berhenti manual dan pemuatan yang gagal terlihat, bukan berlalu diam-diam.