Pengecekan manual mingguan, kesalahan ketahuan terlambat
Sebuah operasi mining & logistics skala menengah mengelola data harian berthing kapal dan kargo sepenuhnya lewat pencatatan spreadsheet manual. Pengecekan kualitas data dilakukan mingguan secara manual — proses yang memakan waktu sekitar empat jam per siklus, rentan kelelahan reviewer, terbatas pada pemeriksaan level format, dan tidak memiliki baseline statistik atau jejak audit apa pun. Kesalahan baru terlihat setelah laporan sudah sampai ke tangan manajemen.
Perjalanan sebuah kesalahan sebelum sistem ini ada
Empat masalah cara lama
Setiap pengecekan mingguan makan sekitar setengah hari kerja.
Review manual yang berulang rentan melewatkan kesalahan.
Pengecekan berhenti di format; logika dan anomali tidak dicek.
Tidak ada acuan statistik untuk “normal”, dan tidak ada catatan apa yang sudah dicek.
Sistem yang mengecek data dengan sendirinya
Merancang dan membangun sistem data quality berbasis rule yang mampu:
Tujuh langkah, dari rulebook sampai dashboard
Dari rulebook sampai dashboard
Bagaimana program data quality otomatis dibangun, langkah demi langkah. Ketuk sebuah langkah untuk langsung ke sana.
Semua angka dan temuan dihitung oleh logika berbasis rule — AI hanya dipakai untuk ringkasan yang mudah dibaca, sehingga tidak ada risiko halusinasi pada datanya.
Daftar referensi dan threshold bisnis disimpan di sumber master data eksternal, jadi perubahan non-teknis tidak butuh perubahan kode.
Metrik yang secara alami berskala mengikuti faktor yang tidak terkontrol (mis. durasi) dibandingkan sebagai rasio yang dinormalisasi, bukan total mentah — menghindari alarm palsu karena bias.
Menyusun rulebook validasi bertingkat
Rulebook bertingkat (severity Critical / High / Info) yang mencakup kelengkapan data, urutan kronologis, rekonsiliasi lintas-kolom, dan integritas data referensi — 80+ rule secara total, dikembangkan rule demi rule bersama stakeholder domain sebelum satu baris kode pun ditulis.
Tiga level severity
Empat jenis pengecekan
Membangun lapisan deteksi pencilan statistik
Menggunakan metode 3-sigma, disegmentasi berdasarkan konteks operasional (misalnya terminal × jenis kargo × kelas kapal), bukan ambang batas tetap.
Sederhananya: sebuah nilai ditandai kalau jaraknya lebih dari tiga standar deviasi dari rata-rata record yang sebanding, jadi “normal” dipelajari dari data, bukan ditentukan manual.
Pita 3-sigma
Setiap segmen punya baseline sendiri (contoh dari artikel)
Menyempurnakan model statistik lewat iterasi tuning
Termasuk memperbaiki bias nyata di mana metrik downtime justru berskala mengikuti durasi operasi; dengan menyatakannya ulang sebagai rasio terhadap total waktu, alarm palsu hilang tanpa kehilangan sensitivitas deteksi.
Coba: ganti metriknya
Ilustrasi konsep dengan angka karangan, bukan data produksi. Garis 3-sigma dihitung langsung dari titik yang ditampilkan.
Mengeksternalisasi seluruh data referensi dan threshold
Ke dalam workbook master data, menghilangkan business logic yang hardcode sehingga stakeholder non-teknis dapat menyesuaikan rule tanpa perubahan kode.
Mengatur seluruh pipeline
Dalam platform low-code automation: trigger harian terjadwal → eksekusi rule engine → ringkasan naratif berbantuan AI (dengan fallback deterministik untuk ketahanan saat kapasitas AI tidak tersedia) → alert email berbasis severity → audit log yang terus bertambah (append-only).
Ketuk setiap tahap
Memperluas arsitektur ke domain data kedua
Merancang model data yang skalabel (riwayat run append-only + detail temuan yang selalu ter-refresh) sehingga pola pipeline yang sama dapat melayani portofolio dataset yang terus bertambah tanpa perlu didesain ulang.
Merancang dan membangun dashboard Power BI dua lapis
Ringkasan eksekutif yang mengagregasi skor kesiapan data di seluruh domain yang dipantau, dan tampilan rincian per domain yang menunjukkan rule yang paling sering gagal, record yang terdampak, serta tren kualitas data dari waktu ke waktu.
Skema dua lapis, bukan tangkapan layar.
Dari empat jam seminggu menjadi nol
Mengurangi beban kerja QA manual dari ~4 jam/minggu menjadi nol pekerjaan manual yang berkelanjutan.
Membangun katalog rule yang dapat diaudit dan dapat diulang, yang berhasil mengungkap masalah data sistemik yang sebelumnya tidak terlihat lewat pemeriksaan sampel manual.
Menghasilkan blueprint yang dapat digunakan ulang dan berhasil direplikasi ke domain operasional kedua dalam hitungan hari, bukan bulan.
Memberikan manajemen tampilan langsung dan menyeluruh atas tren kualitas data lintas portofolio — kapabilitas yang sebelumnya tidak pernah ada.
Ringkasan dampak
Tiga aturan di balik sistemnya
Inti deterministik, AI hanya menarasikan
Seluruh angka dan temuan dihitung oleh logika berbasis rule. AI hanya digunakan untuk menghasilkan ringkasan yang mudah dibaca, menghilangkan risiko halusinasi pada data yang mendasarinya.
Angka berasal dari rule; AI hanya merangkai kalimatnya.
Nol ambang batas yang ditulis langsung di kode
Daftar referensi dan ambang batas bisnis disimpan di sumber master data eksternal, sehingga penyesuaian operasional tidak memerlukan perubahan kode atau deployment ulang.
Pencilan yang kokoh secara statistik
Metrik yang secara alami berskala mengikuti faktor yang tidak terkontrol dibandingkan sebagai rasio yang dinormalisasi, bukan angka mentah — menghindari bias terhadap record yang lebih besar atau berdurasi lebih panjang.
Dua pertanyaan, dua lapis
Dashboard dirancang mengikuti hierarki pertanyaan sederhana: apakah portofolio ini sehat? (ringkasan eksekutif) diikuti apa tepatnya yang salah, dan di mana? (rincian per dataset). Pola kartu skor dataset memungkinkan domain baru bergabung ke program hanya dengan menambah satu baris — bukan mendesain ulang.
- Skor kesiapan data
- Di seluruh domain yang dipantau
- Rule yang paling sering gagal
- Record yang terdampak
- Tren kualitas data dari waktu ke waktu
Domain baru cukup satu baris lagi
Dengan pola kartu skor dataset, domain baru bergabung ke program cukup dengan menambah satu baris, bukan lewat desain ulang.
CO
Data Quality — Ringkasan Eksekutif
Tampilan portofolio untuk semua dataset operasional yang dipantau
| Dataset | Kesiapan | Crit | High | Tren 30 hari | Status |
|---|---|---|---|---|---|
Fleet OperationsBerthing kapal & kargo | 96.2% | 22 | 38 | Live | |
Stockyard InventoryPelacakan yard & material | 48.4% | 36 | 108 | Live | |
Equipment UtilizationFleet burn-rate (rencana) | — | — | — | belum ada data | Rencana |
Maintenance RecordsCatatan M&R (rencana) | — | — | — | belum ada data | Rencana |
Invoice RegisterQC penagihan (rencana) | — | — | — | belum ada data | Rencana |
Kembali ke empat jam tiap minggu
Sekarang data dicek setiap hari, secara otomatis.
80+ rule dan lapisan 3-sigma berjalan sesuai jadwal harian, temuan dikirim sebagai alert email berbasis severity, setiap run tersimpan di audit log append-only, dan manajemen melihat seluruh portofolio di satu dashboard. Pengecekan manual mingguan tidak diperlukan lagi.