Provenance Data
Provenance Data
Nifi menjaga tingkat detail yang sangat terperinci tentang setiap bagian data yang diserapnya. Saat data diproses melalui sistem dan diubah, diarahkan, dibagi, dikumpulkan, dan didistribusikan ke titik akhir lainnya, semua informasi ini disimpan dalam Repository Provenance. Untuk mencari dan melihat informasi ini, kita dapat memilih Data Provenance dari Menu Global. Ini akan memberi kami tabel yang mencantumkan event Provenance yang dicari :
Awalnya, tabel ini diisi dengan 1.000 provenance event terbaru yang telah terjadi (meskipun mungkin perlu beberapa detik untuk memproses informasi setelah peristiwa terjadi). Dari dialog ini, ada tombol Cari yang memungkinkan pengguna untuk mencari event yang terjadi oleh Prosesor tertentu, untuk FlowFile tertentu dengan nama file atau UUID, atau beberapa field lainnya. File nifi.properties menyediakan kemampuan untuk mengonfigurasi properti mana yang diindeks, atau dibuat dapat dicari. Selain itu, file properti juga memungkinkan Anda untuk memilih Atribut FlowFile tertentu yang akan diindeks. Akibatnya, Anda dapat memilih Atribut mana yang penting bagi aliran data spesifik Anda dan membuat Atribut tersebut dapat dicari.
Event Details
Setelah melakukan pencarian, tabel akan diisi hanya dengan event yang cocok dengan kriteria pencarian. Dari sini, kita dapat memilih ikon Info (
) di sisi kiri tabel untuk melihat detail event tersebut:
Dari sini, kita dapat melihat dengan tepat kapan peristiwa itu terjadi, FlowFile mana yang terpengaruh peristiwa itu, komponen mana (Prosesor, dll.) yang melakukan peristiwa itu, berapa lama peristiwa itu berlangsung, dan waktu keseluruhan data itu ada di NiFi saat peristiwa itu terjadi (total latensi). Tab berikutnya memberikan daftar semua Atribut yang ada di FlowFile pada saat itu peristiwa itu terjadi:
Dari sini, kita dapat melihat semua Atribut yang ada pada FlowFile saat peristiwa terjadi, serta nilai sebelumnya untuk Atribut tersebut. Ini memungkinkan kami mengetahui Atribut mana yang berubah sebagai akibat dari peristiwa ini dan bagaimana atribut tersebut berubah. Selain itu, di sudut kanan adalah kotak centang yang memungkinkan pengguna untuk melihat hanya Atribut yang berubah. Ini mungkin tidak terlalu berguna jika FlowFile hanya memiliki sedikit Atribut, tetapi bisa sangat membantu ketika FlowFile memiliki ratusan Atribut.
Ini sangat penting karena memungkinkan pengguna untuk memahami konteks yang tepat di mana FlowFile diproses. Sangat membantu untuk memahami mengapa FlowFile diproses seperti itu, terutama ketika Prosesor dikonfigurasi menggunakan Bahasa Expression. Terakhir adalah tab Content:
Tab ini memberi informasi tentang di mana dalam Content Repositori FlowFile konten disimpan. Jika peristiwa tersebut mengubah konten FlowFile, kita akan melihat klaim konten sebelum (input) dan sesudah (output). Kita kemudian diberi opsi untuk Mengunduh konten atau untuk Melihat konten di dalam NiFi itu sendiri, jika format datanya adalah salah satu yang NiFi pahami cara rendernya.
Selain itu, di bagian Replay tab, ada tombol Putar Ulang yang memungkinkan pengguna untuk memasukkan kembali FlowFile ke dalam aliran dan memprosesnya kembali dari titik di mana peristiwa itu terjadi. Ini menyediakan mekanisme yang sangat kuat, karena dapat memodifikasi aliran secara real time, memproses ulang FlowFile, dan kemudian melihat hasilnya. Jika tidak seperti yang diharapkan, kita dapat memodifikasi alur lagi, dan memproses ulang FlowFile lagi. Kita dapat melakukan pengembangan berulang aliran ini hingga memproses data persis seperti disengaja.
Graph Lineage
Selain melihat detail Provenance event, juga dapat lihat lineage FlowFile yang terlibat dengan mengklik Ikon Lineage (
) dari tampilan tabel. Ini memberi kita representasi grafis tentang apa yang terjadi pada bagian data itu saat melintasi sistem:
Dari sini, kita dapat mengklik kanan pada salah satu event yang diwakili dan mengklik item menu Lihat Detail untuk melihat Detail Event. Representasi grafis ini menunjukkan kepada kita peristiwa mana yang terjadi pada data. Ada beberapa jenis event "khusus" yang harus diperhatikan. Jika kita melihat event JOIN, FORK, atau CLONE, kita bisa klik kanan dan pilih Find Parents atau Expand. Ini memungkinkan kita untuk melihat lineage FlowFiles induk dan FlowFiles anak-anak yang dibuat juga.
Slider di sudut kiri bawah memungkinkan kita untuk melihat waktu di mana peristiwa ini terjadi. Dengan menggesernya ke kiri dan kanan, kita dapat melihat peristiwa mana yang memasukkan latensi ke dalam sistem sehingga kita memiliki pemahaman yang sangat baik tentang di mana dalam sistem kita, kita mungkin perlu menyediakan lebih banyak sumber daya, seperti jumlah Task Bersamaan untuk Prosesor. Atau mungkin mengungkapkan, misalnya, bahwa sebagian besar latensi dikarenakan oleh event GABUNG, di mana menunggu lebih banyak FlowFile untuk bergabung bersama. Dalam kedua kasus, kemampuan untuk dengan mudah melihat di mana ini terjadi adalah fitur yang sangat kuat yang akan membantu pengguna untuk memahami bagaimana proses beroperasi.