Data Mart, Data Warehouse, ETL, ELT dan OLAP

Nama/NIM : I Wayan Cita Ekayana/13045050585
Jurusan/Fakultas/Perguruan Tinggi : Teknologi Informasi/Teknik/Universitas Udayana
Mata Kuliah : Data Warehouse
Dosen : I Putu Agus Eka Pratama, S.T., M.T.

Data Mart, Data Warehouse, ETL, ELT Dan OLAP

Data Mart

Data mart adalah suatu bagian pada data warehouse yang mendukung pembuatan laporan dan analisa data pada suatu unit, bagian atau operasi pada suatu perusahaan. Dalam beberapa implementasi data warehouse, data mart adalah miniature data warehouse. Data mart sering digunakan untuk memberikan informasi kepada segmen fungsional organisasi.
Contoh umum data mart adalah untuk departemen penjualan, departemen persediaan dan pengiriman, departemen keuangan, manajemen tingkat atas, dan seterusnya. Data mart juga dapat digunakan untuk gudang data segmen data untuk mencerminkan bisnis secara geografis terletak di mana masing-masing daerah relatif otonom. Sebagai contoh, sebuah organisasi layanan yang besar mungkin memperlakukan pusat operasi regional sebagai unit usaha perorangan, masing-masing dengan data mart sendiri yang memberikan kontribusi untuk gudang data master.

Data Warehouse

arsitektur dw

Arsitektur Data Warehouse

(Sumber:http://1.bp.blogspot.com/-hllgOEv8yCI/UjcCMxoU2hI/AAAAAAAAAKg/vLyOd46lv7c/s1600/dw1.JPG)

Data Warehouse adalah database yang didesain khusus untuk mengerjakan proses query, membuat laporan dan analisa. Data yang di simpan adalah data business history dari sebuah organisasi /perusahaan, dimana data tersebut tidak tersimpan secara rinci/detil. Sehingga data dapat bertahan lebih lama. Sumber data pada datawa rehouse berasal dari berbagai macam format, software, platform dan jaringan yang beda. Data tersebut adalah hasil dari proses transaksi perusahan / organisasi sehari-hari. Karena berasal dari sumber yang berbeda beda tadi, maka data pada data warehouse harus tersimpan dalam sebuah format yang baku.

Data Warehouse juga merupakan salah satu sistem pendukung keputusan, yaitu dengan menyimpan data dari berbagai sumber, mengorganisasikannya dan dianalisa oleh para pengambil kebijakan. Akan tetapi datawarehouse tidak dapat memberikan keputusan secara langsung. Namun ia dapat memberikan informasi yang dapat membuat user menjadi lebih paham dalam membuat kebijakan strategis.

Adapun karakteristik umum yang dimiliki datawarehouse adalah :

  • Data terintegrasi dari berbagai sumber yang berasal dari proses transaksional (OLTP)
  • Data dibuat konsisten
  • Merupakan aggregate data/kesimpulan data, bukan data yang terperinci
  • Data bertahan lebih lama
  • Data tersimpan dalam format yang tepat sehinngga proses query dan analisa dapat dilakukan dengan cepat
  • Data bersifat read only

ETL (Extraction, Transformation, Loading)

Tiga fungsi utama yang perlu dilakukan untuk membuat data siap digunakan pada datawarehouse adalah extraction, transformation dan loading. Ketiga fungsi ini terdapat pada staging area. Pada data staging ini, disediakan tempat dan area dengan beberapa fungsi seperti data cleansing, change, convert, dan menyiapkan data untuk disimpan serta digunakan oleh datawarehouse.

ETL

Bagan ETL
(Sumber:http://www.dbbest.com/blog/wp-content/uploads/2012/12/ETL_input_output.jpg)

  • Extraction

Data Extraction adalah proses pengambilan data yang diperlukan dari sumber datawarehouse dan selanjutnya dimasukkan pada staging area untuk diproses pada tahap berikutnya [2]. Pada fungsi ini, kita akan banyak berhubungan dengan berbagai tipe sumberdata. Format data, mesin yang berbeda, software dan arsitektur yang tidak sama. Sehingga sebelum proses ini kita lakukan, sebaiknya perlu kita definisikan requirement terhadap sumber data yang akan kita butuhkan untuk lebih memudahkan pada extraction data ini.

  • Transformation

Pada kenyataannya, pada proses transaksional data disimpan dalam berbagai format sehingga jarang kita temui data yang konsisten antara aplikasi-aplikasi yang ada. Transformasi data ditujukan untuk mengatasi masalah ini. Dengan proses transformasi data ini, kita melakukan standarisasi terhadap data pada satu format yang konsisten. Beberapa contoh ketidakkonsistenan data tersenut dapat diakibatkan oleh tipe data yang berbeda, data length dan lain sebagainya

  • Loading

Data loading adalah memindahkan data ke datawarehouse. Ada dua loading data yang di lakukan pada datawarehouse. Pertama adalah inisial load, proses ini dilakukan pada saat telah selesai mendesign dan membangun data warhouse. Data yang masukkan tentunya akan sangat besar dan memakan waktu yang relatif lebih lama. Kedua Incremental load, dilakukan ketika data warehouse telah dioperasikan. Sehingga akan lebih mudah melakukan data extraction, transformation dan loading terhadap data tersebut.

ELT (Extract Loading Transformation)

ELT (Extract Loading Transformation) merupakan variasi dari ETL (Extract Transformation Loading). Bedanya dengan ETL adalah pada bagian keduanya, dimana pada ETL setelah data di extract lamu di transformasikan dan data di pindahkan ke data warehouse, sedangkan untuk ELT, pertama-tama data di extract lalu data mentah di muat secara langsung pada data warehouse dan akan di transformasi pada data warehouse. Ini berperan dalam melakukan analisa data yang sangat besar, dan lebih cepat dibandingkan dengan ETL.

OLTP

OLTP (Online Transactional Processing) merupakan sekumpulan fungsi yang bekerja secara bersama-sama dalam mengelola, mengumpulkan, menyimpan, memproses serta mendistribusikan informasi. OLTP (On-line Transaction Processing) memiliki karakteristik dengan jumlah data yang besar namun transaksi yang dilakukan cukup sederhana seperti insert,update, dan delete. Hal utama yang menjadi perhatian dari sistem yang dilakukan OLTP adalah melakukan query secara cepat, data mudah untuk diperbaiki dan dapat diakses melalui komputer yang terhubung dalam jaringan. OLTP berorientasi pada proses yang memproses suatu transaksi secara langsung melalui komputer yang terhubung dalam jaringan. Seperti misalanya kasir pada sebuah super market yang menggunakan mesin dalam proses transaksinya. OLTP mempunyai karakteristik beberapa user dapat creating, updating, retrieving untuk setiap record data.

OLAP

OLAP (Online Analytical Proccessing) merupakan suatu proses yang digunakan untuk melakukan permintaan terhadap data dalam bentuk yang kompleks dan menganalisa data yang bervolume besar. OLAP merupakan teknologi yang memproses data di dalam database dalam struktur multidimensi, menyediakan jawaban yang cepat untuk query dan analisis yang kompleks. Data multidimensi adalah data yang dapat dimodelkan sebagai atribut dimensi dan atribut ukuran. Contoh atribut dimensi adalah nama barang dan warna barang, sedangkan contoh atribut ukuran adalah jumlah barang.

Dengan adanya analisis dari OLAP, maka pengguna akan dengan mudah dapat menyimpulkan data secara terstruktur. Misalnya di sebuah toko X menjual berbagai macam barang, dengan adanya OLAP maka pemilik toko dapat mengetahui barang mana yang paling banyak diminati pelanggan dan barang mana yang tidak laku/tidak terjual. Dengan adanya analisa seperti itu, pemilik toko akan dengan mudah mengeluarkan barang mana yang cepat terjual untuk di produksi lebih banyak lagi.

Daftar Pustaka

[1] Karsono, Kundang. 2013. (Extract Transformation Loading). from (http://kundang.weblog.esaunggul.ac.id/2013/09/17/extract-transform-loading/).

[2] Anonim. 2013. (Online Analytical Processing). from (https://id.wikipedia.org/wiki/Online_analytical_processing/).

[3] Anonim. 2013. (Apa Itu OLTP ETL OLAP dan Data Warehouse). from (http://www.kompasiana.com/dhephe/apa-itu-oltp-etl-olap-dan-datawarehouse_552e1db26ea834f73d8b45b7).

[4] Zainuri. 2013. (Definisi Data mart). from (http://duniawebhouse.blogspot.co.id/2013/01/definisi-data-mart.html).

[5]Yasid, Ahmad. 2010. (Data Warehouse). from. (https://achmadyasid.files.wordpress.com/2010/03/datawarehouse.doc)

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google+ photo

You are commenting using your Google+ account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s