Category Archives: Data Warehouse

Data Mart, Data Warehouse, ETL, ELT dan OLAP

Nama/NIM : I Wayan Cita Ekayana/13045050585
Jurusan/Fakultas/Perguruan Tinggi : Teknologi Informasi/Teknik/Universitas Udayana
Mata Kuliah : Data Warehouse
Dosen : I Putu Agus Eka Pratama, S.T., M.T.

Data Mart, Data Warehouse, ETL, ELT Dan OLAP

Data Mart

Data mart adalah suatu bagian pada data warehouse yang mendukung pembuatan laporan dan analisa data pada suatu unit, bagian atau operasi pada suatu perusahaan. Dalam beberapa implementasi data warehouse, data mart adalah miniature data warehouse. Data mart sering digunakan untuk memberikan informasi kepada segmen fungsional organisasi.
Contoh umum data mart adalah untuk departemen penjualan, departemen persediaan dan pengiriman, departemen keuangan, manajemen tingkat atas, dan seterusnya. Data mart juga dapat digunakan untuk gudang data segmen data untuk mencerminkan bisnis secara geografis terletak di mana masing-masing daerah relatif otonom. Sebagai contoh, sebuah organisasi layanan yang besar mungkin memperlakukan pusat operasi regional sebagai unit usaha perorangan, masing-masing dengan data mart sendiri yang memberikan kontribusi untuk gudang data master.

Continue reading Data Mart, Data Warehouse, ETL, ELT dan OLAP

Advertisements

Data warehouse dan big data

Nama/NIM : I Wayan Cita Ekayana/1304505085
Jurusan/Fakultas/Perguruan Tinggi : Teknologi Informasi/Teknik/Universitas Udayana
Mata Kuliah : Data Warehouse
Dosen : I Putu Agus Eka Pratama, S.T., M.T.

Data Warehouse dan Big Data

Data Warehouse

Data Warehouse adalah database yang didesain khusus untuk mengerjakan proses query, membuat laporan dan analisa. Data yang di simpan adalah data business history dari sebuah organisasi /perusahaan, dimana data tersebut tidak tersimpan secara rinci/detil. Sehingga data dapat bertahan lebih lama berbeda dengan data OLTP (Online Transactional Processing) yang tersimpan sampai prosesnya berlangsung secara lengkap.

Sumber data pada datawarehouse berasal dari berbagai macam format, software, platform dan jaringan yang beda. Data tersebut adalah hasil dari proses transaksi perusahan / organisasi sehari.hari. Karena berasal dari sumber yang berbeda beda tadi, maka data pada data warehouse harus tersimpan dalam sebuah format yang baku.

Data Warehouse juga merupakan salah satu sistem pendukung keputusan, yaitu dengan menyimpan data dari berbagai sumber, mengorganisasikannya dan dianalisa oleh para pengambil kebijakan. Akan tetapi datawarehouse tidak dapat memberikan keputusan secara langsung. Namun ia dapat memberikan informasi yang dapat membuat user menjadi lebih paham dalam membuat kebijakan strategis.

Adapun karakteristik umum yang dimiliki datawarehouse adalah :

Continue reading Data warehouse dan big data

data warehouse dan business intelligence

Nama/NIM : I Wayan Cita Ekayana/1304505085
Jurusan/Fakultas/Perguruan Tinggi : Teknologi Informasi/Teknik/Universitas Udayana
Mata Kuliah : Data Warehouse
Dosen : I Putu Agus Eka Pratama, S.T., M.T.

Data Warehouse dan Business Intelligence

Business Intellegence (BI)

Secara umum Business Intelligence (BI) merupakan sebuah proses untuk melakukan ekstraksi data-data operasional perusahaan dan mengumpulkannya dalam sebuah data warehouse yang selanjutnya diproses menggunakan berbagai analisis statistik dalam proses data mining, sehingga didapat berbagai kecenderungan atau pattern dari data (Choirul, 2006). Pada Business Intelligence menjelaskan tentang suatu konsep dan metode bagiamana untuk meningkatkan kualitas pengambilan keputusan bisnis berdasarkan sistem yang berbasiskan data. BI seringkali dipersamakan sebagaimana briefing books, report and query tools, dan sistem informasi eksekutif.

bi

Gambar Alur Keputusan, Informasi dan Data

(Sumber :http://www.unisbank.ac.id/ojs/index.php/fti1/article/viewFile/65/60,page 2)

Gambar diatas menjelaskan bahwa BI memerlukan data untuk dapat membantu memberikan keputusan kepada penggunananya. Data akan memberikan informasi dan informasi akan mendukung suatu keputusan, unuk dapat membantu keputusan perlu adanya informasi yang akurat dan itu di ambil dari data-data yang ada.

Sistem Business Intelligence yang baik mempunyai berbagai karakteristik (Stevans,2008), diantaranya :

  • Tujuan utama

Seluruh sistem komputer mempunyai tujuan utama bagi seluruh pengguna sesuai dengan kebutuhan penguna masing-masing.

  • Ketersediaan data yang relevan

Masalah ketersediaan data merupakan poin yang paling penting dalam sistem business intelligence yang efektif. Dalam proses pembuat keputusan sering terjadi penyampaian informasi yang tidak lengkap atau bahkan yang tidak sebenarnya. Namun dengan dukungan BI, ketersediaan data yang relevan dapat diatasis ehingga dapat menyuguhkan data-data yang relevan.

  • Kemampuan
    Dalam hal ini terdapat kemampuan BI yang paling utama yaitu dapat memberikan kemudahan akses untuk informasi terbaru dari bisnis yang berjalan serta peluang yang diproyeksikan, selain itu Bi dapat memenuhi kapabilitas untuk melakukan analisis dan memenuhi permintaan pengguna
  • Struktur Pendukung

Dalam BI, sistem pendukung didalamnya tidak hanya terdiri dari hardware dan software, namun juga terdiri dari suatu proses yang dibuat untuk pengambilan keputusan yang lebih baik serta untuk menentukan strategi untuk misi dan tujuan kedepan.

Perbedaan Artificial Intelligence (AI) dengan Business Intelligence (BI)

Artificial Intellligence merupakan sebuah system yang mampu memberikan keputusan secara langsung ke pada penguna, sehingga pengguna dapat mengambil hasil keputusan yang diberikan oleh AI, sedangkan Business Intelligence merupakan sebuah system yang mampu membantu pengguna dalam proses pengambilan keputusan berdasarkan data- data yang ada.

Ada beberapa teknologi yang diperlukan untuk menunjang Business Intelligence, diantaranya:

  • Data Warehouse (Analisa Data)

Data warehouse merupakan basis data yang saling berhubungan dan dapat diambil suatu informasi yang dapat di olah, serta bersifat orientasi subjek, terintegrasi, timevariant, tidak berubah yang juga dapat digunakan untuk membantu pengambil keputusan dalam proses menganalisa data-daya yang ada.. Data warewhouse sangat mengacu pada suatu organisasi ataupun perusahaan besar atau lebih spesifik dari yang lainnya, dan berperan sebagai gudang data yang sewaktu-waktu dapat diambil.

  • Data Mart

Data mart adalah suatu bagian pada data warehouse yang mendukung pembuatan laporan dan analisa data pada suatu unit, bagian atau operasi pada suatu perusahaan. Dalam beberapa implementasi data warehouse, data mart adalah miniature data warehouse. Data mart sering digunakan untuk memberikan informasi kepada segmen fungsional organisasi

data matData Mart

(Sumber :http://docs.oracle.com/cd/B19306_01/server.102/b14220/img/cncpt172.gif)

  • OLAP

OLAP (Online Analytical Proccessing) merupakan suatu proses yang digunakan untuk melakukan permintaan terhadap data dalam bentuk yang kompleks dan menganalisa data yang bervolume besar. OLAP merupakan teknologi yang memproses data di dalam database dalam struktur multidimensi, menyediakan jawaban yang cepat untuk query dan analisis yang kompleks. Data multidimensi adalah data yang dapat dimodelkan sebagai atribut dimensi dan atribut ukuran. Contoh atribut dimensi adalah nama barang dan warna barang, sedangkan contoh atribut ukuran adalah jumlah barang.

  • Data Mining

Secara sederhana data mining adalah suatu proses untuk menemukan interesting knowledge dari sejumlah data yang di simpan dalam basis data atau media penyimpanan data lainnya. Dengan melakukan data mining terhadap sekumpulan data, akan didapatkan suatu interesting pattern yang dapat disimpan sebagai knowledge baru.Pattern yang didapat akan digunakan untuk melakukan evaluasi terhadap data data tersebut untuk selanjutnya akan didapatkan informasi.

Tabel aplikasi area Data Mining

(Sumber :http://www.unisbank.ac.id/ojs/index.php/fti1/article/viewFile/65/60,page 5)

data miningTabel diatas menjelaskan area dari aplikasi data mining, ada tiga hal yang di prioritaskan, diantaranya; Manajemen Pemasasaran,  Manajemen Resiko dan Manajemen Proses. ketiga hal ini sangat penting utnuk mengetahui bagimanakah laju pemasaran, berapakh target pemasaran dan tentunya ada analisis-analisis resiko yang didapatkan dalam proses pemasaran.

  • Open Data

Open data merupakan suatu konsep yang menerapkan data dapat diakases secara bebas oleh pengguna, data tersebut siapa saja dapat mengaksesn nya, untuk pengguna yang mengaksesnya tentunya memiliki Previllages (hak akases pengguna). Open data ini bisa sebuah informasi ataupun data-data yang belum diolah.

Arsitektur Data Warehouse (DW)

  • Data Warehouse Central

Data Warehouse Central merupakan suatu data yang terpusat. Semua data data berada dalam satu database besar. Kelebihan dari Data Warehouse centaral adalah kemudahan dalam mengolahnya, namun kekurangannya adalah memungkinkan terjadinya redundancy Data, karena terpengaruh pada beban kerjanya.

central

Gambar Arsitektur Data Warehouse Central

(Sumber:lia.univ-avignon.fr/fileadmin/documents/Users/…/ed/Architecture02.pdf,page 14)

  • Data Warehouse Federated

Data Warehouse Federated merupakan data yang terkonsolidasi secara logical, namun data disimpan pada tempat yang berbeda. Sebelum data di simpulkan menjasi satu kesatuan, data tersebut dapat diperloeh dari masing-masing database yang berbeda, misalnya toko X. untuk mengetahui tock barang maka dilihat pada database gudang, untuk melihat riwayat pegawai dilihat pada database member. Kelebihan yang ada pada Federated Datawarehouse Architecture ini yaitu pada gudang data yang lebih terstruktur. Sedangkan kelemahannya yaitu pada kerumitan sistem.

federated

Gambar Arsitektur Data Warehouse Federated

(Sumber:lia.univ-avignon.fr/fileadmin/documents/Users/…/ed/Architecture02.pdf, page 14)

  • Data Warehouse Tiered

Pada Tiered Datawarehouse Architecture, data tersebar pada satu gudang data atau gudang data yang bertingkat. Data hanya akan dikumpulkan atau dikurangi bergiliran melalui tingkatan-tingkatan tersebut. Kelebihan Tiered Datawarehouse Architecture adalah dalam hal redundansi yang minim dan penyaluran data yang mudah. Sedangkan kekurangannya terletak pada kerumitan sistem dan sulitnya dalam mengelola sistem dengan arsitektur seperti ini.

tiered

Gambar Arsitektur Data Warehouse Tiered
(Sumber: http://cs.ulb.ac.be/public/_media/teaching/infoh415/dwnotes.pdf, page 16)

Daftar Pustaka

[1] Heri. 2008. (Data Mining Untuk Dunia Bisnis). from (www.unisbank.ac.id/ojs/index.php/fti1/article/viewFile/65/60)

[2] Arrie. 2013. (Terminologi Data Warehouse, Data Mart, Data Mining, OLAP, MOLAP, HOLAP, ROLAP Business Intelligence dan contoh perusahaan yang mengimplementasikannya). from (https://arrie0905.wordpress.com/2013/01/26/terminologi-data-warehouse-data-mart-data-mining-olap-molap-holap-rolap-business-intelligence-dan-contoh-perusahaan-yang-mengimplementasikannya/)

[3] Jensen, Christian S., Torben Bach Pedersen, Christian Thomsen. 2002.Introduction to Data Warehousing and Business Intelligence. http://cs.ulb.ac.be/public/_media/teaching/infoh415/dwnotes.pdf.

[4] 2013. (Pengertian Data Warehouse). from (https://opistation.wordpress.com/2013/10/15/pengertian-data-warehouse/)

[5] Ratih, Anggraeny. 2013. (Business Intelligence). from (http://bisnisonlineratih.blogspot.co.id/2013/10/business-intelligence.html)

OLTP dan OLAP pada Data Warehouse

Nama/NIM : I Wayan Cita Ekayana/1304505085
Jurusan/Fakultas/Perguruan Tinggi : Teknologi Informasi/Teknik/Universitas Udayana
Mata Kuliah : Data Warehouse
Dosen : I Putu Agus Eka Pratama, S.T., M.T.

Sebelum membahas lebih jauh mengenai OLAP (Online Analytical Processing) dan OLTP (Online Transaction Processing), perlu diketahui apa itu Data Warehouse.

Data warehouse merupakan basis data yang saling berhubungan dan dapat diambil suatu informasi yang dapat di olah, serta bersifat orientasi subjek, terintegrasi, timevariant, tidak berubah yang juga dapat digunakan untuk membantu pengambil keputusan. Data warewhouse sangat mengacu pada suatu organisasi ataupun perusahaan besar atau lebih spesifik dari yang lainnya, dan berperan sebagai gudang data yang sewaktu-waktu dapat diambil.

Data yang berada dalam Data Warehouse tersimpan dalam satu kesatuan, antara data yang satu dengan data yang lainnya saling terhubung yang tidak bisa dipecah-pecah, karena data yang ada merupakan suatu kesatuan dari seluruh Data Warehouse yang ada.

Data Warehouse terbagi kedalam 2 sistem yaitu OLTP (menangani transaksi) dan OLAP (bagian analisis data). Secara umum dapat dijelaskan bahwa sistem OLTP menyediakan sumber data untuk Data Warehouse, kemudian sistem OLAP akan melakukan analisis terhadap data tersebut.

OLTP

OLTP (Online Transactional Processing) merupakan sekumpulan fungsi yang bekerja secara bersama-sama dalam mengelola, mengumpulkan, menyimpan, memproses serta mendistribusikan informasi. OLTP (On-line Transaction Processing) memiliki karakteristik dengan jumlah data yang besar namun transaksi yang dilakukan cukup sederhana seperti insert,update, dan delete. Hal utama yang menjadi perhatian dari sistem yang dilakukan OLTP adalah melakukan query secara cepat, data mudah untuk diperbaiki dan dapat diakses melalui komputer yang terhubung dalam jaringan. OLTP berorientasi pada proses yang memproses suatu transaksi secara langsung melalui komputer yang terhubung dalam jaringan. Seperti misalanya kasir pada sebuah super market yang menggunakan mesin dalam proses transaksinya. OLTP mempunyai karakteristik beberapa user dapat creating, updating, retrieving untuk setiap record data.

OLAP

OLAP (Online Analytical Proccessing) merupakan suatu proses yang digunakan untuk melakukan permintaan terhadap data dalam bentuk yang kompleks dan menganalisa data yang bervolume besar. OLAP merupakan teknologi yang memproses data di dalam database dalam struktur multidimensi, menyediakan jawaban yang cepat untuk query dan analisis yang kompleks. Data multidimensi adalah data yang dapat dimodelkan sebagai atribut dimensi dan atribut ukuran. Contoh atribut dimensi adalah nama barang dan warna barang, sedangkan contoh atribut ukuran adalah jumlah barang.

Dengan adanya analisis dari OLAP, maka pengguna akan dengan mudah dapat menyimpulkan data secara terstruktur. Misalnya di sebuah toko X menjual berbagai macam barang, dengan adanya OLAP maka pemilik toko dapat mengetahui barang mana yang paling banyak diminati pelanggan dan barang mana yang tidak laku/tidak terjual. Dengan adanya analisa seperti itu, pemilik toko akan dengan mudah mengeluarkan barang mana yang cepat terjual untuk di produksi lebih banyak lagi.

olap dan oltp

(Sumber :http://4.bp.blogspot.com/OLTP+vs+OLAP.jpg)

OLTP dan OLAP

Berdasarakan gambar diatas, terlihat bahwa OLTP sangat berperan penting dalam memegang transaksi data sedangkan OLAP berperan dalam pemberian informasi data. data-data tersebut diambil dari transaksi-transaksi sebelumnya hingga saat ini.

olap vs oltp

Perbedaaan antara OLTP dan OLAP

Dari tabel diatas terlihat banyak perbedaan antara OLAP dan OLTP. Dilihat dari karakteristik Update, OLAP bekerja secara periodik dan regular sedangkan OLTP bekerja tidak secara regular. Selanjutnya untuk karakteristik Fungsi, OLAP berfungsi sebagai Analisis (menganalisis data) sedangkan OLTP berfungsi sebagai Operasional. Untuk ukuran data, OLAP lebih tinggi dalam penyimpanan data yaitu Gigabyte hingga Terabyte sedangkan OLTP hanya mampu menyimpan data Mebabyte hingga Gigabyte. Sudah terlihat jelas perbedaan dari OLTP dan OLAP, namun kedua nya ini sangat berperan besar untuk menunjang data warehouse di bidang perusahaan maupun suatu organisasi yang berskala besar

Daftar Pustaka

[1] 2013. (Pengertian Data Warehouse). from (https://opistation.wordpress.com/2013/10/15/pengertian-data-warehouse/). Diakses tanggal 9 September 2015.

[2]. Rully. 2009. (Data Mining dan Data Warehouse ). from (https://rully6092.wordpress.com/data-mining-data-warehouse/) diakses pada 9 September 2015.

[3] Anonim. 2013. (Online Analytical Processing). from (https://id.wikipedia.org/wiki/Online_analytical_processing/) Diakses tanggal 9 September 2015.

[4] Anonim. 2009. (OLTP vs OLAP). from (http://datawarehouse4u.info/OLTP-vs-OLAP.html). Diakses tanggal 9 September 2015.

[5] Anonim. 2013. (Apa Itu OLTP ETL OLAP dan Data Warehouse). from (http://www.kompasiana.com/dhephe/apa-itu-oltp-etl-olap-dan-datawarehouse_552e1db26ea834f73d8b45b7). Diakses tanggal 9 September 2015.