Create DataBrick Linked Services in Azure Data Factory

By -
Pada posting kali ini akan kita bahas cara membuat Linked Service untuk Azure Databrick di dalam Azure Data Factory.

Latar Belakang


Sebenarnya Azure Databrick telah menyediakan fitur jobs agar dapat menjalankan notebook sesuai jadwal yang ditentukan.

Tetapi mengapa kita menggunakan ADF adalah kita dapat membuat pipeline secara visual sehingga lebih mudah untuk monitoring.

Tahapan Pembuatan Linked Service


Sebelum kita dapat memanggil Azure Databrick Notebook dari ADF maka kita perlu membuat linked service-nya terlebih dahulu.
Dibawah ini adalah gambar langkah-langkah pembuatan Linked Service tersebut di ADF.

Databrick Token


Untuk mengakses Databrick kita memerlukan token yang bisa diakses melalui menu User

Create DataBrick Linked Services in Azure Data Factory


Create DataBrick Linked Services in Azure Data Factory


Create DataBrick Linked Services in Azure Data Factory


Create DataBrick Linked Services in Azure Data Factory


Create DataBrick Linked Services in Azure Data Factory


Cluster ID


Untuk mengakses Databrick kita memerlukan token yang bisa diakses melalui menu User

Create DataBrick Linked Services in Azure Data Factory


Create DataBrick Linked Services in Azure Data Factory


Create Linked Service Databrick


Setelah token yang kita buat diatas selesai kemudian kita masukkan token ID dan cluster ID ke dalam menu Linked Service di ADF jangan lupa untuk memilih tab compute

Create DataBrick Linked Services in Azure Data Factory


Create DataBrick Linked Services in Azure Data Factory


Create DataBrick Linked Services in Azure Data Factory

Semoga posting tentang "Create DataBrick Linked Services in Azure Data Factory" diatas dapat bermanfaat.

Link menarik lainnya :

Run a Databricks notebook with the Databricks Notebook Activity in Azure Data Factory
Compute environments supported by Azure Data Factory



Salam,

Popular posts from this blog

K2 Error Value Cannot Be Null. Parameter Name: s In SmartView and SmartObject

By -
Jika kamu pernah menemukan error " K2 Designer Error Value Cannot Be Null.  Parameter Name: s " pada saat melakukan execute SmartObject atau pada saat membuka SmartObject maupun SmartView . Biasanya error tersebut terjadi setelah kita melakukan Deploy menggunakan pilihan create new SmartObject tetapi kita lupa untuk menambahkan Stored Procedure pada database dan SmartObject terlanjur terbuat tetapi tidak merefer ke Stored Procedure manapun. Setelah kita tambahkan Stored Procedure  dan melakukan Deploy ulang tetapi rror diatas masih terjadi, maka refresh Database instance melalui K2SmartObject tester agar Stored Procedure  yang baru kita tambahkan dikenal oleh K2. Semoga posting tentang " K2 Error Value Cannot Be Null.  Parameter Name: s " diatas dapat bermanfaat. Salam,
Read more

Cara inject USB 3.0 Driver pada instalasi Windows - How to Inject USB 3.0 Driver in Windows 7

By -
Image
Beberapa laptop belakangan ini sudah menggunakan USB 3.0 daripada USB 2.0. Namun kebanyakan versi windows yang ada adalah menggunakan driver USB 2.0 sehingga saat instalasi akan diminta driver USB 3.0 sebelum melakukan partisi hardisk. Tanpa itu, tidak bisa melanjutkan instalasi. Berikut adalah cara untuk inject driver USB 3.0 ke file installer Windows yang sudah kalian punya. Sebelum melakukan injeksi, terlebih dahulu download driver USB 3.0 sesuai dengan merk dan tipe laptop yang ada. Jika ragu dengan merk laptop, bisa download driver USB 3.0 sebanyak mungkin. Create folder pada tempat yang mudah di akses, hal ini dilakukan untuk mempercepat proses dan mempunyai copy file jika gagal (misalnya C:\ubs3) Create folder mount di dalam folder yang sudah dibuat tadi Extract driver ke folder di dalamnya (misal C:\usb3\driver) Selanjutnya, kita perlu file yang digunakan untuk menginject driver ke dalamnya. Masuk ke Flashdisk dan copy file boot.wim dan install.wim ke folder y
Read more

Pentaho Spoon Error : "Could Not Create The Java Virtual Machine"

By -
Image
Apakah Anda salah satu pengguna Pentaho? Jika Anda menginginkan software gratis untuk melakukan integrasi data maka Pentaho adalah salah satu pilihan yang dapat dijadikan acuan. Selain itu Pentaho juga tersedia dalam sistem operasi Windows maupun Linux. Untuk menjalankan Pentaho kita tidak perlu melakukan instalasi melainkan cukup dengan menjalankan file spoon.bat . Namun seringkali terjadi error  saat menjalankan Pentaho, yang umum terjadi adalah belum adanya instalasi Java di komputer. Java diperlukan karena Pentaho memerlukan JRE milik Java agar aplikasi Pentaho dapat berjalan. Jika JAVA telah diinstal tetapi masih muncul pesan error " Could Not Create The Java Virtual Machine " maka edit file spoon.bat dan cari bagian Pentaho Java Options. Seperti terlihat pada settingan di bawah ini. if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xmx8192m" "-XX:MaxPermSize=2048m" Ubahlah baris script diatas menjad
Read more