Data Lake Insight
Hubungi Bagian Penjualan

Data Lake Insight (DLI)

Data Lake Insight (DLI)

Data Lake Insight (DLI) adalah layanan analisis dan pemrosesan data tanpa server yang kompatibel sepenuhnya dengan ekosistem Apache Spark, Flink, dan openLooKeng (berbasis Presto). Kini, penanganan data streaming dan batch serta analisis interaktif di data lake dan gudang data dapat dilakukan dengan sangat mudah berkat kemampuan BI dan AI.

Data Lake Insight (DLI) adalah layanan analisis dan pemrosesan data tanpa server yang kompatibel sepenuhnya dengan ekosistem Apache Spark, Flink, dan openLooKeng (berbasis Presto).

Apa Itu DLI

  • Kepraktisan

    DLI memungkinkan Anda mengeksplorasi data dalam skala terabyte yang berada di data lake menggunakan Structured Query Language (SQL) dalam hitungan detik, tanpa beban O&M apa pun.

    DLI memungkinkan Anda mengeksplorasi data dalam skala terabyte yang berada di data lake menggunakan Structured Query Language (SQL) dalam hitungan detik, tanpa beban O&M apa pun.

  • Terbuka, bertenaga

    Kompatibel dengan Apache Spark, Flink, dan openLooKeng; pemrosesan stream & batch; analisis interaktif.

    Kompatibel dengan Apache Spark, Flink, dan openLooKeng; pemrosesan stream & batch; analisis interaktif.

  • Skalabel

    Akses bersama dan sesuai permintaan ke kumpulan sumber daya, penskalaan yang fleksibel berdasarkan prioritas yang ditetapkan sebelumnya.

    Akses bersama dan sesuai permintaan ke kumpulan sumber daya, penskalaan yang fleksibel berdasarkan prioritas yang ditetapkan sebelumnya.

  • Multi-sumber

    Akses data lintas sumber yang mudah untuk analisis kolaboratif dengan koneksi DLI datasource, tanpa perlu migrasi data.

    Akses data lintas sumber yang mudah untuk analisis kolaboratif dengan koneksi DLI datasource, tanpa perlu migrasi data.

Fungsi

  • Kompatibilitas Penuh dengan SQL

    Jalankan analisis big data cukup dengan pernyataan SQL. Sintaks SQL kompatibel sepenuhnya.

    Jalankan analisis big data cukup dengan pernyataan SQL. Sintaks SQL kompatibel sepenuhnya.

  • Spark/Flink/openLooKeng Tanpa Server

    Migrasikan aplikasi offline Anda secara lancar ke cloud dengan teknologi tanpa server. DLI kompatibel sepenuhnya dengan ekosistem Apache Spark, Apache Flink, dan Presto serta application programming interface (API).

    Migrasikan aplikasi offline Anda secara lancar ke cloud dengan teknologi tanpa server. DLI kompatibel sepenuhnya dengan ekosistem Apache Spark, Apache Flink, dan Presto serta application programming interface (API).

  • Analisis Lintas Sumber

    Analisis data Anda lintas database. Tidak perlu migrasi. Tampilan data yang terpadu memberikan pemahaman komprehensif atas data Anda dan membantu Anda berinovasi lebih cepat. Tidak ada batasan dalam hal format data, sumber data cloud, atau apakah database dibuat secara online atau offline.

    Analisis data Anda lintas database. Tidak perlu migrasi. Tampilan data yang terpadu memberikan pemahaman komprehensif atas data Anda dan membantu Anda berinovasi lebih cepat. Tidak ada batasan dalam hal format data, sumber data cloud, atau apakah database dibuat secara online atau offline.

  • Multi-Tenant Enterprise

    Kelola izin terkait sumber daya atau komputasi berdasarkan proyek atau berdasarkan pengguna. Nikmati kontrol terperinci yang memudahkan Anda menjaga independensi data untuk tugas-tugas terpisah.

    Kelola izin terkait sumber daya atau komputasi berdasarkan proyek atau berdasarkan pengguna. Nikmati kontrol terperinci yang memudahkan Anda menjaga independensi data untuk tugas-tugas terpisah.

Mana yang Cocok untuk Anda?
Sumber Daya Ringkas
  • 64 unit komputasi
  • Antrean SQL
  • Analisis data kurang dari 1 TB di data lake/gudang data; analisis AI; biaya yang dapat diprediksi; penskalaan sumber daya yang elastis tanpa O&M
Aplikasi enterprise Pengujian komersial terbatas

Mulai dari $0,91 USD

/jam
Sumber Daya Diperluas
  • 256 unit komputasi
  • Antrean SQL
  • Analisis data kurang dari 10 TB di data lake/gudang data yang melibatkan banyak shuffle dan tugas JOIN
Komputasi performa tinggi Data lake cloud-native

Mulai dari $14,59 USD

/jam

Skenario Aplikasi

Analisis Database

Data aplikasi yang disimpan di database relasional perlu dianalisis agar lebih bermanfaat. Misalnya, big data dari detail registrasi membantu dalam pembuatan keputusan komersial.

Kendala

- Kueri yang rumit tidak didukung untuk database relasional yang lebih besar.

- Analisis komprehensif tidak mungkin dilakukan karena partisi tabel dan database tersebar di banyak database relasional. Analisis data bisnis dapat terlalu membebani sumber daya yang tersedia.

Keunggulan

  • Transferabilitas pengalaman SQL

    Jalankan layanan baru dengan cepat. DLI mendukung sintaks database relasional ANSI SQL 2003 standar, jadi tidak banyak yang perlu dipelajari.

  • Performa yang serbaguna dan tangguh

    Model komputasi dalam-memori yang terdistribusi menangani kueri rumit, analisis lintas partisi, dan pemrosesan kecerdasan bisnis dengan mudah.

Layanan Terkait
CDM

Pemasaran Presisi

Analisis asosiatif menggabungkan informasi dari berbagai saluran untuk menaikkan tingkat konversi.

Keunggulan

  • Analisis lintas sumber

    Data rasio klik-tayang (CTR) iklan yang disimpan di Object Storage Service (OBS) dan data registrasi pengguna di Relational Database Service (RDS) dapat dikueri secara langsung tanpa perlu migrasi ke DLI.

  • Hanya perlu SQL

    Beberapa sumber data yang saling terhubung dipetakan bersama melalui sebuah tabel yang dibuat hanya dengan menggunakan pernyataan SQL.

Layanan Terkait
OBS

Analisis Log

Perusahaan game memerlukan platform analisis data yang berkualitas untuk meningkatkan penempatan iklan, retensi pemain baru, operasi, dan umpan balik untuk iterasi game mendatang.

Kendala

Analisis log biasanya dijalankan berdasarkan periode. Selama periode menganggur antar-tugas, sumber daya menjadi terbuang.

Keunggulan

  • Bayar-per-penggunaan & Penskalaan otomatis

    Lepaskan sumber daya yang menganggur dengan kebijakan penskalaan yang fleksibel dan hemat separuh biaya kluster eksklusif.

  • Analisis gabungan

    Hanya satu salinan metadata yang bekerja untuk pembersihan real-time dan pemrosesan extract, transform, and load (ETL) offline. Hasil pemrosesan data dapat digunakan langsung dalam analisis interaktif untuk penggalian data.

Layanan Terkait
MySQL

Kontrol Izin

Saat beberapa departemen perlu mengelola sumber daya secara independen, pengelolaan izin yang terperinci meningkatkan keamanan data dan efisiensi operasi.

Keunggulan

  • Penetapan izin yang lebih mudah

    Berikan izin berdasarkan kolom atau operasi yang spesifik, misalnya INSERT INTO/OVERWRITE, dan tetapkan metadata ke baca-saja.

  • Pengelolaan terpadu

    Satu akun Identity and Access Management (IAM) menangani izin untuk semua pengguna staf.

Integrasi Pustaka

Analisis genom mengandalkan pustaka analisis pihak ketiga, yang dikembangkan dari kerangka kerja terdistribusi Spark.

Kendala

- Perlu keterampilan teknis yang tinggi untuk menginstal pustaka analisis seperti ADAM dan Hail.

- Setiap kali membuat kluster, Anda harus menginstal kembali pustaka analisis ini.

Keunggulan

  • Image kustom

    Alih-alih menginstal pustaka melalui proses yang sangat teknis, kemas pustaka ke dalam image kustom yang diunggah langsung ke Software Repository for Container (SWR). Saat menggunakan DLI untuk membuat kluster, image kustom di SWR akan otomatis diambil sehingga Anda tidak perlu menginstal ulang pustaka tersebut.

  • Image dasar bawaan

    Image Spark dan Flink yang disempurnakan Huawei (banyak versi) dan image AI open source (TensorFlow/Keras/PyTorch) tersedia untuk memudahkan Anda.

Layanan Terkait
SWR

Kontrol Risiko Real-Time

Hampir setiap aspek layanan keuangan memerlukan pengelolaan dan mitigasi risiko yang komprehensif.

Kendala

Untuk kontrol risiko, toleransi terhadap latensi yang berlebih sangatlah kecil.

Keunggulan

  • Throughput tinggi

    Analisis data real-time di DLI dengan bantuan model dataflow Apache Flink menjaga latensi tetap rendah. Satu CPU memproses 1.000 hingga 20.000 pesan per detik.

  • Cakupan ekosistem

    Simpan stream data real-time ke beberapa layanan cloud seperti CloudTable dan SMN agar pemanfaatannya komprehensif.

Layanan Terkait
SMN
DIS

Tampilan Real-Time

Saat COVID-19 menyebar ke seluruh dunia, pemerintah dituntut untuk mampu memantau data penting langsung begitu sesuatu terjadi.

Kendala

Tidak semua pegawai pemerintah memiliki latar belakang di bidang big data. SQL biasanya jauh lebih familier.

Keunggulan

  • Responsivitas dalam hitungan milidetik

    Berkat kerangka kerja komputasi dalam-memori yang bertenaga, mesin openLooKeng bawaan mengoptimalkan performa query untuk analisis interaktif di lokasi.

  • Kompatibilitas dengan sintaks populer

    Kueri DLI menggunakan sintaks SQL sehingga staf tidak perlu memiliki latar belakang di bidang big data. Sintaks yang familier ini kompatibel sepenuhnya dengan ANSI SQL 2003 standar.

Layanan Terkait
MySQL
DLV
CDM

Analisis Big Data

Data tersedia dalam volume yang sangat besar, termasuk citra satelit berskala petabyte, dan dalam banyak jenis – data terstruktur raster sensor jarak jauh, data vektor, dan data tidak terstruktur lokasi spasial. Analisis dan penambangan semua data ini memerlukan alat yang efisien.

Keunggulan

  • Analisis data spasial

    Operator algoritma Spark di DLI mendukung pemrosesan stream real-time dan pemrosesan batch offline. Operator ini mendukung banyak jenis data, termasuk data terstruktur citra sensor jarak jauh, data tidak terstruktur pemodelan 3D, dan data cloud titik laser.

  • Fungsionalitas CEP SQL

    Pernyataan SQL adalah satu-satunya hal yang diperlukan untuk deteksi yaw dan geo-fencing.

  • Pemrosesan data yang berat

    Migrasikan data citra sensor jarak jauh berskala exabyte ke cloud dengan cepat, lalu pecah menjadi sejumlah sumber data untuk pemrosesan batch terdistribusi.

Layanan Terkait
DIS
CDM
DES

DLI vs Hadoop Buatan Sendiri

DLI

Hadoop Buatan Sendiri

Biaya

Ditagih berdasarkan volume data sebenarnya yang dipindai atau digunakan unit komputasi per jam (CUH). Biayanya lebih hemat.

Ditagih berdasarkan sumber daya yang dipertahankan.

Penempatan dalam waktu lama akan mahal dan boros.

Skalabilitas yang elastis

Cerdas dengan Kubernetes berbasis kontainer

T/A

O&M dan ketersediaan

Arsitektur tanpa server dan siap pakai, serta pemulihan bencana lintas-availability zone (DR lintas-AZ)

Kemampuan teknis yang solid diperlukan untuk konfigurasi dan O&M

Biaya pembelajaran

Parameter optimalisasi dibakukan berdasarkan pengalaman selama 10 tahun dalam ribuan proyek. Selain itu, DLI menyediakan graphical user interface (GUI) untuk optimalisasi yang cerdas.

Ratusan parameter penyetelan perlu dipelajari.

Sumber data yang didukung

Cloud: OBS/RDS/DWS/CSS/MongoDB/Redis;

On-premises: database buatan sendiri/MongoDB/Redis

Cloud: OBS;

On-premises: HDFS

Kompatibilitas ekosistem

Data Lake Visualization (DLV), Tableau, Yonghong BI, dan Fanruan BI

Alat ekosistem big data

Image kustom

Didukung. Dependensi dapat ditambahkan sesuai keperluan untuk memenuhi persyaratan keragaman layanan.

T/A

Penjadwalan alur kerja

Penjadwalan melalui Data Lake Factory (DLF) di DataArts Studio

Alat penjadwalan buatan sendiri, seperti Airflow

Izin tenant enterprise

Berbasis tabel dengan perincian tingkat kolom

Berbasis file

Performa

Lebih tinggi berkat perangkat lunak dan perangkat keras yang dioptimalkan

Setara dengan versi open source Hadoop

Biaya

DLI

Ditagih berdasarkan volume data sebenarnya yang dipindai atau digunakan unit komputasi per jam (CUH). Biayanya lebih hemat.

Hadoop Buatan Sendiri

Ditagih berdasarkan sumber daya yang dipertahankan.

Penempatan dalam waktu lama akan mahal dan boros.

Skalabilitas yang elastis

DLI

Cerdas dengan Kubernetes berbasis kontainer

Hadoop Buatan Sendiri

T/A

O&M dan ketersediaan

DLI

Arsitektur tanpa server dan siap pakai, serta pemulihan bencana lintas-availability zone (DR lintas-AZ)

Hadoop Buatan Sendiri

Kemampuan teknis yang solid diperlukan untuk konfigurasi dan O&M

Biaya pembelajaran

DLI

Parameter optimalisasi dibakukan berdasarkan pengalaman selama 10 tahun dalam ribuan proyek. Selain itu, DLI menyediakan graphical user interface (GUI) untuk optimalisasi yang cerdas.

Hadoop Buatan Sendiri

Ratusan parameter penyetelan perlu dipelajari.

Sumber data yang didukung

DLI

Cloud: OBS/RDS/DWS/CSS/MongoDB/Redis;

On-premises: database buatan sendiri/MongoDB/Redis

Hadoop Buatan Sendiri

Cloud: OBS;

On-premises: HDFS

Kompatibilitas ekosistem

DLI

Data Lake Visualization (DLV), Tableau, Yonghong BI, dan Fanruan BI

Hadoop Buatan Sendiri

Alat ekosistem big data

Image kustom

DLI

Didukung. Dependensi dapat ditambahkan sesuai keperluan untuk memenuhi persyaratan keragaman layanan.

Hadoop Buatan Sendiri

T/A

Penjadwalan alur kerja

DLI

Penjadwalan melalui Data Lake Factory (DLF) di DataArts Studio

Hadoop Buatan Sendiri

Alat penjadwalan buatan sendiri, seperti Airflow

Izin tenant enterprise

DLI

Berbasis tabel dengan perincian tingkat kolom

Hadoop Buatan Sendiri

Berbasis file

Performa

DLI

Lebih tinggi berkat perangkat lunak dan perangkat keras yang dioptimalkan

Hadoop Buatan Sendiri

Setara dengan versi open source Hadoop

Fitur Baru

Januari 2020
Pekerjaan streaming Flink
Maret 2020
Akses Spark ke metadata DLI
April 2020
Otorisasi IAM yang terperinci
April 2020
Flink 1.10
Mei 2020
Paket pemindaian data
Mei 2020
Konfigurasi variabel global
Juni 2020
Antrean komputasi dual-AZ
Juni 2020
Mode developer pekerjaan Spark
Agustus 2020
Paket ditagih berdasarkan penyimpanan
Oktober 2020
Image kustom
Februari 2021
Versi data beragam
Februari 2021
Flink 1.11
September 2021
Sintaks SQL Flink OpenSource untuk ClickHouse dan tabel yang ditetapkan pengguna
Desember 2021
Penghentian API

Kisah Sukses

Mengxiang.com

Mengxiang menggunakan DLI dan DataArts Studio Huawei Cloud untuk menganalisis data perilaku real-time dan mencocokkan produk dengan pelanggan. Perusahaan yang tumbuh pesat ini kesulitan menjaga stabilitas layanan selama puncak traffic dan promosi. Dengan solusi DLI+DataArts Studio, Mengxiang mendapatkan arsitektur elastis dan data lake performa tinggi untuk pemrosesan batch dan stream terintegrasi.

DIANCHU Technology

DIANCHU menggunakan DLI dan DGC data lake cerdas Huawei Cloud untuk membangun platform analisis data game. Platform ini menganalisis pendapatan, tingkat retensi pemain, dan tingkat pembayaran secara real-time untuk perencanaan aktivitas, pemasaran presisi, dan pengambilan keputusan.

Dragonest

Chengdu Dragonest Network bermitra dengan Huawei Cloud untuk mengkueri dan menganalisis data game. Analisis ini berguna untuk berbagai departemen yang meluncurkan layanan baru. Pemanfaatan data terintegrasi sehingga berguna bagi seluruh organisasi.

Dokumentasi

Memulai

Menjadi Mahir

Developer

Daftar dan mulai perjalanan cloud Anda yang luar biasa

Coba Gratis