O que é DLI?

  • Fácil de usar

    DLI permite que você explore facilmente terabytes de dados em seu data lake em segundos com SQLs padrão, sem carga de O&M.

    DLI permite que você explore facilmente terabytes de dados em seu data lake em segundos com SQLs padrão, sem carga de O&M.

  • Análise completa

    Compatível com Apache Spark, Flink e openLooKeng, processamento de streaming e em lote e análise interativa.

    Compatível com Apache Spark, Flink e openLooKeng, processamento de streaming e em lote e análise interativa.

  • Recursos escaláveis

    Acesso compartilhado sob demanda a recursos em pool e dimensionamento flexível baseado em prioridades predefinidas.

    Acesso compartilhado sob demanda a recursos em pool e dimensionamento flexível baseado em prioridades predefinidas.

  • Conexão entre fontes

    Acesso a dados entre as fontes para análise colaborativa com conexões de fontes de dados DLI de forma fácil, sem necessidade de migração de dados.

    Acesso a dados entre as fontes para análise colaborativa com conexões de fontes de dados DLI de forma fácil, sem necessidade de migração de dados.

Funções

  • Compatibilidade integral com SQL

    Faça análises de Big Data apenas com declarações SQL. Inteiramente compatível com a sintaxe ANSI SQL 2003.

    Faça análises de Big Data apenas com declarações SQL. Inteiramente compatível com a sintaxe ANSI SQL 2003.

  • Spark/Flink/openLooKeng serverless

    Migre sem descontinuidades suas aplicações offline para a nuvem com uma tecnologia serverless. DLI é inteiramente compatível com APIs e com os ecossistemas Apache Spark, Apache Flink e Presto.

    Migre sem descontinuidades suas aplicações offline para a nuvem com uma tecnologia serverless. DLI é inteiramente compatível com APIs e com os ecossistemas Apache Spark, Apache Flink e Presto.

  • Análise entre fontes

    Faça a análise de seus dados entre bancos de dados sem a necessidade de qualquer migração. Com uma visão unificada, você obtém um entendimento amplo dos seus dados, possibilitando acelerar inovações. Todos esses benefícios podem ser aproveitados independentemente do banco de dados ter sido criado online ou offline, do formato dos dados ou da fonte de dados na nuvem.

    Faça a análise de seus dados entre bancos de dados sem a necessidade de qualquer migração. Com uma visão unificada, você obtém um entendimento amplo dos seus dados, possibilitando acelerar inovações. Todos esses benefícios podem ser aproveitados independentemente do banco de dados ter sido criado online ou offline, do formato dos dados ou da fonte de dados na nuvem.

  • Múltiplos locatários empresariais

    Gerencie permissões relacionadas à computação ou a recursos de acordo com o projeto ou o usuário. Com um controle refinado, torna-se mais fácil manter a independência dos dados para tarefas separadas.

    Gerencie permissões relacionadas à computação ou a recursos de acordo com o projeto ou o usuário. Com um controle refinado, torna-se mais fácil manter a independência dos dados para tarefas separadas.

Cenários de aplicação

Análises

Análise de banco de dados

Os dados de aplicações armazenados em bancos de dados relacionais precisam de análise para agregar mais valor. Por exemplo, o Big Data dos detalhes do registro auxilia na tomada de decisões comerciais.

Pontos críticos

- Consultas complexas não são disponibilizadas para grandes bancos de dados relacionais.

- Análises abrangentes não são possíveis, porque as partições dos bancos de dados e das tabelas ficam espalhadas em diferentes bancos de dados relacionais. Análises de dados empresariais podem sobrecarregar os recursos disponíveis.

Vantagens

  • Experiência similar ao uso de SQL

    Comece a usar novos serviços de forma imediata. DLI é compatível com a sintaxe de bancos de dados relacionais do padrão ANSI SQL 2003, quase eliminando a curva de aprendizado necessário.

  • Desempenho versátil e robusto

    Os modelos de computação distribuídos em memória lidam sem esforço com consultas complicadas, análises entre partições e processamento de Business Intelligence.

Serviços relacionados
E-commerce

Marketing de precisão

A análise associativa combina informações de diversos canais para melhorar as taxas de conversão.

Vantagens

  • Análise entre fontes

    Dados de CTR de anúncios armazenados no OBS e dados de registros de usuários mantidos no RDS podem ser consultados e armazenados diretamente sem migrá-los para o DLI.

  • Apenas SQL é necessário

    As fontes de dados interconectadas mapeiam com uma tabela criada usando apenas instruções SQL.

Serviços relacionados
Jogos

Análise de logs

Uma empresa de jogos precisa de uma plataforma de análise de dados qualificada para melhorar o posicionamento dos anúncios, a retenção de novos jogadores, as operações e os feedbacks para iterações de jogos futuras.

Pontos críticos

A análise de logs é geralmente realizada por período. Durante os períodos ociosos entre cada tarefa, os recursos são desperdiçados.

Vantagens

  • Pagamento por uso e dimensionamento automático

    Dispense recursos ociosos com políticas de dimensionamento flexíveis e economize 50% dos custos de clusters exclusivos.

  • Análise convergente

    Apenas uma única cópia de metadados atua para limpeza em tempo real e processamento de ETL offline. O resultado do processamento de dados pode ser usado diretamente em análises interativas para a mineração de dados.

Serviços relacionados
Grandes empresas

Controle de permissões

Quando vários departamentos precisam gerenciar recursos de forma independente, o gerenciamento de permissões refinado melhora a segurança dos dados e a eficiência das operações.

Vantagens

  • Atribuição de permissões simplificado

    Conceda permissões por coluna ou por operações específicas, como INSERT INTO/OVERWRITE, e defina os metadados como somente leitura.

  • Gerenciamento unificado

    Uma única conta de IAM gerencia permissões para todos os usuários da equipe.

Genética

Integração de bibliotecas

A análise do genoma depende de bibliotecas de análise de terceiros, fundamentadas na estrutura distribuída Spark.

Pontos críticos

-Habilidades técnicas avançadas são necessárias para instalar bibliotecas de análise como ADAM e Hail.

- Sempre que um cluster é criado, é preciso instalar essas bibliotecas de análise novamente.

Vantagens

  • Imagens personalizadas

    Ao invés de instalar bibliotecas em um processo tecnicamente exigente, empacote-as em imagens personalizadas carregadas diretamente no Software Repository for Container (SWR). Ao usar o DLI para criar um cluster, as imagens personalizadas no SWR são obtidas automaticamente para que você não precise reinstalar essas bibliotecas.

  • Imagens de base embutidas

    As imagens Spark e Flink otimizadas pela Huawei em diversas versões e imagens de IA de código aberto (TensorFlow/Keras/PyTorch) estão disponíveis para a sua conveniência.

Serviços relacionados
Finanças

Controle de risco em tempo real

Quase todos os aspectos dos serviços financeiros exigem gerenciamento e mitigação abrangentes de riscos.

Pontos críticos

Há pouquíssima tolerância a latências excessivas quando se trata de controle de riscos.

Vantagens

  • Alta taxa de transferência

    Realize a análise de dados em tempo real no DLI com a ajuda de um modelo de fluxo de dados do Apache Flink, que mantém baixa latência. Uma única CPU é capaz de processar de 1.000 a 20.000 mensagens por segundo.

  • Cobertura do ecossistema

    Salve fluxos de dados em tempo real em diferentes serviços em nuvem, como CloudTable e SMN, para abrangência de aplicações.

Serviços relacionados
Governo

Visualização em tempo real

Com a epidemia de COVID-19 em todo o mundo, os governos precisam ser capazes de monitorar dados importantes de forma imediata.

Pontos críticos

Funcionários do governo não necessariamente têm experiência com Big Data. Geralmente, eles estão muito mais familiarizados com SQL.

Vantagens

  • Respostas em milissegundos

    Graças ao seu poderoso framework computacional em memória, o mecanismo embutido openLooKeng otimiza o desempenho da consulta para obter análises interativas instantâneas.

  • Compatibilidade convencional

    As consultas DLI usam a sintaxe SQL, para que a equipe não precise ter muita experiência com Big Data. Essa conhecida sintaxe é inteiramente compatível com o padrão ANSI SQL 2003.

Serviços relacionados
Geografia

Análise de Big Data

Grandes volumes de dados incluem petabytes de imagens de satélite e muitos outros tipos como dados raster estruturados de sensoriamento remoto, dados vetoriais e dados de localização espacial não estruturados. A análise e a mineração de todos esses dados necessitam de ferramentas eficientes.

Vantagens

  • Análises de dados espaciais

    Os operadores de algoritmo do Spark no DLI permitem o processamento de fluxo em tempo real e o processamento offline em lote. Eles oferecem suporte para grandes volumes de tipos de dados, incluindo dados estruturados de imagens de sensoriamento remoto, modelagem 3D não estruturada e dados de nuvem de pontos em laser.

  • Processamento de eventos complexos (CEP) com SQL

    Você só precisa de declarações de SQL para detectar eixos verticais e utilizar geofencing.

  • Processamento intensivo de dados

    Rapidamente migre até exabytes de imagens de sensoriamento remoto para a nuvem e fatie as imagens em fontes de dados com o objetivo de realizar o processamento distribuído em lote.

Serviços relacionados

DLI versus Hadoops próprios

DLI

Sistema Hadoop próprio

Custo

A cobrança é feita com base no volume real de dados digitalizados ou por unidade de computação por hora (CUH) usada, reduzindo os custos.

Cobrado pela ocupação dos recursos.

A ocupação em longo prazo é cara e gera desperdícios.

Escalabilidade elástica

Inteligente com Kubernetes baseado em container.

N/A

O&M e disponibilidade

Arquitetura serverless pronta para uso e DR entre AZs.

Capacidades técnicas sólidas são necessárias para realizar configurações e O&M.

Custo de aprendizado

Os parâmetros de otimização são padronizados com base em milhares de projetos nos 10 anos de experiência. Além disso, DLI fornece uma interface gráfica para uma otimização inteligente.

É necessário aprender sobre centenas de parâmetros de ajuste.

Compatibilidade de fontes de dados

Nuvem: OBS/RDS/DWS/CSS/MongoDB/Redis;

Localmente: bancos de dados/MongoDB/Redis desenvolvidos por conta própria

Nuvem: OBS;

Localmente: HDFS.

Compatibilidade de ecossistemas

Data Lake Visualization (DLV), Tableau, Yonghong BI e Fanruan BI

Ferramenta de ecossistema de Big Data

Customização de imagem

Compatível. Dependências podem ser adicionadas conforme necessidade para atender aos

requisitos de diversidade de serviços.

N/A

Agendamento de fluxo de trabalho

Agendamento pelo Data Lake Factory (DLF) no DataArts Studio.

Ferramentas de agendamento desenvolvidas por conta própria, como o Airflow.

Permissões de locatários empresariais

Baseadas em tabelas com granularidade ao nível de coluna.

Baseadas em arquivo

Desempenho

Elevado, graças ao software e hardware otimizados.

Igual ao de versões de código aberto do Hadoop.

Custo

DLI

A cobrança é feita com base no volume real de dados digitalizados ou por unidade de computação por hora (CUH) usada, reduzindo os custos.

Sistema Hadoop próprio

Cobrado pela ocupação dos recursos.

A ocupação em longo prazo é cara e gera desperdícios.

Escalabilidade elástica

DLI

Inteligente com Kubernetes baseado em container.

Sistema Hadoop próprio

N/A

O&M e disponibilidade

DLI

Arquitetura serverless pronta para uso e DR entre AZs.

Sistema Hadoop próprio

Capacidades técnicas sólidas são necessárias para realizar configurações e O&M.

Custo de aprendizado

DLI

Os parâmetros de otimização são padronizados com base em milhares de projetos nos 10 anos de experiência. Além disso, DLI fornece uma interface gráfica para uma otimização inteligente.

Sistema Hadoop próprio

É necessário aprender sobre centenas de parâmetros de ajuste.

Compatibilidade de fontes de dados

DLI

Nuvem: OBS/RDS/DWS/CSS/MongoDB/Redis;

Localmente: bancos de dados/MongoDB/Redis desenvolvidos por conta própria

Sistema Hadoop próprio

Nuvem: OBS;

Localmente: HDFS.

Compatibilidade de ecossistemas

DLI

Data Lake Visualization (DLV), Tableau, Yonghong BI e Fanruan BI

Sistema Hadoop próprio

Ferramenta de ecossistema de Big Data

Customização de imagem

DLI

Compatível. Dependências podem ser adicionadas conforme necessidade para atender aos

requisitos de diversidade de serviços.

Sistema Hadoop próprio

N/A

Agendamento de fluxo de trabalho

DLI

Agendamento pelo Data Lake Factory (DLF) no DataArts Studio.

Sistema Hadoop próprio

Ferramentas de agendamento desenvolvidas por conta própria, como o Airflow.

Permissões de locatários empresariais

DLI

Baseadas em tabelas com granularidade ao nível de coluna.

Sistema Hadoop próprio

Baseadas em arquivo

Desempenho

DLI

Elevado, graças ao software e hardware otimizados.

Sistema Hadoop próprio

Igual ao de versões de código aberto do Hadoop.

Histórias de sucesso

Mengxiang.com

A Mengxiang usa o DLI e o DataArts Studio da Huawei Cloud para analisar dados comportamentais em tempo real para encontrar produtos adequados para clientes.

Essa empresa em ascensão enfrentou desafios com a estabilidade do serviço durante picos de tráfego e promoções. A solução de DLI+DataArts Studio fornece à Mengxiang uma arquitetura elástica e um data lake de alto desempenho para processamento integrado de lotes e fluxos.

DIANCHU Technology

A DIANCHU usou o DLI e o data lake inteligente DataArts Studio da Huawei Cloud para estabelecer uma plataforma de análise de dados para jogos. A plataforma analisa a receita, a taxa de retenção de jogadores e a taxa de pagamento em tempo real para planejamento de atividades, marketing preciso e tomada de decisões.

Dragonest

A Chengdu Dragonest Network trabalha com a Huawei Cloud para consultar e analisar dados de jogos. A análise é útil para diferentes departamentos que lançam novos serviços. As aplicações de dados são integradas, beneficiando toda a organização.

Inscreva-se e comece uma incrível jornada na nuvem

Experimentar gratuitamente