O que é DLI?
-
DLI permite que você explore facilmente terabytes de dados em seu data lake em segundos com SQLs padrão, sem carga de O&M.
DLI permite que você explore facilmente terabytes de dados em seu data lake em segundos com SQLs padrão, sem carga de O&M.
-
Compatível com Apache Spark, Flink e openLooKeng, processamento de streaming e em lote e análise interativa.
Compatível com Apache Spark, Flink e openLooKeng, processamento de streaming e em lote e análise interativa.
-
Acesso compartilhado sob demanda a recursos em pool e dimensionamento flexível baseado em prioridades predefinidas.
Acesso compartilhado sob demanda a recursos em pool e dimensionamento flexível baseado em prioridades predefinidas.
-
Acesso a dados entre as fontes para análise colaborativa com conexões de fontes de dados DLI de forma fácil, sem necessidade de migração de dados.
Acesso a dados entre as fontes para análise colaborativa com conexões de fontes de dados DLI de forma fácil, sem necessidade de migração de dados.
Funções
-
Faça análises de Big Data apenas com declarações SQL. Inteiramente compatível com a sintaxe ANSI SQL 2003.
Faça análises de Big Data apenas com declarações SQL. Inteiramente compatível com a sintaxe ANSI SQL 2003.
-
Migre sem descontinuidades suas aplicações offline para a nuvem com uma tecnologia serverless. DLI é inteiramente compatível com APIs e com os ecossistemas Apache Spark, Apache Flink e Presto.
Migre sem descontinuidades suas aplicações offline para a nuvem com uma tecnologia serverless. DLI é inteiramente compatível com APIs e com os ecossistemas Apache Spark, Apache Flink e Presto.
-
Faça a análise de seus dados entre bancos de dados sem a necessidade de qualquer migração. Com uma visão unificada, você obtém um entendimento amplo dos seus dados, possibilitando acelerar inovações. Todos esses benefícios podem ser aproveitados independentemente do banco de dados ter sido criado online ou offline, do formato dos dados ou da fonte de dados na nuvem.
Faça a análise de seus dados entre bancos de dados sem a necessidade de qualquer migração. Com uma visão unificada, você obtém um entendimento amplo dos seus dados, possibilitando acelerar inovações. Todos esses benefícios podem ser aproveitados independentemente do banco de dados ter sido criado online ou offline, do formato dos dados ou da fonte de dados na nuvem.
-
Gerencie permissões relacionadas à computação ou a recursos de acordo com o projeto ou o usuário. Com um controle refinado, torna-se mais fácil manter a independência dos dados para tarefas separadas.
Gerencie permissões relacionadas à computação ou a recursos de acordo com o projeto ou o usuário. Com um controle refinado, torna-se mais fácil manter a independência dos dados para tarefas separadas.
Cenários de aplicação
Análise de banco de dados
Os dados de aplicações armazenados em bancos de dados relacionais precisam de análise para agregar mais valor. Por exemplo, o Big Data dos detalhes do registro auxilia na tomada de decisões comerciais.
Pontos críticos
- Consultas complexas não são disponibilizadas para grandes bancos de dados relacionais.
- Análises abrangentes não são possíveis, porque as partições dos bancos de dados e das tabelas ficam espalhadas em diferentes bancos de dados relacionais. Análises de dados empresariais podem sobrecarregar os recursos disponíveis.
Vantagens
Marketing de precisão
A análise associativa combina informações de diversos canais para melhorar as taxas de conversão.
Vantagens
Análise de logs
Uma empresa de jogos precisa de uma plataforma de análise de dados qualificada para melhorar o posicionamento dos anúncios, a retenção de novos jogadores, as operações e os feedbacks para iterações de jogos futuras.
Pontos críticos
A análise de logs é geralmente realizada por período. Durante os períodos ociosos entre cada tarefa, os recursos são desperdiçados.
Vantagens
Controle de permissões
Quando vários departamentos precisam gerenciar recursos de forma independente, o gerenciamento de permissões refinado melhora a segurança dos dados e a eficiência das operações.
Vantagens
Integração de bibliotecas
A análise do genoma depende de bibliotecas de análise de terceiros, fundamentadas na estrutura distribuída Spark.
Pontos críticos
-Habilidades técnicas avançadas são necessárias para instalar bibliotecas de análise como ADAM e Hail.
- Sempre que um cluster é criado, é preciso instalar essas bibliotecas de análise novamente.
Vantagens
Visualização em tempo real
Com a epidemia de COVID-19 em todo o mundo, os governos precisam ser capazes de monitorar dados importantes de forma imediata.
Pontos críticos
Funcionários do governo não necessariamente têm experiência com Big Data. Geralmente, eles estão muito mais familiarizados com SQL.
Vantagens
Análise de Big Data
Grandes volumes de dados incluem petabytes de imagens de satélite e muitos outros tipos como dados raster estruturados de sensoriamento remoto, dados vetoriais e dados de localização espacial não estruturados. A análise e a mineração de todos esses dados necessitam de ferramentas eficientes.
Vantagens
DLI versus Hadoops próprios
|
DLI |
Sistema Hadoop próprio |
---|---|---|
Custo |
A cobrança é feita com base no volume real de dados digitalizados ou por unidade de computação por hora (CUH) usada, reduzindo os custos. |
Cobrado pela ocupação dos recursos. A ocupação em longo prazo é cara e gera desperdícios. |
Escalabilidade elástica |
Inteligente com Kubernetes baseado em container. |
N/A |
O&M e disponibilidade |
Arquitetura serverless pronta para uso e DR entre AZs. |
Capacidades técnicas sólidas são necessárias para realizar configurações e O&M. |
Custo de aprendizado |
Os parâmetros de otimização são padronizados com base em milhares de projetos nos 10 anos de experiência. Além disso, DLI fornece uma interface gráfica para uma otimização inteligente. |
É necessário aprender sobre centenas de parâmetros de ajuste. |
Compatibilidade de fontes de dados |
Nuvem: OBS/RDS/DWS/CSS/MongoDB/Redis; Localmente: bancos de dados/MongoDB/Redis desenvolvidos por conta própria |
Nuvem: OBS; Localmente: HDFS. |
Compatibilidade de ecossistemas |
Data Lake Visualization (DLV), Tableau, Yonghong BI e Fanruan BI |
Ferramenta de ecossistema de Big Data |
Customização de imagem |
Compatível. Dependências podem ser adicionadas conforme necessidade para atender aos requisitos de diversidade de serviços. |
N/A |
Agendamento de fluxo de trabalho |
Agendamento pelo Data Lake Factory (DLF) no DataArts Studio. |
Ferramentas de agendamento desenvolvidas por conta própria, como o Airflow. |
Permissões de locatários empresariais |
Baseadas em tabelas com granularidade ao nível de coluna. |
Baseadas em arquivo |
Desempenho |
Elevado, graças ao software e hardware otimizados. |
Igual ao de versões de código aberto do Hadoop. |
Novas funcionalidades
Histórias de sucesso
Mengxiang.com
A Mengxiang usa o DLI e o DataArts Studio da Huawei Cloud para analisar dados comportamentais em tempo real para encontrar produtos adequados para clientes.
Essa empresa em ascensão enfrentou desafios com a estabilidade do serviço durante picos de tráfego e promoções. A solução de DLI+DataArts Studio fornece à Mengxiang uma arquitetura elástica e um data lake de alto desempenho para processamento integrado de lotes e fluxos.
DIANCHU Technology
A DIANCHU usou o DLI e o data lake inteligente DataArts Studio da Huawei Cloud para estabelecer uma plataforma de análise de dados para jogos. A plataforma analisa a receita, a taxa de retenção de jogadores e a taxa de pagamento em tempo real para planejamento de atividades, marketing preciso e tomada de decisões.
Dragonest
A Chengdu Dragonest Network trabalha com a Huawei Cloud para consultar e analisar dados de jogos. A análise é útil para diferentes departamentos que lançam novos serviços. As aplicações de dados são integradas, beneficiando toda a organização.