数据湖探索地理大数据分析

2023-05-27 18:21:52

地理 大数据 分析 地理大数据具有大数据的相关特征，数据体量巨大，例如全球卫星遥感影像数据量达到PB级；数据种类多，有结构化的遥感影像栅格数据、矢量数据，非结构化的空间位置数据、三维建模数据；在大体量的地理大数据中，通过高效的挖掘工具或者挖掘方法实现价值提炼，是用户非常关注的话题 优势 提供地理专业算子 支持全栈Spark能力，具备丰富的Spark空间数据分析算法算子，全面支持结构化的遥感影像数据、非结构化的三维建模、激光点云等巨量数据的离线批处理，支持带有位置属性的动态流数据实时计算处理 CEP SQL 提供地理位置分析函数对地理空间数据进行实时分析，用户仅需编写SQL便可实现例如偏航检测，电子围栏等地理分析场景 大 数据治理 能力 能快速将海量遥感影像数据接入上云，快速完成影像数据切片处理，为分布式批处理计算提供弹性分布式 数据集 建议搭配使用： 数据接入服务 DIS、 对象存储服务 OBS、 云数据迁移 CDM、 数据快递 服务DES

地理大数据 遥感 海量 pb 结构化

数据湖探索数据库分析

2023-05-27 18:21:52

数据库 分析 应用的数据（如：注册信息）存在关系型数据库中，想对数据库内的数据进行分析 痛点 数据量日益增多，复杂查询关系型数据库查不出来 数据分库分表存在多个关系型数据库中，无法做全量分析 不想因为分析业务影响在线业务 优势 熟悉的SQL体验 DLI的SQL语法全兼容关系型数据库的标准ANSI SQL 2003，0学习成本，使用习惯保持一致 极致性能 DLI采用分布式内存计算模型，轻松处理海量数据 建议搭配使用：云 数据迁移 CDM

关系型数据库 海量 数据量 性能 分库

MapReduce服务智慧水务

2023-05-27 18:21:52

智慧水务 以大数据 云服务 MRS-Hadoop为核心，构建高性能、高可靠的统一大数据存储分析平台 优势 统一数据平台，灵活弹性 使用MRS服务搭建，具备企业级大数据的平台能力，并提供了丰富的 开源 组件，灵活搭配，同时满足客户实时/离线等混合复杂业务处理诉求 高吞吐、低延时 可以通过Storm从Kafka获取实时流数据，实现高吞吐量、低延时的实时计算、分析能力 支持多类型数据融合 同时支持各种结构化/半结构化/非结构化数据计算处理，轻松 迁移 传统数仓数据，实现跨源数据探索分析 场景适用服务： MapReduce服务 MRS、云数据迁移 CDM、 云数据库 MySQL

大数据 数据平台 数仓 企业级 高可靠

湖仓构建数据湖建设和持续运营

2023-05-27 18:21:52

场景描述 数据湖 建设和持续运营，是指数据湖的初始化建设及后续日常的海量元数据及权限管理，因此客户需要便捷高效的建设和管理方式。 传统方式的弊端 · 仅支持通过计算引擎（Hive、Spark等）执行SQL实现元数据的定义、修改、查询，对客户有一定的技能要求，缺少提升易用性的可视化界面。 · 一个完整的授权活动，需要针对计算引擎、 对象存储 执行两次授权操作，对客户操作带来不便，易用性差。 服务优势 · 站式可视化数据湖构建：提供数据湖元数据统一定义和授权的可视化界面，支持客户便捷操作，快速构建。 · 联动授权：支持在元数据授权的同时， 自动化 完成元数据所映射的文件目录的授权，使客户授权操作更便捷和高效。 · 细粒度访问控制：实现针对数据湖的库、表、列级元数据的细粒度访问控制，为业务数据的安全性提供有力保障。 建议搭配服务：MapReduce服务、 数据湖探索 DLI、云 数据仓库 GaussDB、 数据治理中心 DataArts Studio、 AI开发平台 ModelArts

数据湖 可视化 易用性 数据仓库 海量

数据治理中心功能描述

2023-05-27 18:21:52

数据集成 支持批量数据迁移、实时数据集成和数据库实时同步，支持20+异构数据源，全向导式配置和管理，支持单表、整库、增量、周期性数据集成 数据治理 提供智能数据规划、数据质量监控、数据标准化等功能，统一管理数据模型、数据标准，并落地数据模型和数据标准，用于改善数据质量，有效支撑决策 资产管理 提供企业级的元 数据管理 ，厘清信息资产。通过 数据地图 ，实现数据资产的数据血缘和数据全景可视，提供数据智能搜索和运营监控 数据研发 大数据开发环境，降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。支持数据建模、数据集成、脚本开发、工作流编排等操作，轻松完成整个数据的处理分析流程 智能服务 标准化的数据服务平台，提供一站式数据服务开发、测试部署能力，实现数据服务敏捷响应，降低数据获取难度，提升数据消费体验和效率，最终实现数据资产的变现 全场景可视 数据治理运营过程可视，拖拉拽配置，无需编码；处理结果可视，更直观，便于交互和探索；数据资产管理可视，支持钻取、溯源等 统一调度 全面托管的调度，支持按时间、事件触发的任务触发机制，支持分钟、小时、天、周和月等多种调度周期 统一运维 可视化的任务运维中心，监控所有任务的运行，支持配置各类报警通知，便于责任人实时获取任务的情况，保证业务正常运行 数据安全 统一的数据安全保护中心，提供敏感数据识别及分类，安全隐私保护，细粒度权限控制，数据风险识别及合规审计等能力，帮助用户增强整体安全防护能力，建立安全预警机制，让数据使用安全、合规

资产 提供数据 数据服务 实时 数据

日志分析服务日志分析

2023-05-27 18:21:52

日志分析 通过对接入的日志进行索引、分片、分析，提供一站式智能分析平台，对外提供日志检索、可视化、智能运维等功能。 特点 实时检索 提供日志场景端到端的 解决方案 ，数据从入库到能够被检索到只需要数秒时间。 统计分析 提供20余种统计分析方法，支持表格、折线图、热图、云图等多种图表呈现方式。 APM 加速 针对时序数据，通过提前将细粒度数据聚合成粗粒度数据，提升drill up与drill down的性能。 建议搭配使用： 云搜索服务 CSS、MapReduce服务、对象存储服务 OBS、云数据迁移 CDM

统计分析 实时 时序 数据 可视化

云搜索服务全场景日志分析

2023-05-27 18:21:52

全场景日志分析 云搜索 服务CSS可用于全场景日志分析，包括ELB日志、服务器日志、容器和应用日志。 其中Kafka作为消息缓冲队列，用于削峰填谷，Logstash负责数据ETL，Elasticsearch负责数据检索与分析，最后由Kibana以可视化的方式呈现给用户。 优势 性价比高 采用鲲鹏算力、冷热分离、存算分离，成本同比降低30%+； 易用性好 支持丰富的可视化查询语句与拖拽式报表； 强大的处理能力 支持每天百TB级数量入库，提供PB级以上数据处理能力。 建议搭配使用： 弹性负载均衡 ELB、弹性 云服务器 ECS、 云容器引擎 CCE、分布式消息服务 Kafka

数据处理 能力 优势 可视化 易用性

表格存储服务物联网IoT设备监控

2023-05-27 18:21:52

物联网IoT设备监控 梯联网、燃气、水务、电力、化工、互联网等IoT设备通过物联网套件服务接入上云，设备数据和分析结果实时高效写入到CloudTable的 时序数据库 OpenTSDB中，通过 OpenTSDB接口将时序结果输出到用户的展现监控前端系统，实现物联网设备实时监控分析系统 优势 易接入 CloudTable(OpenTSDB)开放协议，轻松对接消息系统、实时流计算系统，降低开发难度 高性能读写 千万级的时序数据写入吞吐量， 百万数据点3秒的查询时延。相比开源OpenTSDB，针对读性能提高30%-60%，写并发提升60% 支持聚合能力 提供插值、降精度、丰富的聚合函数能力 低成本 存储按使用量计费，弹性扩容，从容应对业务的不确定性。10:1的高压缩比，成本更低 建议搭配使用： 实时流计算服务 CS、数据接入服务 DIS、数据湖探索 DLI、设备管理 IoTDM、对象存储服务 OBS、云数据迁移 CDM

实时 时序 能力 iot 数据接入服务

表格存储服务产品优势

2023-05-27 18:21:52

HBase原生接口 兼容原生HBase接口，架构高可用，存储和计算分离保证高可靠，内核深度优化 支持KeyValue数据模型：兼容HBase原生接口，支持KeyValue数据模型，基于社区HBase 1.3版本进行深度内核优化，修复社区关键BUG，优化HBase运行参数。兼容原生HBase常规表操作/数据读写接口 架构高可用 架构高可用：Master为两个节点，主备模式，HA实时检测；计算单元的故障，region可以秒级转移，保证业务的高可用 存储和计算分离保证高可靠：安全、可靠、可弹性扩展，适用于大容量、读写速率要求不高、事务性处理较少的应用场景 集成OpenTSDB 集成OpenTSDB来支持时序数据的高效存储与查询。对OpenTSDB源码深度优化，性能较之社区OpenTSDB版本提升30%+ 安全可靠：集成OpenTSDB来支持时序数据的高效存储与查询。对OpenTSDB源码深度优化，性能较之社区OpenTSDB版本提升30%+ OpenTSDB源码深度优化：针对物联网的高并发，大范围扫描等场景深度优化，千万级的时序数据写入吞吐量， 百万数据点3秒的查询时延。相比开源OpenTSDB，针对读性能提高30%-60%，写并发提升60% 集成GeoMesa 引入地理大数据处理套件GeoMesa，存储和分析海量时空(spatio-temporal)数据，提供路径查询、区域分布统计、区域查询、OD分析等功能 集成GeoMesa提供时空数据库能力：集成GeoMesa，提供位置数据、路径数据等时空数据的高效读写、路径查询、区域分布统计、区域查询、OD分析等功能 基于GeoMesa的数据分析能力：和华为云数据湖探索(Data Lake Insight, DLI)服务无缝集成，提供对时空数据的密度分析、热力图等分析功能 可视化监控运维 提供常用的监控信息和自定义告警规则，简化系统运维 可视化管理平台：可视化管理平台对CU进行扩容，修改配置参数等 全面的监控信息：提供实例的CPU使用率、IOPS、流入流出的流量等监控信息 自定义告警规则：支持异常告警和自定义告警规则，提供CPU使用超过阈值等告警，提供告警启用、停用、删除管理

opentsdb 时序 性能 秒级 实时

云数据仓库产品架构

2023-05-27 18:21:52

GaussDB(DWS)由数据库内核部分及一系列相关工具组成，其产品架构如图所示。 图片 GaussDB(DWS)产品架构 https://res-static.hc-cdn.cn/cloudbu-site/china/zh-cn/zjy/architecture(3).png GaussDB(DWS)支持标准ANSI SQL，用户可通过GaussDB(DWS)提供的客户端工具或JDBC、ODBC接口与其进行交互。通过JDBC、ODBC和PLSQL等接口，客户可以针对自身业务进行定制开发。 GaussDB(DWS)采用Shared-nothing的MPP（Massively Parallel Processing）架构，整个集群由多个拥有独立且互不共享CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中，业务数据被分散存储在多个物理节点上，数据访问任务被推送到数据所在位置就近执行，通过控制模块的协调，并行地完成大规模的数据处理工作，实现对数据处理的快速响应。 GaussDB(DWS)支持行列混合存储和向量化执行，可同时满足高并发TP和分析AP业务的需要。 GaussDB(DWS)提供了数据迁移/备份，数据导入导出等多种数据管理工具，可以快速、方便地在不同数据库之间、GaussDB(DWS)的不同集群之间转移数据，为用户升级、扩展、替换、备份数据库系统提供有力地保障。 GaussDB(DWS)提供可视化的集群管理界面，可以一键部署、升级、扩容。用户可通过管理控制界面实时查看数据库状态，统计运行数据，分析数据库性能。

数据处理 架构 数据迁移 性能 数据库系统

云数据仓库一站式BI解决方案

2023-05-27 18:21:52

一站式BI解决方案 企业积累的海量数据及各种数据资产，体量庞大，需高性能大数据平台支撑进行全量数据分析和挖掘。依托DWS+BI工具打造全局的、直观的、关联性的、可视化的运营 数字化 分析平台 ，以数据分析来驱动业务价值提升及管理提升 优势 多源数据接入 多源数据采集，打破数据孤岛，形成统一的数据展现平台 统一分析决策平台 统一的数据决策平台，多维分析企业经营数据，有效支撑企业的经营决策； 多场景展现 搭配BI工具多终端数据展现PC端/移动端/大屏，满足业务部门各种报表诉求。 建议搭配使用：云数据迁移 CDM、数据湖治理中心 DGC、BI/报表软件

bi 数据分析 数据湖 决策 大数据平台

数据湖探索游戏行业

2023-05-27 18:21:52

日志分析 游戏公司日常通过数据分析平台，借助数据力量没突破行业瓶颈。例如：寻找优质的投放渠道、提高新手期玩家留存、优化运营活动提升玩家活跃、数据驱动产品迭代等 痛点 日志分析通常是按周期进行调度，每次调度之间存在大量空闲期 优势 按量计费 DLI按量计费只在使用期间收费，成本较独占集群降低50%以上 融合分析 DLI三大引擎间元数据互通，数据实时清洗后入库进行离线ETL处理，处理结果直接可用交互式分析进行数据探索 建议搭配使用：数据接入服务 DIS、云数据库服务 MySQL

数据分析 成本 实时 优势 etl

MapReduce服务与自建Hadoop集群对比

2023-05-27 18:21:52

成本 MapReduce服务：支持鲲鹏+自动 弹性伸缩 ，大大降低成本；已包含商用大数据产品价格及操作系统技术支持费用，无需额外购买 自建Hadoop集群：无法弹性，资源利用率低，成本高；购买商业发行版操作系统及大数据产品License价格高昂 维护 MapReduce服务：提供I层基础设施自动化整合能力，自动做性能调优，性能更好；一键式快速创建大数据集群；支持滚动补丁和版本升级能力，提供专业的运维保障技术支撑 自建Hadoop集群：无法快速整合Iaas层资源，需要手动调参优化；手动安装大数据集群，效率低，易出错；无运维支撑保障服务，不支持补丁更新或版本升级 灵活 MapReduce服务：支持按照业务负载和时间策略自动弹性伸缩，快速应对业务增长高峰；支持灵活调整节点与磁盘规格，支持灵活创建临时集群，作业运行完自动销毁 自建Hadoop集群：业务量暴涨或回落时，不能及时扩容或收缩资源；不支持节点规格灵活升级，不支持临时创建集群自动销毁 专业 MapReduce服务：具备云厂商提供的多年金融、电信、交通等大数据领域的商用特性，支持集群>20000节点规模；具备云厂商强大的Hadoop内核技术团队（PMC&Commiters）的技术支撑 自建Hadoop集群：开源版大数据集群水平扩展能力有限制，不适合大规模生产部署；使用开源社区大数据产品免费版，未经过大规模商用验证，无专业团队技术支持 生态 MapReduce服务：天然集成其他大数据基础服务，如数据接入、数据迁移、数据工厂等生态服务，更容易结合AI智能应用让数据快速变现，构筑云上大数据企业智能生态 自建Hadoop集群：自建系统比较封闭，无法快速的利用周边云生态服务能力 安全 MapReduce服务： 拥有企业级的大数据多租户权限管理能力；拥有企业级的大数据安全管理特性，支持按照表/按列控制访问权限，支持数据按照表/按列加密 自建Hadoop集群：不具备企业级的多租户权限管理能力；开源大数据集群不具备完善的审计日志；缺少业界安全工具扫描报告 可靠 MapReduce服务： 经过大规模的可靠性、长稳验证，满足企业级高可靠要求；支持数据跨AZ/跨Region自动备份的数据容灾能力；自动反亲和技术，虚拟机分布在不同物理机上 自建Hadoop集群：仅通过基本功能测试，无长稳、可靠性、大规模集群等商用场景测试；业务双活、容灾设备投入大，且不能两地三中心容灾

大数据 企业级 能力 基础设施 高可靠

MapReduce服务智慧物流

2023-05-27 18:21:52

智慧物流 依靠MRS大数据分析平台，实现物流各环节的智能管理，提高业务运营效率，大大的降低成本 优势 高吞吐、低时延 提供专属MRS Kafka集群，具备高吞吐、高可用、低延迟的数据接入能力，实现百万级消息实时接入 海量数据分析处理 利用MRS Spark，支持海量数据计算处理，选择MRS HBase可以实现物流数据毫秒级实时入库更新，并支持百万级时序数据查询分析 搭载AI，更智能 MRS搭载AI技术，可以直接对大数据进行价值挖掘，为物流组织、市场营销、经营管理提供更加精准、智能化的预测分析 场景适用服务：MapReduce服务 MRS、数据仓库服务 GaussDB(DWS)、云数据库 MySQL、AI开发平台ModelArts

大数据 海量 数据分析 优势 效率

MapReduce服务金融保险

2023-05-27 18:21:52

金融保险 利用专属云MRS大数据的优势，满足保险业在合规、安全、可靠等方面的需求，重构传统保险企业的IT架构，快速构建和部署保险业务系统，帮助保险企业快速实现数字化转型，轻松实现业务创新和业务的敏捷演进 优势 安全可信 护客户敏感数据安全 资源专属 专属MRS集群，资源独享，计算、存储物理资源隔离 创建灵活，全栈技术，简单运维 一键式灵活创建全栈式大数据平台，提供企业级平台管理界面，运维简单 场景适用服务：MapReduce服务、分布式缓存服务 Redis、对象存储服务 OBS

优势 企业级 大数据 大数据平台 全栈
共11197条

为您推荐

华为云服务 GaussDB数据库 国外域名注册商 消息短信平台 云服务平台登录入口 云服务器活动 云专线平台DC GaussDB