检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Impala主要应用于实时查询数据的离线分析(如日志分析,集群状态分析)、大规模的数据挖掘(用户行为分析,兴趣分区,区域展示)等场景下。 父主题: Impala应用开发概述
手动将CSV离线数据导入至IoTDB 应用场景 IoTDB(物联网数据库)是一体化收集、存储、管理与分析物联网时序数据的软件系统,采用轻量式架构,具有高性能和丰富的功能。 IoTDB支持以下方式批量导入或导出数据: 批量导入数据:通过import-csv.sh离线方式进行数据的导入
删除CarbonData表Segments 操作场景 如果用户将错误数据加载到表中,或者数据加载后出现许多错误记录,用户希望修改并重新加载数据时,可删除对应的segment。可使用segment ID来删除segment,也可以使用加载数据的时间来删除segment。 删除segment
合并CarbonData表Segments 操作场景 频繁的数据获取导致在存储目录中产生许多零碎的CarbonData文件。由于数据排序只在每次加载时进行,所以,索引也只在每次加载时执行。这意味着,对于每次加载都会产生一个索引,随着数据加载数量的增加,索引的数量也随之增加。由于每个索引只在一次加载时工作
创建集群并执行作业 功能介绍 创建一个MRS集群,并在集群中提交一个作业。该接口不兼容Sahara。 (建议优先使用创建集群V2接口和创建集群并提交作业V2接口来完成创建集群或创建集群并提交作业的功能) 支持同一时间并发创建10个集群。 使用接口前,您需要先获取下的资源信息。 通过
记录变更 安排并记录对集群配置参数和文件实施的操作,为故障分析处理场景提供依据。 每月 分析日志 收集集群节点服务器的硬件日志,例如BMC系统日志,并进行分析。 收集集群节点服务器的操作系统日志,并进行分析。 收集集群日志,并进行分析。 诊断网络 对集群的网络健康状态进行分析。
MRS最佳实践 开发者社区精选最佳实践 表1 MRS最佳实践 分类 相关文档 数据分析类 使用Spark2x实现车联网车主驾驶行为分析 使用Hive加载HDFS数据并分析图书评分情况 使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming
它提供了更为紧凑的二进制存储的同时支持识别可读性更加友好的输入输出格式。
产品优势 MapReduce服务(MRS)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,用户无需关注硬件的购买和维护。MRS服务拥有强大的Hadoop内核团队,基于华为FusionInsight大数据企业级平台构筑
企业项目管理 标签管理 标签是集群的标识,为集群添加标签,可以方便用户识别和管理拥有的集群资源。
本工程应用程序实现从HDFS上读取文本数据并计算分析。
本工程应用程序实现从HDFS上读取文本数据并计算分析。
开发Impala应用 Impala样例程序开发思路 创建Impala表 加载Impala数据 查询Impala数据 分析Impala数据 开发Impala用户自定义函数 父主题: Impala开发指南
分析集群:用于离线数据分析场景,对海量数据进分析处理,形成结果数据,主要包含Hadoop、Spark、HBase、Hive、Flink、Oozie、Tez等数据分析类组件。
Hive JDBC访问样例程序 Hive JDBC样例程序开发思路 创建Hive表 加载数据到Hive表中 查询Hive表数据 实现Hive进程访问多ZooKeeper 使用JDBC接口提交数据分析任务 父主题: 开发Hive应用
Hive JDBC访问样例程序 Hive JDBC样例程序开发思路 创建Hive表 加载数据到Hive表中 查询Hive表数据 实现Hive进程访问多ZooKeeper 使用JDBC接口提交数据分析任务 父主题: 开发Hive应用
Hive JDBC访问样例程序 Hive JDBC样例程序开发思路 创建Hive表 加载数据到Hive表中 查询Hive表数据 实现Hive进程访问多ZooKeeper 使用JDBC提交数据分析任务 父主题: 开发Hive应用
原因分析 查看NameNode日志“/var/log/Bigdata/hdfs/nn/hadoop-omm-namenode-主机名.log”,发现该文件一直在被尝试写,直到最终失败。
Oozie应用开发步骤 业务分析。 可以使用客户端样例目录中MapReduce程序对日志目录的数据进行分析、处理。 将MapReduce程序的分析结果移动到数据分析结果目录,并将数据文件的权限设置成660。 为了满足每天分析一次的需求,需要每天重复执行一次1.a~1.b。 业务实现
Oozie应用开发步骤 业务分析。 可以使用客户端样例目录中Mapreduce程序对日志目录的数据进行分析、处理。 将Mapreduce程序的分析结果移动到数据分析结果目录,并将数据文件的权限设置成660。 为了满足每天分析一次的需求,需要每天重复执行一次1.a~1.b。 业务实现