检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink异步Checkpoint应用开发思路 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量，并做到状态严格一致性，即：当应用出现异常并恢复后，各个算子的状态能够处于统一的状态。 数据规划 使用自定义算子每秒钟产生大约10000条数据。 产生的数据为一个四元组（Long，Str
写入失败的数据要做相应的处理 在写数据的过程中，如果进程异常或一些其它的短暂的异常，可能会导致一些写入操作失败。因此，对于操作的数据，需要将其记录下来。在集群恢复正常后，重新将其写入到HBase数据表中。 另外，有一点需要注意：HBase Client返回写入失败的数据，是不会自
通过CDC格式数据解决 CDC格式数据是指更新操作记录中会同时包含更新前数据和更新后数据。通过更新前的内容来回撤掉之前的聚合结果，通过更新后的数据更新最新的计算结果。 优点：不需要有大的状态后端存储，整体计算资源压力要小于基于状态后端的方案。 缺点：需要依赖于数据格式，常见的方式通过C
HBase中使用rowkey作为一行记录的唯一标识。在插入数据时，如果rowkey相同，则HBase会覆盖该行的数据。如果在Hive中对一张Hive on HBase表执行INSERT OVERWRITE，会将相同rowkey的行进行覆盖，不相关的数据不会被覆盖。 父主题： Hive应用开发规范
Oozie应用开发步骤 业务分析。 可以使用客户端样例目录中Mapreduce程序对日志目录的数据进行分析、处理。 将Mapreduce程序的分析结果移动到数据分析结果目录，并将数据文件的权限设置成660。 为了满足每天分析一次的需求，需要每天重复执行一次1.a～1.b。 业务实现。
keytab”，“/opt/krb5.conf”。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/” ）下。 数据规划 创建HBase表，构造数据，列需要包含key，modify_time，valid。其中每条数据key值全表唯一，modify_time代表修
开发OpenTSDB应用 OpenTSDB样例程序开发思路 配置OpenTSDB参数 写入OpenTSDB数据 查询OpenTSDB数据 删除OpenTSDB数据 父主题： OpenTSDB开发指南
开发Hive应用 Hive样例程序开发思路 创建Hive表 加载Hive数据 查询Hive数据 分析Hive数据 开发Hive用户自定义函数 父主题： Hive开发指南
数据是按照主键排序存储的，查询的时可以通过主键快速筛选数据，创建表时合理的设置主键能够大大减少读取的数据量，提升查询性能。例如所有的分析，都需要指定业务的id，则可以将业务id字段作为主键的第一个字段。 根据业务场景合理设置稀疏索引粒度 ClickHouse的主键索引采用的是稀疏索引存储，稀疏索引
规划MapReduce统计样例程序数据 将待处理的日志文件放置在HDFS系统中。 在Linux系统中新建文本文件，将待处理的数据复制到文件中。例如将MapReduce统计样例程序开发思路中log1.txt中的内容复制保存到input_data1.txt，将log2.txt中的内容复制保存到input_data2
Oozie应用开发步骤 业务分析。 可以使用客户端样例目录中MapReduce程序对日志目录的数据进行分析、处理。 将MapReduce程序的分析结果移动到数据分析结果目录，并将数据文件的权限设置成660。 为了满足每天分析一次的需求，需要每天重复执行一次1.a～1.b。 业务实现。
使用CDM服务迁移Hive数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务 2
Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败 问题 Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，执行应用时显示如下异常。 2017-05-09
Hive主要应用于海量数据的离线分析（如日志分析，集群状态分析）、大规模的数据挖掘（用户行为分析，兴趣分区，区域展示）等场景下。 为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制，在开源社区的Hive-3.1.0版本基础上，Hive新增如下特性： 数据文件加密机制。
快速开发Hive JDBC应用 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：
开发Impala应用 Impala样例程序开发思路 创建Impala表 加载Impala数据 查询Impala数据 开发Impala用户自定义函数 Impala样例程序指导 父主题： Impala开发指南（普通模式）
快速开发Hive HCatalog应用 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：
on YARN的container目录下，因此KafkaClient中对于“keyTab”的配置路径必须为相对jaas.conf的所在路径，例如“./user.keytab”。principal修改为自己创建的用户名及集群域名。 开发思路 接收Kafka中数据，生成相应DStream。
开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark
基于二级索引查询HBase表数据 功能介绍 针对添加了二级索引的用户表，您可以通过Filter来查询数据。其数据查询性能高于针对无二级索引用户表的数据查询。 HIndex支持的Filter类型为“SingleColumnValueFilter”，“SingleColumnValu
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
