检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Mover是一个新的数据迁移工具，工作方式与HDFS的Balancer接口工作方式类似。Mover能够基于设置的数据存储策略，将集群中的数据重新分布。 通过运行Mover，周期性地检测HDFS文件系统中用户指定的HDFS文件或目录，判断该文件或目录是否满足设置的存储策略，如果不满
或参考获取集群ID获取。 已获取作业ID，即作业提交成功后返回结果中的“job_id”或参考获取作业ID获取。 IAM用户已同步完成，可通过在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。 作业相关程序和输入文件已存放在OBS中。 该示例以新增MapReduce作业为例。
0时报数据格式错误 本章节仅适用于MRS 3.1.0版本集群。 用户问题 MRS 3.1.0集群Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误。 问题现象 原因分析 通过日志判断得知是格式异常。 处理步骤 确认分隔符、表字段的格式无问题，在sqoop语句中添加--columns绑定对应字段。
如果待创建的表有一个常用于过滤的列 ，例如80%以上的场景使用此列过滤。 针对此类场景，调优方法如下： 将常用于过滤的列放在sort_columns第一列。 例如，msname作为过滤条件在查询中使用的最多，则将其放在第一列。创建表的命令如下，其中采用msname作为过滤条件的查询性能将会很好。
如何在Spark命令中指定参数值 问题 如果用户不希望在界面上或配置文件设置参数值，如何在Spark命令中指定参数值？ 回答 Spark的配置项，不仅可以在配置文件中设置，也可以在命令中指定参数值。 在Spark客户端，应用执行命令添加如下内容设置参数值，命令执行完成后立即生效。
基于索引查询HBase表数据 在具有索引的用户表中，可以使用SingleColumnValueFilter来查询数据。当查询条件可以命中索引时，查询速度远快于原表查询。 索引的命中规则如下： 多个AND条件查询 当用于查询的列至少包含索引的一个列时，使用索引会提高查询性能。 例如，为C1、C2和C3创建组合索引。
使用场景 当前开源社区提供了可插拔的Payload机制，用于满足客户各种聚合需求。但Payload的开发有一定的门槛，因此MRS内置了一些常见的聚合函数满足客户日常需求。该特性允许用户使用Hudi自带的聚合函数实现相同主键的聚合操作。 当前支持的聚合函数和数据类型如下： sum：
数据处理单元，会将一或多个DataStream转换成一个新的DataStream。 具体可以细分如下几类： 一对一的转换：如Map。 一对0、1或多个的转换：如FlatMap。 一对0或1的转换，如Filter。 多对1转换，如Union。 多个聚合的转换，如window、keyby。 Topology
根据场景开发工程 提供了Java语言的样例工程，包含从建表、写入到删除表全流程的样例工程。 开发HBase应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HBase应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 父主题：
开发一个Consumer消费该Topic的数据。 性能调优建议 建议预先创建Topic，根据业务需求合理规划Partition数目，Partition数目限制了消费者的并发数。 消息key值选取一定是可变的，防止由于消息key值不变导致消息分布不均匀。 消费者尽量使用主动提交offset的方式，避免重复消费。
提交Oozie应用程序运行前，在Oozie客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证（Kerberos安全认证）： 通过获取客户端的principal和keytab文件在应用程序中进行认证，用于Kerberos安全认证的keytab文件和principal文件您可以联系管理员创建并获取
配置项中使用宏定义 用户在创建或者编辑Loader作业时，在配置参数时可以使用宏，在执行作业任务时会自动替换为宏对应的值。 宏定义只在该作业范围内生效。 宏定义支持随作业导入导出，如果作业中有使用宏定义，则导出的作业包括宏定义。导入作业时默认也导入宏定义。 时间宏dataformat中的第一个参数的日期格式定义可参考“java
Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统，在此系统上可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外，还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路
Loader算子配置项中使用宏定义 用户在创建或者编辑Loader作业时，在配置参数时可以使用宏，在执行作业任务时会自动替换为宏对应的值。 宏定义只在该作业范围内生效。 宏定义支持随作业导入导出，如果作业中有使用宏定义，则导出的作业包括宏定义。导入作业时默认也导入宏定义。 时间宏dataformat中的第一个参数的日期格式定义可参考“java
批量构建HBase全局二级索引数据 场景介绍 在用户的表中预先存在大量数据的情况下，可基于MapReaduce任务，批量构建已有数据的索引数据。 批量构建全局二级索引数据 只有处于INACTIVE状态的索引才能进行批量构建，如需重建索引数据，请先修改索引状态。 数据表中存在大量数
r。 Executor执行这些Task，将具体RDD的数据写入到步骤1创建的目录下。 Spark和YARN的关系 Spark的计算调度方式，可以通过YARN的模式实现。Spark共享YARN集群提供丰富的计算资源，将任务分布式的运行起来。Spark on YARN分两种模式：YARN
r。 Executor执行这些Task，将具体RDD的数据写入到步骤1创建的目录下。 Spark和YARN的关系 Spark的计算调度方式，可以通过YARN的模式实现。Spark共享YARN集群提供丰富的计算资源，将任务分布式的运行起来。Spark on YARN分两种模式：YARN
Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples
split(",") val topicSet = topicArr.toSet // map(_._1)是消息的key, map(_._2)是消息的value val lines = KafkaUtils.createDirectStream[String, String
Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
