检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”目录上传到HDFS某个指定目录（oozie_cli用户需要对该目录有读写权限）。 该指定目录需要与之前“job.properties”中定义的“oozie.coord.application.path”属性和“workflowAppUri”属性的值保持一致。 执行流程文件 命令：
Topic的“Topic的字节流量 > Topic输入的字节流量”，统计出“Topic输入的字节流量”值最大的Topic。查看该Topic有哪些Partition以及这些Partition所在的主机信息。 登录到5查询到的主机，执行iostat -d -x命令查看每个磁盘的最后一个指标“%util”：
cy示例，hive用户组中的testuser用户将对Hive的“default”数据库中的表“dataorigin”的“name”列有Create和select的权限，而对于其他列则没有任何的访问权限。 登录Impala客户端，验证Ranger是否已经完成集成Impala。 以客
connections等参数均未能解决。 怀疑是GaussDB的问题，因为增加字段会遍历每个分区执行getPartitionColumnStatistics和alterPartition。 使用omm用户执行gsql -p 20051 -U omm -W password -d hivemeta登
户端进行配置。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的目录、HBase表和数据。 获取外部数据源（SFTP服务器或关系型数据库）使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 使用
jdbc-connector来说，Map任务分区更均匀，并且不依赖分区列是否有创建索引。 mysql-fastpath-connector：MYSQL数据库专用连接器，使用MYSQL的mysqldump和mysqlimport工具进行数据的导入导出，相对generic-jdbc-
t(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler zkRegisterServerHandler
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录、HBase表和数据。 获取外部数据源（SFTP服务器或关系型数据库）使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP、FTP和HDFS/OB
解决Flink客户端不支持-yD或-D配置keytab和principal的问题。 解决HetuEngine查询Flink写入的HudiMOR表数据为空的问题。 解决HetuEngine对Hudi的bucket索引mor表和mor_rt表查询失败问题。 解决HetuEngine查
rce、channel以及sink，将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和Kafka Sink，如图2所示。 图2 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。
rce、channel以及sink，将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和Kafka Sink，如图2所示。 图2 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。
时或者暂无Hive数据时将元数据外置，安装后不允许修改，否则将会造成原有元数据丢失。 Hive支持开源MySQL和Postgres元数据库，本章节以对接开源MySQL和Postgres数据库进行说明。 约束与限制 当外置元数据到MySQL后，Hive仅表名、字段名、表描述支持中文，其余暂不支持。
-update-mode <mode> 更新模式，有两个值updateonly和默认的allowinsert，该参数只能在关系数据表里不存在要导入的记录时才能使用，例如要导入的HDFS中有一条id=1的记录，如果在表里已经有一条记录id=2，则更新会失败。 -input-null-string
配置Spark动态脱敏 Spark Distinct聚合优化 配置Spark作业失败时清理残留文件 配置Spark加载第三方jar包，用于注册UDF或者扩展SparkSQL 父主题： 使用Spark/Spark2x
Flume常用配置参数 部分参数可在Manager界面配置。 使用Flume需要配置Source、Channel和Sink，各模块配置参数说明可通过本节内容了解。 MRS 3.x及之后版本部分参数可通过Manager界面配置，选择“集群 > 服务 > Flume > 配置工具”，
-update-mode <mode> 更新模式，有两个值updateonly和默认的allowinsert，该参数只能在关系数据表里不存在要导入的记录时才能使用，比如要导入的hdfs中有一条id=1的记录，如果在表里已经有一条记录id=2，那么更新会失败。 -input-null-string
getExecutionEnvironment // 设置job的并发度为2 env.setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler
hadoop.rpc.protection”配置项的值保持一致。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 备份ClickHouse元数据 在FusionInsight Manager，选择“运维
主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 HBase的“fs.defau
用户可以进行监控和告警配置管理、备份管理。 Manager主页介绍（MRS 3.x版本） FusionInsight Manager“主页”提供各集群服务状态预览区及监控状态报表，同时展示集群内告警统计及分析情况信息。 主页右侧可查看集群的不同级别告警个数、运行任务个数、当前用户和帮助信息等内容，如图3所示。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
