检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 对于开启了Kerberos认证的安全模式集群，已在集群FusionInsight Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点，执行如下命令： cd {客户端安装目录}
rce、channel以及sink，将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和Kafka Sink，如图2所示。 图2 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。
rce、channel以及sink，将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和Kafka Sink，如图2所示。 图2 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。
设置HDFS管理员权限需要重启HDFS服务才可生效。 设置用户执行HDFS检查和HDFS修复的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS > 文件系统”。 定位到指定目录或文件在HDFS中保存的位置。 在指定目录或文件的“权限”列，勾选“读”和“执行”。 设置用户读取其他用户的目录或文件的权限
worker.config.properties “retry-policy”设置为“TASK”时可配置该参数，不配置默认为5GB。节点会根据可用内存和估计的内存使用情况分配任务。 用于初始任务分配节点时的内存需求估计。值越大表明每个TASK预估使用的内存更大，但会导致集群并发能力变小，可根据实际业务情况动态调整。
admin.acls”和“spark.admin.acls.groups”配置指定Web UI的管理员列表和管理员组列表，由客户端的“spark.ui.view.acls”和“spark.modify.acls.groups”配置指定查看Web UI任务明细的访问者列表和组列表，由客户端的“spark
abric 说明： XXX：驱动名，请以实际样例代码中的内容为准。 catalog、schema分别是JDBC客户端要连接的catalog和schema名称。 HSFabric_IP:HSFabric_Port是HSFabric的URL，多个URL以逗号隔开。例如：“192.168
while (it.hasNext) { val c = it.next() // 判断cf和qualifile是否相同 if (columnFamily.equals(Bytes.toString(CellUtil
while (it.hasNext) { val c = it.next() // 判断cf和qualifile是否相同 if (columnFamily.equals(Bytes.toString(CellUtil
while (it.hasNext()) { Cell c = it.next(); // 判断cf和qualifile是否相同 if (columnFamily.equals(Bytes.toString(CellUtil
while (it.hasNext) { val c = it.next() // 判断cf和qualifile是否相同 if (columnFamily.equals(Bytes.toString(CellUtil
while (it.hasNext()) { Cell c = it.next(); // 判断cf和qualifile是否相同 if (columnFamily.equals(Bytes.toString(CellUtil
while (it.hasNext) { val c = it.next() // 判断cf和qualifile是否相同 if (columnFamily.equals(Bytes.toString(CellUtil
告警解释 系统每30秒周期性检测HDFS Router堆内存使用大小和能够分配的最大堆内存大小，计算堆内存使用大小和能够分配的最大堆内存大小的比值得到堆内存使用率，并把实际的HDFS Router堆内存使用率和阈值相比较。HDFS Router堆内存使用率指标默认提供一个阈值范围。当HDFS
件。 转储目录的磁盘空间不足。 处理步骤 检查用户名、密码和转储目录是否正确。 在MRS Manager查看转储配置页面中当前的第三方服务器用户名、密码和转储目录是否正确。 是，执行3 否，执行1.b。 修改用户名、密码和转储目录，单击“确定”，重新保存配置。 等待2分钟，查看告警列表中，该告警是否已清除。
时间段为23:00-00:00和00:00-01:00的两个资源计划。 自动化脚本 在添加自动化脚本时，可以参考表4配置相应参数。 表4 自动化脚本配置说明 配置项 示例 说明 名称 test 自动化脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成，且不能以空格开头。
table_name来uncache表。 被cache的表也可以在Spark Driver UI的Storage标签里查看。 父主题： SQL和DataFrame
table_name来uncache表。 被cache的表也可以在Spark Driver UI的Storage标签里查看。 父主题： SQL和DataFrame
partitionOverwriteMode 当前执行insert overwrite 命令插入数据到分区表时，支持两种模式：STATIC模式和DYNAMIC模式。STATIC模式下，Spark会按照匹配条件删除所有分区。在DYNAMIC模式下，Spark按照匹配条件匹配分区，并动态匹配没有指定匹配条件的分区。
查看工具帮助信息。 set 设置服务端属性。 show 显示服务属性和Loader所有元数据信息。 create 创建连接器和作业。 update 更新连接器和作业。 delete 删除连接器和作业。 clone 复制连接器和作业。 start 启动作业。 stop 停止作业。 status
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
