检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Hue提交Oozie Distcp作业 操作场景 该任务指导用户通过Hue界面提交Distcp类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“DistCp”按钮，将其拖到操作区中。 当前DistCp操作是否是跨集群操作。 是，执行4。
为什么在off heap时数据加载失败？ 问题 为什么在off heap时数据加载失败？ 回答 YARN Resource Manager将（Java堆内存 + “spark.yarn.am.memoryOverhead”）作为内存限制，因此在off heap时，内存可能会超出此限制。您需配置参数“spark
required”说明：当“spark.shuffle.io.preferDirectBufs”设为true时，Spark中netty传输服务从“spark.yarn.executor.memoryOverhead”中拿掉部分堆内存[~ 384 MB or 0.1 x 执行器内存]。
keytab”文件就是用户的凭据文件。 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。 在概览页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。
查看Flume客户端日志 安装Flume客户端。 进入Flume客户端日志目录，默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下： flume-client-1/flume: total 7672
e.java:858) 回答 出现该问题的主要原因为RegionServer分配的内存过小、Region数量过大导致在运行过程中内存不足，服务端对客户端的响应过慢。在RegionServer的配置文件“hbase-site.xml”中需要调整如下对应的内存分配参数。 表1 RegionServer内存调整参数
HBase恢复数据任务报错回滚失败 问题 HBase恢复任务执行失败后系统自动回滚数据，如果页面详情中提示“Rollback recovery failed”信息，表示回滚失败。由于回滚失败后就不会处理数据，所以有可能产生垃圾数据，需要如何解决？ 回答 在下次执行备份或恢复任务前，需要手动清除这些垃圾数据。
CREATE TABLE 命令功能 CREATE TABLE命令通过指定带有表属性的字段列表来创建Hudi Table。 命令格式 CREATE TABLE [ IF NOT EXISTS] [database_name.]table_name [ (columnTypeList)]
SET/RESET 命令功能 此命令用于动态Add，Update，Display或Reset Hudi参数，而无需重新启动driver。 命令格式 Add或Update参数值： SET parameter_name=parameter_value 此命令用于添加或更新“parameter_name”的值。
HetuEngine域名修改后需要做什么 问题 用户修改域名后，会导致已安装的客户端配置和数据源配置失效，且新创建的集群不可用。对接不同域的数据源时，HetuEngine会自动的合并krb5.conf文件。域名修改后，kerberos认证的域名会发生变化，所以此前对接的数据源信息会失效。
录认证，则需先登录Manager界面，选择“集群 > 服务 > Kafka > 配置”，在搜索框中搜索“sasl.enabled.mechanisms”，为该参数值增加“PLAIN”，单击“保存”保存配置，并重启Kafka服务使配置生效： 再在CDL WebUI界面配置使用MRS
系统默认开启作业锁功能，可在Manager查看该功能启用状态。适用于MRS 3.3.0及以后版本。 登录Manager，选择“集群 > 服务 > Flink > 配置 > 全部配置”，搜索参数“job.edit.lock.enable”，参数值为“true”表示开启，值为“false”表示关闭。
> ClickHouseServer > 自定义 > clickhouse-config-customize”，添加如下配置，保存配置，重启服务。 配置项 参考值 作用 merge_tree.max_replicated_merges_with_ttl_in_queue CPU核数一半
建议慎用delete、update的mutation操作 标准SQL的更新、删除操作是同步的，即客户端要等服务端返回执行结果（通常是int值）；而ClickHouse的update、delete是通过异步方式实现的，当执行update语句时，服务端立即返回执行成功还是失败结果，但是实际上此时数据还没有修改完成，而是
使用Hue提交Oozie Streaming作业 操作场景 该任务指导用户通过Hue界面提交Streaming类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“数据流”按钮，将其拖到操作区中。 在弹出的“Streaming”窗口中
使用Hue提交Oozie Distcp作业 操作场景 该任务指导用户通过Hue界面提交Distcp类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“DistCp”按钮，将其拖到操作区中。 当前DistCp操作是否是跨集群操作。 是，执行4。
查看Flume客户端日志 安装Flume客户端。 进入Flume客户端日志目录，默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下： flume-client-1/flume: total 7672
例如，用户A提交的应用正在运行，此时用户B登录系统并查看应用列表，用户B不应该访问到A用户的应用信息。 配置描述 查看Yarn服务配置参数 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入表1中参数名称。 表1 参数描述 参数 描述 默认值 yarn.acl.enable
00秒。 SET GLOBAL query_timeout = xxx; 登录FusionInsight Manager，选择“集群 > 服务 > Doris > 配置 > 全部配置 > BE（角色） > 自定义”，新增自定义参数“streaming_load_rpc_max_a
HBase数据恢复任务报错回滚失败 问题 HBase恢复任务执行失败后系统自动回滚数据，若页面详情中提示“Rollback recovery failed”信息，表示回滚失败。由于回滚失败后就不会处理数据，所以有可能产生垃圾数据，需要如何解决？ 回答 在下次执行备份或恢复任务前，需要手动清除这些垃圾数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
