检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
写入操作配置 本章节介绍Hudi重要配置的详细信息，更多配置请参考hudi官网：http://hudi.apache.org/cn/docs/configurations.html。 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource.write.table
MapReduce常见问题 ResourceManager进行主备切换后，任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级
Sqoop常用命令及参数介绍 更多Sqoop命令参数请参考Sqoop官方文档：https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html Sqoop常用命令介绍 表1 Sqoop常用命令介绍 命令 说明 import 数据导入到集群
Impala启用并配置动态资源池 本文介绍如何使用动态资源池控制impala并发。 问题背景 客户需要使用动态资源池控制impala并发。 登录到集群的master1节点上，然后切换到omm用户下，在/home/omm目录下创建fair-scheduler.xml、llama-site
Manager界面重启组件：选择“集群 > 服务 > 待操作的服务名称”，单击右上角的“更多”，选择“重启服务”或“滚动重启服务”。 在MRS控制台重启组件：选择“现有集群”，单击集群名称进入集群详情页面。单击“组件管理”，选择需要重启的服务，进入服务页面。在“服务状态”页签单击“更多”，选择“重启服务”或“滚动重启服务”。
访问KafkaManager的WebUI 用户可以通过KafkaManager的WebUI，在图形化界面监控管理Kafka集群。 前提条件 已安装KafkaManager服务的集群。 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 访问KafkaManager的WebUI 登录集群详情页面，选择“组件管理
postinstallDetail.log HDFS服务安装后启动前工作日志。 hdfs-service-check.log HDFS服务启动是否成功的检查日志。 hdfs-set-storage-policy.log HDFS数据存储策略日志。 cleanupDetail.log HDFS服务卸载时候的清理日志。
在“权限”的表格中选择“Yarn”，勾选“Cluster Admin Operations”。 说明： 设置Yarn管理员权限需要重启Yarn服务，才能使保存的角色配置生效。 设置用户在指定Yarn队列提交任务的权限 在“权限”的表格中选择“Yarn > Scheduler Queue”。
Flume业务模型配置说明 业务模型配置指导 本章节适用于MRS 3.x及之后版本。 本任务旨在提供Flume常用模块的性能差异，用于指导用户进行合理的Flume业务配置，避免出现前端Source和后端Sink性能不匹配进而导致整体业务性能不达标的场景。 本任务只针对于单通道的场景进行比较说明。
OBS是否支持ListObjectsV2协议？ 问： OBS是否支持ListObjectsV2协议？ 答： 不支持。 父主题： 周边生态对接类
MRS集群内节点是否支持降配操作？ 问： MRS集群内节点是否支持降配操作？ 答： MRS集群内节点暂不支持降级配置规格。 父主题： 产品咨询类
Spark运维管理 快速配置Spark参数 Spark常用配置参数 Spark日志介绍 获取运行中Spark应用的Container日志 调整Spark日志级别 配置WebUI上查看Container日志 配置WebUI上显示的Lost Executor信息的个数 配置JobHistory本地磁盘缓存
批量写入Hudi表 操作场景 Hudi提供多种写入方式，具体见hoodie.datasource.write.operation配置项，这里主要介绍UPSERT、INSERT和BULK_INSERT。 INSERT（插入）： 该操作流程和UPSERT基本一致，但是不需要通过索引去
使用Hudi-Cli.sh操作Hudi表 前提条件 对于开启了Kerberos认证的安全模式集群，已在集群FusionInsight Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点，执行如下命令：
增加分区 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager，选择“集群 > 服务 > Kafka”。 如需在页面上进行相关操作，例如创建Topic，需同时授予用户相关权限，请参考Kafka用户权限说明。 在“KafkaManager
如果服务端关闭了SSL配置，则需在客户端需也关闭SSL配置才能通信，操作为： cd 客户端安装目录/IoTDB/iotdb/conf vi iotdb-client.env 将“iotdb_ssl_enable”参数的值修改为“false”，保存并退出。 其中，服务端SSL配置，可登录FusionInsight
postinstall.log 服务安装日志。 prestart.log prestart脚本日志。 start.log 启动日志。 FlinkServer服务日志、审计日志和HA相关日志。 FlinkServer服务日志、审计日志和HA相关日志默认100MB滚动存储一次，服务日志最多保留30天，审计日志最多保留90天。
在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn”，勾选“集群管理操作权限”。 说明： 设置Yarn管理员权限需要重启Yarn服务，才能使保存的角色配置生效。 设置用户在指定Yarn队列提交任务的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn >
yarn-service-check.log Yarn服务健康状态检查日志。 yarn-start-stop.log Yarn服务启停操作日志。 yarn-prestart.log Yarn服务启动前集群操作的记录日志。 yarn-postinstall.log Yarn服务安装后启动前的工作日志。 hadoop-commission
<process_name>-<SSH_USER>-<DATE>-<PID>-gc.log HBase服务垃圾回收日志。 checkServiceDetail.log HBase服务启动是否成功的检查日志。 hbase.log HBase服务健康检查脚本以及部分告警检查脚本执行所产生的日志。 sendAlarm
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
