检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka用户权限管理 Kafka用户权限说明 创建Kafka权限角色 配置Kafka用户Token认证信息 父主题： 使用Kafka
Doris用户权限管理 Doris用户权限说明 创建Doris权限角色 配置Doris表的列权限管理 父主题： 使用Doris
Spark运维管理 快速配置Spark参数 Spark常用配置参数 Spark日志介绍 获取运行中Spark应用的Container日志 调整Spark日志级别 配置WebUI上查看Container日志 配置WebUI上显示的Lost Executor信息的个数 配置JobHistory
cleanup.log 安装卸载实例时的清理日志。 spark-availability-check.log Spark2x服务健康检查日志。
对于每个组使用strategyParams实例化适当的策略类（例如：sortColumns），然后应用该策略重写数据。 创建一个REPLACE提交，并更新HoodieReplaceCommitMetadata中的元数据。
_jvm, 'com.huawei.bigdata.spark.examples.hbasecontext.JavaHBaseBulkDeleteExample') # 创建类实例并调用方法，传递sc._jsc参数 spark.
选择“集群 > 服务 > LdapServer > 实例”，查看LDAP服务对应的节点。 切换到“配置”，查看集群LDAP端口号，即“LDAP_SERVER_PORT”参数值，默认为“21780”。 以root用户通过LDAP服务的IP地址登录LDAP节点。
其中“sparkthriftserver”是Zookeeper上的目录，表示客户端从该目录下随机选择Triftserver实例或proxyThriftServer进行连接。 用户可登录Manager，选择“系统 > 权限 > 域和互信”，查看“本端域”参数，即为当前系统域名。
cleanup.log 安装卸载实例时的清理日志。 spark-availability-check.log Spark2x服务健康检查日志。
根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 HBase的“fs.defaultFS”配置参数需要与Yarn、HDFS的配置保持一致。
CDLConnector是具体执行数据抓取任务的实例，CDLService是负责管理和创建任务的实例。 CDL支持在CDLService WebUI界面创建数据同步任务和数据比较任务，使用流程如图1所示。
保存配置并重启受影响的服务或者实例。 如调整后问题仍未解决，请根据业务情况调整HiveServer的GC参数至合理的值。 父主题： 使用Hive
节点管理类 MRS集群内节点的操作系统是什么？ 升级Master节点规格需要关机吗？ MRS是否支持变更MRS集群节点？ 如何查询MRS节点的启动时间？ MRS集群内节点互信异常如何处理？ MRS集群是否支持调整Master节点规格？
在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。 查看调测结果 Spark应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果数据查看应用程序运行情况。
thrift_server_thriftServer_xxx.log.last cleanup.log 安装卸载实例时的清理日志。 flink-omm-client-IP.log 作业启动日志。 flinkserver_yyyymmdd-x.log.gz 业务归档日志。
/src/main/resources/conf”目录下： 配置文件为准备ThriftServer实例配置文件获取的“hdfs-site.xml”、“core-site.xml”、“hbase-site.xml”。
大致过程为：加载HDFS服务配置文件，并进行Kerberos安全认证，认证通过后再实例化Filesystem，之后使用HDFS的API。此处Kerberos安全认证需要使用到的keytab文件，请提前准备。
need_auto_refresh： 管理计算实例时，预先创建维护实例后，可通过设置need_auto_refresh为true，创建具备自动刷新能力的物化视图，它会自动创建并提交物化视图刷新任务，在此基础上，可对refresh_duration，start_refresh_ahead_of_expiry
登录集群详情页面，选择“集群 > 组件管理 > Flume > 实例”，查看任一部署Flume角色节点的“业务IP”。 若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。
根据业务需要，规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
