检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Kafka用户Token认证信息 操作场景 使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求,并准备一个系统用户。 已开启Token认证机制。 已安装Kafka客户端。
id”是需要编排的Loader作业的ID值,可从Loader页面获取。 创建需要调度的Loader作业,并获取该作业ID,具体操作请参见使用Loader相关章节。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“Loader-Workflow”。
id”是需要编排的Loader作业的ID值,可从Loader页面获取。 创建需要调度的Loader作业,并获取该作业ID,具体操作请参见使用Loader相关章节。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“Loader-Workflow”。
原因分析 当前提交任务的用户不具备Yarn对应队列的权限。 处理步骤 为当前用户配置Yarn队列的权限。 在Manager界面为当前用户绑定对应权限的角色,例如:default,详细操作请参考修改用户信息章节。 若Hive启用了Ranger鉴权,也可以参考添加Yarn的Ranger访问
告警”,查看当前告警“定位信息”中的角色名并确认主机名所在的IP地址。 扩容告警上报节点的磁盘容量。 扩容失败,或扩容后告警仍然没有消除,执行4。 收集故障信息 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Doris”。
从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复,用于从上次任务中断处继续往下执行,以保证数据不丢失。但是,在某些情况下,从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、task执行状态信息、配置信息
Manager管理界面,修改JDBCServer的参数“spark.authenticate.enableSaslEncryption”值为“false”,并重启对应的实例。 客户端作业: 客户端应用在提交应用的时候,修改spark-defaults.conf配置文件的“spark.authenticate
py中的host的值修改为安装HiveServer的节点的业务平面IP,port的值修改为Hive提供Thrift服务的端口(hive.server2.thrift.port),默认为21066。 Hive多实例的python客户端命令行形式:“python3-examples/pyCLI_nosec.py”不仅要
是,操作结束。 否,执行4。 修改“/opt/Bigdata/tmp”目录权限 以root用户依次登录Master1、Master2节点。 查看Master1、Master2节点的“/opt/Bigdata/tmp”路径权限是否被修改。(权限默认为770) 如果被修改请执行以下命令恢复“/
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 NetworkCardName 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 通信闪断,业务超时。
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 应用名 产生告警的应用名称。 角色名 产生告警的角色名称。 任务名 产生告警的作业名称。 对系统的影响 Flink作业RocksDB的Pending Compaction持续超过阈值,主要反应的是Flink作业的CheckP
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 占用服务器资源,ClickHouse服务的性能下降。 数据不一致。 可能原因 数据量过大,导致mutation任务执行缓慢或者mutation任务执行卡住。 处理步骤 登录FusionInsight
Hive系统管理员,用户权限: Hive管理员权限: 数据库的创建、删除、修改 表的创建、查询、修改、删除 数据的查询、插入、加载 HDFS文件操作权限: 查看、修改、创建文件 查看、创建目录 查看、修改文件属组 提交、停止MapReduce任务的权限。 Ranger策略的管理权限。 kafka Kafka@123
是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 主机名 产生告警的主机名。 AgentId 产生告警的Agent id。 部件类型 产生告警的元素类型。 部件名 产生告警的元素名称。 对系统的影响 如果数据源有数据,Flume Source持续读取不到数据,采集会停止。
MRS集群更换磁盘(适用于3.x) MRS备份任务执行失败 Core节点出现df显示的容量和du显示的容量不一致 如何解除网络ACL的关联子网 修改节点主机名后导致MRS集群状态异常 进程被终止如何定位原因 MRS配置跨集群互信失败 MRS集群节点使用pip3安装Python时提示网络不可达
ver的节点的业务平面IP,port的值修改为Hive提供Thrift服务的端口(hive.server2.thrift.port),默认为21066。 Hive多实例的python客户端命令行形式:“python3-examples/pyCLI_sec.py”不仅要修改host
产生告警的集群名称。 服务名 产生告警的服务名称。 应用名 产生告警的应用名称。 角色名 产生告警的角色名称。 任务名 产生告警的作业名称。 对系统的影响 Flink作业RocksDB的MemTable大小持续超过阈值,主要反应的是Flink作业的CheckPoint的性能,对FlinkServer本身没有影响。
c表示嵌套列全路径,嵌套列具体规则见ADD COLUMNS。 修改列名后自动同步到列comment中,comment的形式为:rename oldName to newName。 系统响应 通过运行DESCRIBE命令查看表列修改。 父主题: Hudi Schema演进及语法说明
检查是否配置了DNS客户端。 登录MRS集群详情页面,选择“告警管理”。 查看该告警的详细信息,查看定位信息中对应的“HostName”字段值,获取该告警产生的主机名。 使用PuTTY工具,以root用户登录告警所在节点。 执行cat /etc/resolv.conf命令,查看是否安装DNS客户端。
产生告警的集群名称。 服务名 产生告警的服务名称。 应用名 产生告警的应用名称。 角色名 产生告警的角色名称。 任务名 产生告警的作业名称。 对系统的影响 Flink作业RocksDB的Pending Flush持续超过阈值,主要反应的是Flink作业的CheckPoint的性能,对FlinkServer本身没有影响。