检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果一直无法获取到新的临时委托凭据,会导致在当前使用的临时委托凭据过期后,系统无法访问OBS,对于配置冷热分离策略的表无法进行OBS冷数据读写等操作。 可能原因 ClickHouse配置的OBS参数错误。
作业提交参数间用空格隔开导致参数信息不被识别如何处理? 问: 作业提交参数间用空格隔开会导致参数信息不被识别吗? 答: 不同参数间用空格隔开,可通过在参数名前添加@的方式防止参数信息被明文存储,例如: @password=XXXXXX进行使用。 父主题: 作业管理类
用户可以通过MRS集群客户端完成Kafka Topic的创建、查询、删除等操作,也可以通过登录KafkaUI查看当前集群的消费信息。 前提条件 使用Kafka客户端时:已安装客户端,例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 使用KafkaUI操作时:
properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确: 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007(Kafka安全模式端口),那么修改该端口为9092(Kafka普通模式端口)。
ALTER TABLE 修改表结构时,针对聚合模型和非聚合模型的修改方式不同;针对Key列和Value列的修改方式也不同。其中: 建表时指定AGGREGATE KEY时,为聚合模型;其他场景为非聚合模型。 建表语句中的关键字'unique key'或'aggregate key'或'duplicate
properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确: 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007(Kafka安全模式端口),那么修改该端口为9092(Kafka普通模式端口)。
追加信息到HDFS指定文件 功能简介 追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。 代码样例 如下是代码片段,详细代码请参考com
log-dirs”。适用于以下场景: 更改NodeManager角色的存储目录,所有NodeManager实例的存储目录将同步修改。 更改NodeManager单个实例的存储目录,只对单个实例生效,其他节点NodeManager实例存储目录不变。 对系统的影响 更改NodeManager角色的存储目录需要
Yarn服务提供队列给用户使用,用户分配对应的系统资源给各队列使用。完成配置后,您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。 参数入口: 用户可在Manager系统中,选择“租户资源 > 动态资源计划 > 队列配置”。 参数说明以修改Superior调度器的default租户为例,其他队列的配置类似,单击“修改”编辑。
系统每小时周期性检测租户所关联的每个目录的空间使用率(每个目录已使用的空间大小/每个目录分配的空间大小),并把每个目录实际的空间使用率和该目录设置的阈值相比较。当检测到租户所关联的目录空间使用率高于该目录设置的阈值时,产生该告警。 当上报告警的目录的空间使用率小于或等于该目录设置的阈值时,告警恢复。
配置Kafka用户Token认证信息 操作场景 使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求,并准备一个系统用户。 已开启Token认证机制,详细操作请参考Kafka服务端配置。
配置Kafka用户Token认证信息 操作场景 使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求,并准备一个系统用户。 已开启Token认证机制。 已安装Kafka客户端。
普通集群修改Ranger数据源为Ldap 安全集群Ranger数据源默认为FusionInsight Manager Ldap用户。普通集群Ranger数据源默认为集群Unix用户。 前提条件 集群模式为普通模式。 已安装Ranger组件。 操作步骤 登录FusionInsight
由于Kafka不感知磁盘容量,建议各Broker实例配置的磁盘个数和容量保持一致。 更改Broker角色的存储目录,所有Broker实例的存储目录将同步修改。 更改Broker单个实例的存储目录,只对单个实例生效,其他节点Broker实例存储目录不变。 对系统的影响 更改Broker角色的存储目录需要重新启动服务,服务重启时无法访问。
threads 10 Broker后台任务处理的线程数目。数据量较大的情况下,可适当调大此参数,以提升Broker处理能力。 num.replica.fetchers 1 副本向Leader请求同步数据的线程数,增大这个数值会增加副本的I/O并发度。 num.io.threads 8
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Storm Nimbus堆内存使用率过高时,可能造成频繁的内存垃圾回收,甚至
OutOfMemoryError”的错误。 这个问题是由于Yarn客户端运行时所需的内存超过了Yarn客户端设置的内存上限(默认为128MB)。 可以通过修改“<客户端安装路径>/HDFS/component_env”中的参数来修改Yarn客户端的内存上限。 对于MRS 3.x及之后版本集群,修改“CLI
追加信息到HDFS指定文件 功能简介 追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。 代码样例 如下是代码片段,详细代码请参考com
追加信息到HDFS指定文件 功能简介 追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。 代码样例 如下是代码片段,详细代码请参考com
参数配置组合决定了每节点任务(map、reduce)的并发数。 如果所有的任务(map/reduce)需要读写数据至磁盘,多个进程将会同时访问一个磁盘。这将会导致磁盘的IO性能非常的低下。为了改善磁盘的性能,请确保客户端并发访问磁盘的数不大于3。 最大并发的container数量应该为[2.5 *