检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作场景 该任务指导用户在运维场景或业务场景中使用Storm客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。(普通模式不涉及)
自定义Flink log4j日志输出级别不生效 用户问题 MRS 3.1.0集群自定义Flink log4j日志级别不生效。 问题现象 在使用MRS 3.1.0集群Flink数据分析时,将“$Flink_HOME/conf”目录下的“log4j.properties”文件中日志级别修改为INFO级别日志。
使用IntelliJ IDEA远程提交新打包的Jar包。 查看是否可以在WebUI查看拓扑的详细信息和Worker日志内容。 在Manager页面修改Storm集群关于Worker启动超时参数(参数说明请参考参考信息),保存并重启Storm服务。 MRS Manager界面操作入口:登录MRS Manager,依次选择
在Linux客户端下执行Jar包的时候,需要用安装用户切换到客户端目录: cd $BIGDATA_CLIENT_HOME “$BIGDATA_CLIENT_HOME”为HBase客户端安装目录,例如“/opt/client”。 然后执行: source bigdata_env 启用多实例功能后,为其他HBas
返回:httpClient 该接口实现Basic认证登录,并返回登录后的HttpClient,登录过程中用户只需要调用一个接口,简化了使用过程。 该接口的入参是从配置文件“UserInfo.properties”中获取的,该文件中的参数需要用户填写,该接口还会调用BasicAuthAccess类内部的多个方法。
产生告警的主机名。 对系统的影响 omm用户过期,Manager各节点互信不可用,无法对服务提供管理功能。 可能原因 该主机omm用户即将过期。 处理步骤 检查系统中omm用户是否即将过期。 以root用户登录集群故障节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行chage
User:表示该映射关系为针对用户的映射,identifiers中填写用户名称列表。 Group:表示该映射关系为针对用户组的映射,identifiers中填写用户组名称列表。 默认取值: 不涉及 identifiers Array of strings 参数解释: IAM委托映射的用户(组)名称列
Doris租户角色和用户关联关系介绍 通过FusionInsight Manager服务配置和租户管理页面的操作,用户可以实现创建租户、关联服务、设置租户资源配置、租户关联用户等操作。Manager侧和Doris侧的角色和用户关联关系如下图所示: 租户关系中“用户 > 租户角色 >
MRS当前提供的“分析集群”、“流式集群”和“混合集群”采用固定模板进行部署集群的进程,无法满足用户自定义部署管理角色和控制角色在集群节点中的需求。 如需自定义集群部署方式,可在创建集群时的“集群类型”选择“自定义”,实现用户自主定义集群的进程实例在集群节点中的部署方式。 仅MRS 3.x及之后版本支持创建自定义拓扑集群。
调测Kafka应用 前提条件 客户端本地能登录MRS服务的弹性云服务器,登录方式详见“弹性云服务器《用户指南》”中“入门 > 登录弹性云服务器”的SSH登录方式。 样例工程在已经通过Maven编译。 示例:Maven工程打包到Linux下运行样例 执行mvn package生成j
ZooKeeper的IP地址和端口可以通过MRS控制台或登录Manager界面获取。 方法一:通过MRS控制台获取 在MRS集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 选择“组件管理 > ZooKeeper > 实例”,获取ZooKeeper实例的“业务IP”地址。 图1
待操作集群的名称 > 服务 > Hive > 实例 > 具体的HiveServer实例”查看。连接到HiveServer的session数占最大允许数的百分比指标默认提供一个阈值范围(90%),当检测到百分比指标超过阈值范围产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称
情况。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”,将运行状态为“正在恢复”的Broker实例停止并记录实例所在节点的管理IP地址以及对应的“broker.id”,该值可通过单击角色名称,在“实例配置”页
HetuEngine > 实例”,单击角色列表的HSBroker实例,选择“更多 > 重启实例”。 待HSBroker实例重启后,选择“集群 > 服务 > HetuEngine”在 概览页面单击“HSConsole WebUI”后的链接,进入计算实例界面。 选择待重启的计算实例,单击“停止”
直接内存大小”的两倍(可根据实际业务场景进行修改)。 重新启动受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 重启服务期间服务不可用,业务中断。重启实例期间实例不可用,当前实例节点任务会执行失败。 收集故障信息。 在FusionInsight Manager界面,选择“运维
使用MRS客户端,MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 登录FusionInsight Manager页面,下载集群客户端软件包至主管理节点并解压,然后以root用户登录主管理节点,进入集群客户端解压路径下,复制“FusionInsight_Cluste
业务表设计建议 预分Region,使Region分布均匀,提高并发 避免过多的热点Region。根据应用场景,可考虑将时间因素引入Rowkey。 同时访问的数据尽量连续存储。同时读取的数据相邻存储;同时读取的数据存放在同一行;同时读取的数据存放在同一cell。 查询频繁属性放在Rowkey前
SQL的应用,Job事件还包含ExecutionStart、ExecutionEnd。 Spark中有个HistoryServer服务,其UI页面就是通过读取解析这些日志文件获得的。在启动HistoryServer进程时,内存大小就已经定了。因此当日志文件很大时,加载解析这些文件就可能会造成内存不足,driver
SQL的应用,Job事件还包含ExecutionStart、ExecutionEnd。 Spark中有个HistoryServer服务,其UI页面就是通过读取解析这些日志文件获得的。在启动HistoryServer进程时,内存大小就已经定了。因此当日志文件很大时,加载解析这些文件就可能会造成内存不足,driver
0.1补丁期间会重启MRS Manager和Hive服务,重启服务期间会引起服务暂时不可用。 MRS 2.1.0.1补丁安装完成后,需要先登录到MRS集群的Master1节点,删除HDFS上任务目录。 未开启Kerberos认证的集群,执行如下命令删除HDFS上任务目录。 hdfs