检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
后等待5分钟,检查告警是否清除。 是,结束。 否,执行3。 以root用户登录HDFS客户端,用户密码为安装前用户自定义,请咨询MRS集群管理员。执行如下命令: 安全模式: cd 客户端安装目录 source bigdata_env kinit hdfs 普通模式: su - omm
告警”,选中“告警ID”为“19017”的告警,查看“附加信息”中的阈值。 以root用户登录HBase客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行以下命令进入客户端安装目录: cd 客户端安装目录 然后执行以下命令设置环境变量: source bigdata_env 如果集群
数据目录磁盘空间使用率 等待2分钟查看告警是否自动恢复。 是,处理完毕。 否,执行5。 检查磁盘是否有误写入的大文件 以omm用户登录DBService主管理节点。 执行以下命令,查看数据目录磁盘空间下超过500MB的文件,检查该目录下是否有误写入的大文件存在。 source $DBSERVER_HOME/
/conf”。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下载路径为主管理节点的“/tmp/FusionInsight-Client”: cd /tmp/FusionInsight-Client tar -xvf
无资源可用,整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > HetuEngine计算实例任务积压”,检查该
无资源可用,整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > HetuEngine计算实例任务积压”,检查该
无资源可用,整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > HetuEngine计算实例查询时延超过阈值”
挡”的属性,给用户带来极不友好的体验,所以MRS服务的ClickHouse实例对这些工作做了统一的打包处理,适配成了“自动挡”,实现了统一管理,灵活易用。 具体部署形态上,一个ClickHouse实例将包含3个ZooKeeper节点和多个ClickHouse节点,采用Dedicated
Hive对接外部LDAP配置说明 使用Kafka Eagle对接MRS Kafka 使用Jupyter Notebook对接MRS Spark 集群管理类 MRS集群阈值类告警配置说明 提交Spark任务到新增Task节点 配置MRS集群弹性伸缩 组件应用开发规范类 ClickHouse应用开发规范
{impalad实例ip}:/opt/Bigdata/FusionInsight_Impala_***/***_Impalad/etc/ 登录到manager管理页面上,找到impala组件,然后在impalad实例中添加如下自定义配置项及值: --fair_scheduler_allocation_path
代码设置运行用户。若在没有修改代码的场景下,执行以下语句添加环境变量: export HADOOP_USER_NAME=test 用户可向管理员咨询运行用户。test在这里只是举例,若需运行Colocation相关操作的样例代码,则此用户需属supergroup用户组。 执行如下命令,运行Jar包。
的,由Driver进行协调。 在运行一个应用时,Driver会去连接集群管理器(Standalone、Mesos、YARN)申请运行Executor资源,并启动ExecutorBackend。然后由集群管理器在不同的应用之间调度资源。Driver同时会启动应用程序DAG调度、Stage划分、Task生成。
Transfer-Encoding: chunked {"boolean":true}linux1:/opt/client # 密钥管理系统通过HTTP REST API对外提供密钥管理服务,接口请参考官网: http://hadoop.apache.org/docs/r2.7.2/hadoop-kms/index
在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”、“集群控制台地址”,以及Master节点的“默认安全组”。 在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。
例如客户端安装路径为“/opt/dorisclient”。 在Doris集群安装MySQL客户端,详细操作请参考使用MySQL客户端连接Doris。 创建拥有Doris管理权限的人机用户(例如用户名为dorisuser),并修改初始密码。 登录Doris集群Manager页面,详细操作请参考访问MRS集群Manager。
出于安全考虑,建议用户定期更换自定义密码(例如三个月更换一次),并重新生成各项证书和信任列表。 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。
Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址,附加信息内容。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令vi ${BIGDATA_LOG_HOME}/controller/scriptlog/getLogs.log,检索关键字“LOG
的主机名所在的节点IP地址。 获取ZooKeeper进程pid。以root用户登录到告警上报的节点,用户密码为安装前用户自定义,请咨询系统管理员,执行命令:pgrep -f proc_zookeeper。 是否正常获取pid。 是,执行4。 否,执行15。 获取所有与当前ZooK
待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证(安全模式) 在FusionInsight Manager中创建一个人机用户,例如“dorisuser”,创建一个拥有“Doris管理员权限”的角色绑定给该用户。 使用新建的用户dor
相关配置文件。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下载路径为主管理节点的“/tmp/FusionInsight-Client”: cd /tmp/FusionInsight-Client tar -xvf