检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”的检测。 登录MRS集群详情页面,选择“告警管理”。 搜索“12045”告警,将未自动清除的该告警全部手动清除,处理完毕。 图1 告警管理 “网络读包丢包率超过阈值”的告警ID是12045。 检查网卡是否配置了主备bond模式。 使用PuTTY工具,以omm用户登录告警所在节点,执行ls
“服务器IP地址”:填写备份数据的服务器IP地址。 “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。 “用户名”:填写使用SFTP协议连接服务器时的用户名。 “密码”:填写使用SFTP协议连接服务器时的密码。 “源端路径”:填写备份文件在备份服务器中保存的完整路径
Python SparkThriftServerJavaExample 通过JDBC访问Spark SQL的程序 Java SparkThriftServerScalaExample 通过JDBC访问Spark SQL的程序 Scala SparkOnHbaseJavaExample-AvroSource
处理步骤 检查非堆内存使用率。 登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“43011”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JDBCServer(对应上报告警实例IP地址) > 定制 >JDBCS
IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > Hive > 配置
“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 恢复租户数据 进入租户管理页面。 通过MRS管理控制台操作:在MRS管理控制台单击待操作的集群,在集群详情页,单击“租户管理”。
成本管理 随着上云企业越来越多,企业对用云成本问题也越发重视。使用MRS时,如何进行成本管理,减轻业务负担呢?本文将从成本构成、成本分配、成本分析和成本优化四个维度介绍成本管理,帮助您通过成本管理节约成本,在保障业务快速发展的同时获得最大成本收益。 成本构成 使用MRS集群时,成本主要包括两个方面:
答:DistCP类型作业导入导出数据时不会对比数据的一致性,只是对数据进行复制,不会修改数据。 问:DistCP类型作业在导出时,遇到OBS里已经存在的文件是如何处理的? 答:DistCP类型作业在导出时,遇到OBS里已经存在的文件时会覆盖原始文件。 父主题: 作业管理类
提供了样例工程。 帮助用户快速了解MapReduce各部件的编程接口。 MapReduce统计样例程序开发思路 MapReduce访问多组件样例程序开发思路 编译并运行程序 指导用户将开发好的程序编译并提交运行。 编译并运行MapReduce应用 查看程序运行结果 程序运行结果会写在用户指定的路
以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装路径 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 将指定版本的MapReduce
32261-32325 否 仅MRS 3.x之前版本 jobmanager.web.allow-access-address web访问白名单,ip以逗号隔开。只有在白名单中的ip才能访问web。 * 是 适用于所有版本 flink.security.enable 用户安装Flink集群时,需要选择“安全模式”或“普通模式”。
P地址为备管理节点IP地址,选择“系统 > OMS > oldap > 修改配置”,记录LdapServer服务侦听端口号)。 以omm用户登录IP1节点。 执行以下命令,观察查询出来的内容是否提示有error错误信息。 ldapsearch -H ldaps://IP1:PORT
Frontend参数说明 参数 描述 默认值 是否必选 jobmanager.web.allow-access-address web访问白名单,ip以逗号隔开。只有在白名单中的ip才能访问web。 * 是 flink.security.enable 用户安装Flink集群时,需要选择“安全模式”或“普通模式”。
/opt/efak/efak-web-3.0.1/bin/ke.sh start 启动成功显示如下,获取EFAK WebUI登录地址。 使用获取到的登录地址,访问EFAK WebUI界面。 访问EFKA WebUI界面默认初始账号密码admin/123456 登录后可以查看Kafka集群监控页面、Topic监控页面、Consumer监控页面,例如:
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Hive > 具体的HiveServer实例”,找到“Background线程数”与“Background线程使用率”监控信息。 图1 Background监控信息 在Backgro
也就是label-3的节点里。 当启用ACLs功能并且用户无权访问表达式中使用的标签时,将不会为副本选择属于该标签的DataNode。 多余块副本删除选择 如果块副本数超过参数“dfs.replication”值(即用户指定的文件副本数,可以参考修改集群服务配置参数进入HDFS
s”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置Windows通过EIP访问安全模式集群Kafka。 Windows本地hosts文件存放路径举例:“C:\WINDOWS\system3
Presto常见问题 Presto配置多Hive连接 父主题: 使用Presto
/config/consumer.properties 是,处理完毕。 否,执行1.e。 登录MRS集群详情页面,选择“组件管理”。 单击“Flume > 实例”。 单击进入故障节点的Flume实例页面,查看监控指标“Source速度指标”,检查告警中的Source速度是否为0。 是,执行2
使用Impala 连接impala-shell失败 创建Kudu表报错 Impala客户端安装Python2