检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理步骤 登录Manager界面,选择“集群 > 组件 > Yarn > 实例”,查看并获取“ResourceManager(主)”实例的业务IP地址。 以root用户登录ResourceManager主节点。 进入“/var/log/Bigdata/yarn/rm”路径查看ResourceManager的日志。
按“ALM-12006 节点故障”提供的步骤处理该告警。 以root用户登录该告警的主机地址,用户密码为安装前用户自定义,请咨询系统管理员。查看告警角色所在安装目录用户、用户组、权限等是否正常。正常用户和用户组的权限为“omm:ficommon 750”。 例如:NameNode的安装
tConfig_ConfigFiles scp Kafka/install_files/kafka/libs/* root@客户端节点IP地址:/opt/client/lib 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/e
执行程序jar包或sql文件地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 input String 参数解释: 数据输入地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 output String 参数解释: 数据输出地址。 约束限制: 不涉及 取值范围:
Manager页面。 详细操作请参考访问MRS集群Manager。 参考表1访问对应站点。 表1 开源组件Web站点地址 站点类型 站点地址(MRS 3.x之前版本) 站点地址(MRS 3.x及之后版本) HDFS NameNode MRS 3.x之前版本集群,在集群详情页选择“组件管理
'test_source', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'properties.group.id' = 'testGroup', 'scan.startup.mode' = 'latest-offset'
选择“待操作集群的名称 > HDFS > 文件系统 > hdfs://hacluster/”,勾选“user”的“读”、“写”、“执行”和“递归”。 如果要执行多组件用例,还需: 选择“待操作集群的名称 > HDFS > 文件系统 > hdfs://hacluster/ > t
集群上下电之后HBase启动失败 问题背景与现象 集群的ECS关机重启后,HBase启动失败。 原因分析 查看HMaster的运行日志,发现有报大量的如下错误: 2018-03-26 11:10:54,185 | INFO | hadoopc1h3,21300,15220316
Kafka/kafka/bin 执行Kafka相关命令,获取Topic分布信息和副本同步信息,观察返回结果。 kafka-topics.sh --describe --zookeeper <zk_host:port/chroot> 例如: [root@mgtdat-sh-3-01-3
按以下步骤进行操作可以完成部署和对接。 在一个ECS节点进行MRS Client安装,具体请参考集群外节点使用MRS客户端。本操作以MRS客户端安装路径为“/srv/client/”为例进行说明。 安装完成后执行如下命令导入MRS客户端环境变量bigdata_env和Kylin所需的环境变
Policy”,为对应用户的用户组赋予OBS存储路径的“Read”和“Write”的权限,详细操作请参见添加OBS的Ranger访问权限策略。 例如,为“hgroup1”用户组赋予“obs://obs-test/test/”目录的“Read”和“Write”的权限: 在首页中单击“HADOOP
使用REST接口获取所有HBase表 功能简介 使用REST服务,传入对应host与port组成的url,通过HTTP协议,获取得到所有table。 代码样例 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\h
使用REST接口获取所有HBase表 功能简介 使用REST服务,传入对应host与port组成的url,通过HTTP协议,获取得到所有table。 代码样例 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\h
html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 生产者通过此参数值,创建与Broker之间的连接。 security.protocol 安全协议类型。 生产者使用的安全协议类型,
在文件中搜索21201,并删除文件中的如下内容。proxy_ip和proxy_port对应实际环境中的值。 ProxyHTMLEnable On SetEnv PROXY_PREFIX=https://[proxy_ip]:[proxy_port] ProxyHTMLURLMap (https?:\/\/[^:]*:[0-9]*
API接口介绍 功能简介 通过HTTP REST API来查看更多Yarn任务的信息。目前Yarn的REST接口只能进行一些资源或者任务的查询。完整和详细的接口请直接参考官网上的描述以了解其使用:http://hadoop.apache.org/docs/r3.1.1/hadoop-yar
的安全责任在于对使用的IaaS、PaaS和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白
参数说明 url jdbc:XXX://HSBroker1_IP:HSBroker1_Port,HSBroker2_IP:HSBroker2_Port,HSBroker3_IP:HSBroker3_Port/catalog/schema?serviceDiscoveryMode=hsbroker
tConfig_ConfigFiles scp Kafka/install_files/kafka/libs/* root@客户端节点IP地址:/opt/client/lib 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/e
配置MRS租户队列 用户可以根据业务需求,在MRS修改指定租户的队列配置,对队列进行扩容或缩容。Yarn任务队列和资源池关联,可实现资源的分配和调度。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。