检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 3.x及之后版本 登录FusionInsight Manager。 选择“系统 > 对接 > SNMP”。 开启“SNMP服务”开关。 MRS 3.x之前版本 登录MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,开启“SNMP配置”开关。 根据表1所示的说明填写对接参数。
1/{project_id}/run-job-flow返回500。 原因分析 用户没有创建集群的权限。 处理步骤 检查是否拥有创建MRS集群的权限,可参考文档权限管理。 父主题: API使用类
0版本开始默认的日志框架是log4j2,配置的方式跟之前log4j的方式有区别,使用如log4j日志规则不会生效。 处理步骤 Log4j2详细日志规格配置参考开源官方文档:http://logging.apache.org/log4j/2.x/manual/configuration.html#Properties。
HostName 产生告警的主机名。 对系统的影响 无法同步集群中HBase的数据到备集群,导致主备集群数据不一致。 可能原因 备集群HBase服务异常。 网络异常。 处理步骤 观察告警是否自动修复。 登录MRS集群详情页面,选择“告警管理”。 在告警列表中单击该告警,从“告警详
间拷贝功能,该功能默认未启用,复制数据的集群双方都需要配置。 管理员可以根据以下指导,在Manager修改参数以启用集群间拷贝功能,启用之后即可创建将数据备份至远端HDFS(RemoteHDFS)的备份任务。 对系统的影响 启用集群间复制功能需要重启Yarn,服务重启期间无法访问。
在“Dependencies”页面,修改“Module SDK”为“SDKs”中添加的JDK。 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File
在FusionInsight Manager界面,选择“系统 > 权限 > 角色 > 添加角色”: 设置“角色名称”。 在“配置资源权限”下选择“待操作集群名称 >Hue”,勾选“存储策略管理员”,单击“确定”,为该角色赋予存储策略管理员的权限。 选择“系统 > 权限 > 用户组 > 添加用户组”
kStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能: 支持Kafka,DFS多种数据源接入 。 支持管理检查点、回滚和恢复,保证exactly once语义。 支持自定义转换操作。 示例: 准备配置文件kafka-source.properties
doop组件中,当购买MRS集群时无法看到HDFS、Yarn和MapReduce组件,勾选Hadoop组件并等待集群创建完成后即可在“组件管理”页签看到HDFS、Yarn和MapReduce组件。 父主题: 集群创建类
操作场景 Ranger管理员可通过Ranger为CDL用户配置创建、执行、查询、删除权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger
删除HBase二级索引 功能介绍 您可以使用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中提供的方法来管理HIndexes。 该类提供了从表中删除现有索引的方法。 根据用户是否希望删除索引数据以及索引删除操作,有两种不同的API可将索引删除到表中:
组件业务用户 在hdfs命令行显式添加要访问的OBS文件系统。 例如: 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 例如,执行以下命令访问“mrs-word001”并行文件系统,返回文件列表即表示访问OBS成功,如图1所示: hadoop
单击“Attempt ID”列的ID 图4 单击“Logs” 使用具有当前Flink作业的管理操作权限的用户登录Manager,选择“集群 > 服务 > Flink”,单击“Flink WebUI”后的链接,单击“作业管理”,在作业的“操作”列选择“更多 > 作业详情”也可查看Taskmanager日志。
HBase表以“命名空间:表名”格式进行存储,若在创建表时不指定命名空间,则默认存储在“default”中。其中,“hbase”命名空间为系统表命名空间,请不要对该系统表命名空间进行业务建表或数据读写等操作。 功能分解 根据上述的业务场景进行功能分解,需要开发的功能点如表2所示。 表2 在HBase中开发的功能
限,只有HBase管理用户才有修改权限;其次检查发出该请求的IP的有效性,备集群只接收来自IP白名单中的机器发起的修改请求。IP白名单通过配置项“hbase.replication.allowedIPs”配置。 在FusionInsight Manager系统中,选择“集群 > 服务
群将终止服务,系统中的数据也将被永久删除。 图1 按需计费MRS集群生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 欠费后需要及时充值,详细操作请参见账户充值。 若MRS集群不再使用,您可以将该集群删除,以免继续扣费。 您可以在管理控制台选择页面上方的“费用
执行任务时AppAttempts重试次数超过2次还没有运行失败 问题 系统默认的AppAttempts运行失败的次数为2。 为什么在执行任务时,AppAttempts重试次数超过2次还没有运行失败? 回答 在执行任务过程中,若ContainerExitStatus的返回值为ABO
nodes:需要连接的IP,可登录CSS管理控制台,在集群列表的“内网访问地址”列即可查看对应集群的IP地址。 es.port:外部访问Elasticsearch集群端口,默认为9200。 es.resource:1创建的索引名称。 更多参数配置可参考开源社区文档https://www.elastic
Manager界面选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的名称,例如developrole,单击“确定”保存角色。 在“配置资源权限”的表格中选择“待操作集群的名称 > ClickHouse > Clickhouse管理员权限”。 选择“系统 > 权限 > 用户 >
单击“Attempt ID”列的ID 图4 单击“Logs” 使用具有当前Flink作业的管理操作权限的用户登录Manager,选择“集群 > 服务 > Flink”,单击“Flink WebUI”后的链接,单击“作业管理”,在作业的“操作”列选择“更多 > 作业详情”也可查看Taskmanager日志。