检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于某些业务要求,要求开发Spark应用程序实现如下功能: 根据用户名累计用户的历史消费金额,即用户总消费金额=100(用户当天的消费金额) + 1000(用户历史消费金额)。 上例所示,运行结果table2表用户key=1的总消费金额为cf:cid=1100元。 数据规划 在开
检查DBService主备实例状态是否正常。如果不正常,不能执行恢复操作。 停止依赖MRS集群运行的上层业务应用。 在MRS Manager停止所有待恢复数据的NameNode角色实例,其他的HDFS角色实例必须保持正常运行,恢复数据后重启NameNode。NameNode角色实例重启前无法访问。
该操作指导安装工程师在集群安装完成后,设置Flume服务(Flume角色)的服务端和客户端参数,使其可以正常工作。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群及Flume服务。 操作步骤 分别生成Flume角色服务端和客户端的证书和信任列表。 使用ECM远程以omm用户登录将要安装Fl
使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka”。 如需在页面上进行相关操作,例如创建Topic,需同时授予用户相关权限,请参考Kafka用户权限说明。 在“KafkaManager WebUI”右侧,单击URL链接,访问KafkaUI的页面。
contain a valid host:port authority报错 用户问题 安全集群Alluixo在HA模式下出现Does not contain a valid host:port authority的报错,如何处理? 问题现象 安全集群中,Alluixo在HA模式下出现Does
_NAME2为要查看的RegionServer的ServerName(可以登录FusionInsight Manager,选择“集群 > 服务 > HBase”,单击“HMaster WebUI”后的超链接进入HBase WebUI界面,在“Region Servers”区域的“Base
> 告警 > OBS元数据接口调用成功率低于阈值”,查看“定位信息”中的角色名并确定实例的IP地址。 选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta(对应上报告警实例IP地址)”。单击图表区域右上角的下拉菜单,选择“定制”,在“OBS元数据操作”中
TezUI界面无法查看Yarn日志 问题 登录Tez WebUI界面,单击Logs跳转yarn日志界面失败,无法加载数据。 回答 Tez WebUI跳转Yarn Logs界面时,目前是通过hostname进行访问,需要在windows机器,配置hostname到ip的映射。具体方法为:
HBase文件丢失导致Region状态长时间为RIT 用户问题 数据迁移到新集群后,HBase的Region状态为RIT或FAILED_OPEN。 原因分析 登录到集群的Core节点查看RegionServer日志,报错: “Region‘3b3ae24c65fc5094bc2a
图1 配置用户创建topic的权限 用户使用Linux命令行创建topic,执行命令前需要使用kinit命令进行人机认证,如:kinit flinkuser。 flinkuser需要用户自己创建,并拥有创建Kafka的topic权限。具体操作请参考准备MRS应用开发用户章节。 创建topic的命令格式:
者。如果所有的消费者实例都属于同样的消费组,它们就以传统队列负载均衡方式工作。如上图中,Consumer1与Consumer2之间为负载均衡方式;Consumer3、Consumer4、Consumer5与Consumer6之间为负载均衡方式。如果消费者实例都属于不同的消费组,则
原理介绍 HBase支持对同一张表的数据进行冷热分离存储。用户在表上配置数据冷热时间分界点后,HBase会依赖用户写入数据的时间戳(毫秒)和时间分界点来判断数据的冷热。数据开始存储在热存储上,随着时间的推移慢慢往冷存储上迁移。同时用户可以任意变更数据的冷热分界点,数据可以从热存储到冷存储,也可以从冷存储到热存储。
告警 > OBS数据写操作接口调用成功率低于阈值”,查看“定位信息”中的角色名并确定实例的IP地址。 选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta(对应上报告警实例IP地址)”。单击图表区域右上角的下拉菜单,选择“定制”,在“OBS数据写操作”中
Loader支持批量删除已有作业。 前提条件 当前用户具备待删除作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务
源ClickHouse。设置为true,则支持对接开源ClickHouse 单击“保存”,在弹窗页面中单击“确定”,保存配置。单击“实例”,勾选ClickHouseServer实例,选择“更多 > 滚动重启实例”,重启ClickHouseServer实例。 父主题: ClickHouse企业级能力增强
删除HBase表数据 功能简介 HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中。
X_POLICY_REF_ACCESS_TYPE_SEQ”等关于数据库信息,如何解决并正常安装Ranger? 回答 该现象可能出现在安装两个RangerAmdin实例的场景下。 安装失败后,您可以登录Manager页面,先手动重启一个RangerAdmin,然后再逐步重启其他实例。 父主题: Ranger故障排除
start=3y-ago\&m=sum:testdata | python -m json.tool <tsd_ip>:所需访问Opentsdb服务的TSD实例IP或主机名。 <start=3y-ago\&m=sum:testdata>:在请求中可能无法识别“&”符号,需对其进行转义。
PartitionName 产生告警的设备分区名。 对系统的影响 造成服务数据无法写入,业务系统运行不正常。 可能原因 硬盘存在坏道等故障。 处理步骤 登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警所在行。 在“告警详情”区域,从“定位信息”中获取“HostName”
#checkBlockplacementLog checkAutoDiskBalancer } 保存文件后,登录Manager,选择“集群 > 服务 > HDFS > 实例”,勾选所有NameNode实例,选择“更多 > 重启实例”。 父主题: 使用HDFS