检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用客户端提交Storm拓扑 操作场景 用户可以根据业务需要,在集群的客户端中提交Storm拓扑,持续处理用户的流数据。启用Kerberos认证的集群,需要提交拓扑的用户属于“stormadmin”或“storm”组。 前提条件 已刷新客户端。 操作步骤 根据业务情况,准备好客户端,登录安装客户端的节点。
删除MRS集群 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除或退订操作。当MRS集群部署失败时,集群会被自动删除或退订。 对于按需收费模式集群,如果作业执行结束后不需要集群, 可以删除MRS集群。集群删除或退订后不再产生费用。 对于包年包月模式集群无法执行删除操作,如果作业执行结束后不需要集群,
MRS集群Core节点扩容成功后部分实例启动失败 问题现象 Core节点扩容可能存在扩容节点完成,但节点上存在启动失败的实例的情况,现象如下: Core节点已经扩容完成,节点管理页面可以看到新扩容的节点: 任务管理中有添加节点的任务失败或部分成功: 若IAM用户已同步,可在组件管理观察到存在未启动角色。
使用Kafka Token认证 操作场景 Token认证机制是一种轻量级身份认证机制,无需访问Kerberos认证,可在API中使用。 代码样例 Token认证机制支持API,用户可在二次开发样例的Producer()和Consumer()中对其进行配置。 Producer()配置的样例代码如下:
配置ZooKeeper ZNode ACL 操作场景 该操作指导用户对ZooKeeper的znode设置权限。 ZooKeeper通过访问控制列表(ACL)来对znode进行访问控制。ZooKeeper客户端为znode指定ACL,ZooKeeper服务器根据ACL列表判定某个请
使用Scan API读取HBase表数据 功能简介 要从表中读取数据,首先需要实例化该表对应的Table实例,然后创建一个Scan对象,并针对查询条件设置Scan对象的参数值,为了提高查询效率,最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScan
准备Presto应用开发用户 开发用户用于运行样例工程。用户需要有Presto权限,才能运行Presto样例工程。若MRS集群开启了Kerberos认证需要执行该步骤,没有开启Kerberos认证的集群请忽略该步骤。 操作步骤 登录MRS Manager页面。 单击“系统设置 >
准备Impala应用开发用户 开发用户用于运行样例工程。用户需要有Impala权限,才能运行Impala样例工程。 前提条件 MRS服务集群开启了Kerberos认证时请执行该步骤,没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager。 单击“系统设置
ALM-27004 DBService主备数据不同步(2.x及以前版本) 告警解释 DBService主备数据不同步,每10秒检查一次主备数据同步状态,如果连续6次查不到同步状态,或者同步状态不正常,产生告警。 当同步状态正常,告警恢复。 告警属性 告警ID 告警级别 可自动清除
数据保护技术 数据完整性 通过数据校验,保证数据在存储、传输过程中的数据完整性。 MRS的用户数据保存在HDFS中,HDFS默认采用CRC32C算法校验数据的正确性,同时也支持CRC32校验算法,CRC32C校验速度快于CRC32。HDFS的DataNode节点负责存储校验数据,
切换MRS集群组件Ranger鉴权 新安装的已开启Kerberos认证的集群默认即安装了Ranger服务并启用了Ranger鉴权,用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权,集群管理员可在服务页面手动停用Ranger鉴权,停
ALM-25500 KrbServer服务不可用(2.x及以前版本) 告警解释 系统按30秒周期性检测组件KrbServer的服务状态。当检测到组件KrbServer服务异常时产生该告警。 当检测到组件KrbServer服务恢复时告警恢复。 告警属性 告警ID 告警级别 可自动清除
添加OBS的Ranger访问权限策略 操作场景 Ranger管理员可以通过Ranger为OBS用户配置OBS目录或文件的读、写权限。 本章节仅适用于MRS 3.3.0-LTS及之后版本。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户组。 已安装Guardian服务。
在Hue WebUI使用作业浏览器 操作场景 用户需要使用图形化界面查看集群中所有作业时,可以通过Hue完成任务。 访问“Job Browser” 访问Hue WebUI,请参考访问Hue WebUI界面。 单击“Job Browser”。 默认显示当前集群的所有作业。 “Job
长整型时间转换 概述 “长整型时间转换”算子,用于配置长整型数值与日期的转换。 输入与输出 输入:需要转换的字段 输出:转换后的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换类型 配置长整型时间转换类型: long to date:长整型数值转换为DATE类型。
查看Kafka Topic信息 操作场景 用户可以在Manager或KafkaUI上查看Kafka已创建的主题信息。 在Manager查看Kafka Topic信息 登录FusionInsight Manager,具体请参见访问集群Manager。然后选择“集群 > 服务 > Kafka”。
长整型时间转换 概述 “长整型时间转换”算子,用于配置长整型数值与日期的转换。 输入与输出 输入:需要转换的字段 输出:转换后的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换类型 配置长整型时间转换类型: long to date:长整型数值转换为DATE类型。
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业(applicat
在Flink WebUI和Linux中调测Flink应用 操作场景 IoTDB应用程序支持在安装了Flink客户端的Linux环境和安装了Flink WebUI的环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的环境中运行。 前提条件 集群已安装Flink组件,并且添加了FlinkServer实例。
如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 问题 Flink内核升级到1.3.0之后,当Kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProducer010去构造函数时,运行时会报错。