检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 前提条件 已安装Ranger服务且服务运行正常。 已启用Hive服务的Ranger鉴权功能,并且需要先重启Hive服务,再重启Spark服务,再启用Spark服务的Ranger鉴权。启
中的Policy Conditions),spark-submit与spark-sql不支持。 前提条件 已安装Ranger服务且服务运行正常。 已启用Hive服务的Ranger鉴权功能,并且需要先重启Hive服务,再重启Spark服务,再启用Spark服务的Ranger鉴权。启
在HA方案中,每个ProxyServer服务(即实例)都是独立且等同的,当其中一个实例在升级或者业务中断时,其他的实例也能接受客户端的连接请求。 URL连接介绍 多租户模式 多租户模式的客户端读取ZooKeeper节点中的内容,连接对应的ProxyServer服务。连接字符串为:
/bin/kafka-balancer.sh --clean --zookeeper <ZooKeeper的任意一个节点的业务IP:zkPort/kafka> 一般在迁移没有正常执行完成时用来清理ZooKeeper上的中间状态信息。 Kafka集群IP端口号安全模式下是21007,普通模式下是9092。 异常情况处理
ERROR表示记录当前时间处理存在错误信息。 WARN WARN表示记录当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改实例的运行日志或审计日志级别,请执行如下操作: 登录FusionInsight
本章节只适用Storm与JDBC组件间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认产品Storm组件已经安装,且正常运行。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\storm-examples”目录下的样例工程文件夹storm-e
原因:保障退服节点数据迁移到未退服节点。 Kudu/KuduTserver 规则:KuduTserver退服时,集群中的其他Kudu实例节点都必须处于正常状态才能退服,否则会导致退服失败。 原因:KuduTserver退服时要执行rebalance命令,将被退服实例上的tablet迁移到集群
Python3开发工具的详细安装配置可参见配置Hive Python3样例工程。 准备运行环境 进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。 如果本地Windows开发环境和集群业务平面网络互通,可下载集群客户端到本地,获取相关调测程序所需的集群配置文件及配置网络连通后,然后直接在Windows中进行程序调测。
查看作业管理界面,作业状态为“运行中”。 参考管理Kafka Topic中的消息,执行以下命令查看Sink表中是否接收到数据,即查看Kafka topic是否正常写入数据,如下图所示。 sh kafka-console-consumer.sh --topic customer_sink --bootstrap-server
约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 node_group 是 String 参数解释: 弹性伸缩规则适用的节点类型,当前只支持task节点。
项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 tags 否 Array of TagWithMultiValue objects 参数解释:
作步骤如下: 登录MRS管理控制台,单击待操作的MRS集群,在集群“概览”页面单击“集群管理页面”后的,在打开的页面中进行切换。 如果不能正常登录组件的WebUI页面,请参考通过ECS访问FusionInsight Manager方式访问FusionInsight Manager。
语句,使Loader可通过SQL语句查询结果并作为导入的数据。SQL语句需要有查询条件“WHERE ${CONDITIONS}”,否则无法正常工作。例如,“select * from TABLE WHERE A>B and ${CONDITIONS}”。如果同时配置“表列名”,S
本章节只适用Storm与JDBC组件间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认华为MRS产品Storm组件已经安装,且正常运行。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\storm-examples”目录下的样例工程文件夹storm-e
语句,使Loader可通过SQL语句查询结果并作为导入的数据。SQL语句需要有查询条件“WHERE ${CONDITIONS}”,否则无法正常工作。例如,“select * from TABLE WHERE A>B and ${CONDITIONS}”。如果同时配置“表列名”,S
服务 表2 重启策略以及影响 组件名称 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启10个节点耗时约20分钟。 DBService 直接重启 重启期间影
重启服务会造成业务中断,滚动重启可以尽量减少或者不影响业务运行。 重启Ranger组件会影响所有受Ranger控制组件的权限,可能影响业务的正常运行,请在集群空闲或业务量较少时执行重启。重启Ranger组件前,Ranger中的策略依然生效。 图8 重启服务 启用需要鉴权的组件的Ranger鉴权。此处以Hive组件为例。
用户在开发Spark应用程序时,某些场景下,需要Spark与Hadoop、HBase等之间进行通信。那么Spark应用程序中需要写入安全认证代码,确保Spark程序能够正常运行。 安全认证有三种方式: 命令认证: 提交Spark应用程序运行前,或者在使用CLI连接SparkSQL前,在Spark客户端执行如下命令获得认证。
meService名称。默认值为“hacluster”。 “队列名称”:填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “NFS”:表示将备份文件通过NFS协议保存在NAS中。选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的I
“最大备份数”:填写备份目录中可保留的备份文件集数量。 “队列名称”:填写备份任务执行时使用的Yarn队列的名称。需和源集群中已存在且状态正常的队列名称相同。 “NFS”:表示将备份文件通过NFS协议保存在NAS中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的