检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Tez提供Tez任务执行过程图形化展示功能,使用户可以通过界面的方式查看Tez任务执行细节。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装Yarn服务的TimelineServer实例。 使用介绍 登录Manager系统,具体请参见访问FusionInsight Manager(MRS
jar”目录下的所有jar文件和“clickhouse-examples”目录下的“conf”文件夹复制到ClickHouse客户端安装目录下,例如“客户端安装目录/JDBC”目录下。 登录客户端节点,进入jar文件上传目录下,修改文件权限为700。 cd /opt/client chmod
提交Storm拓扑失败,提示Failed to check principle for keytab 问题背景与现象 使用MRS流式安全集群,主要安装ZooKeeper、Storm、Kafka等。 定义拓扑访问HDFS、HBase等组件,使用客户端命令,提交Topology失败。 可能原因
ooKeeper的组件可能无法正常运行。 可能原因 ZooKeeper实例状态异常。 磁盘容量不足。 网络故障。 ZooKeeper节点上安装了DNS。 处理步骤 检查ZooKeeper服务实例状态。 在MRS集群详情页面,单击“组件管理 > ZooKeeper > quorumpeer”。
指导运维工程师停止、启动Flume客户端,以及在不需要Flume数据采集通道时,卸载Flume客户端。 操作步骤 停止Flume角色的客户端。 假设Flume客户端安装路径为“/opt/FlumeClient”,执行以下命令,停止Flume客户端: cd /opt/FlumeClient/fusionin
I根据实例不同分为如下三种: StateStore WebUI:用于管理节点。 Catalog WebUI:用于查看元数据。 前提条件 已安装Impala服务的集群。 访问StateStore WebUI 登录Manager页面,请参见访问集群Manager。 选择“服务 > Impala”。
jar”目录下的所有jar文件和“clickhouse-examples”目录下的“conf”文件夹复制到ClickHouse客户端安装目录下,例如“客户端安装目录/JDBC”目录下。 登录客户端节点,进入jar文件上传目录下,修改文件权限为700。 cd /opt/Bigdata/client
conf”文件夹复制到ClickHouse客户端安装目录下,例如“客户端安装目录/JDBC”目录或“客户端安装目录/JDBCTransaction”目录下。 “客户端安装目录/JDBC”目录,用来调测JDBC二次样例; “客户端安装目录/JDBCTransaction”目录,用来调测事务二次样例。
conf”文件夹复制到ClickHouse客户端安装目录下,例如“客户端安装目录/JDBC”目录或“客户端安装目录/JDBCTransaction”目录下。 “客户端安装目录/JDBC”目录,用来调测JDBC二次样例; “客户端安装目录/JDBCTransaction”目录,用来调测事务二次样例。
WebUI查看任务执行结果 Tez WebUI界面提供Tez任务执行过程图形化展示功能,使用户可以通过界面的方式查看Tez任务执行细节。 前提条件 当前MRS集群已安装Yarn服务的TimelineServer实例。 登录Tez WebUI界面 登录Manager系统,具体请参见访问集群Manager,在Manager界面选择“集群
选择一个存储数据的格式。 需要使用分隔符分隔数据时,选择“Delimited”,然后执行5。 需要使用序列化格式保存数据时,选择“SerDe”,执行6。 配置分隔符。 在“Field terminator”设置一个列分隔符。 如果分隔符不在列表中,选择“Other..”,然后输入新定义的分隔符。
用户可在程序中设置option("checkpointLocation", "checkpoint路径")启用checkpoint。 从checkpoint恢复时,应用程序或者配置可能发生变更,有部分变更会导致从checkpoint恢复失败,具体限制如下: 不允许source的个数或者类型发生变化。 source的参
用户可在程序中设置option("checkpointLocation", "checkpoint路径")启用checkpoint。 从checkpoint恢复时,应用程序或者配置可能发生变更,有部分变更会导致从checkpoint恢复失败,具体限制如下: 不允许source的个数或者类型发生变化。 source的参
ython应用提供Spark的各种功能,如连接Spark集群、创建RDD、广播变量等。 pyspark.SparkConf:Spark应用配置类。如设置应用名称,执行模式,executor内存等。 pyspark.RDD(Resilient Distributed Dataset
用户可在程序中设置option("checkpointLocation", "checkpoint路径")启用checkpoint。 从checkpoint恢复时,应用程序或者配置可能发生变更,有部分变更会导致从checkpoint恢复失败,具体限制如下: 不允许source的个数或者类型发生变化。 source的参
指导运维工程师停止、启动Flume客户端,以及在不需要Flume数据采集通道时,卸载Flume客户端。 操作步骤 停止Flume角色的客户端。 假设Flume客户端安装路径为“/opt/FlumeClient”,执行以下命令,停止Flume客户端: cd /opt/FlumeClient/fusionin
I根据实例不同分为如下三种: StateStore WebUI:用于管理节点。 Catalog WebUI:用于查看元数据。 前提条件 已安装Impala服务的集群。 访问StateStore WebUI 登录Manager页面,请参见访问FusionInsight Manager(MRS
提交Storm拓扑失败排查思路 问题背景与现象 使用MRS流式集群,主要安装ZooKeeper、Storm、Kafka。 使用客户端命令,提交Topology失败。 可能原因 Storm服务异常。 客户端用户没有进行安全认证或者认证过期。 提交拓扑中包含storm.yaml文件和服务端冲突。
用户需要使用图形化界面在集群中执行HetuEngine语句时,可以通过Hue完成任务。 本章节适用于MRS 3.3.0及之后版本。 前提条件 需要MRS集群已安装HetuEngine组件并添加HSFabric实例。HSFabric实例的新增,删除,迁移和端口的修改,都需要重启Hue服务。 已在集群中
不带参数调用大多数命令时会显示帮助信息。 Superior resourcepool命令: 该命令显示Resource Pool和相关策略的相关状态以及配置信息。 Superior resourcepool命令仅用于管理员用户及拥有yarn管理权限的用户。 用法输出: >superior resourcepool