检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Hudi-Cli.sh操作Hudi表 前提条件 对于开启了Kerberos认证的安全模式集群,已在集群FusionInsight Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点,执行如下命令:
增加分区 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka”。 如需在页面上进行相关操作,例如创建Topic,需同时授予用户相关权限,请参考Kafka用户权限说明。 在“KafkaManager
如果服务端关闭了SSL配置,则需在客户端需也关闭SSL配置才能通信,操作为: cd 客户端安装目录/IoTDB/iotdb/conf vi iotdb-client.env 将“iotdb_ssl_enable”参数的值修改为“false”,保存并退出。 其中,服务端SSL配置,可登录FusionInsight
Impala启用并配置动态资源池 本文介绍如何使用动态资源池控制impala并发。 问题背景 客户需要使用动态资源池控制impala并发。 登录到集群的master1节点上,然后切换到omm用户下,在/home/omm目录下创建fair-scheduler.xml、llama-site
Sqoop常用命令及参数介绍 更多Sqoop命令参数请参考Sqoop官方文档:https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html Sqoop常用命令介绍 表1 Sqoop常用命令介绍 命令 说明 import 数据导入到集群
Spark运维管理 快速配置Spark参数 Spark常用配置参数 Spark日志介绍 获取运行中Spark应用的Container日志 调整Spark日志级别 配置WebUI上查看Container日志 配置WebUI上显示的Lost Executor信息的个数 配置JobHistory本地磁盘缓存
读取Hudi cow表视图 实时视图读取(Hive,SparkSQL为例):直接读取Hive里面存储的Hudi表即可,${table_name}表示表名称。 select count(*) from ${table_name}; 实时视图读取(Spark dataSource A
读取Hudi mor表视图 mor表同步给Hive后,会在Hive表中同步出:“表名+后缀_rt”和“表名+后缀_ro”两张表。其中后缀为rt表代表实时视图,后缀为ro的表代表读优化视图。例如:同步给Hive的hudi表名为${table_name}, 同步Hive后hive表中
DROP删除表 本章节主要介绍ClickHouse删除表的SQL基本语法和使用说明。 基本语法 DROP [TEMPORARY] TABLE [IF EXISTS] [database_name.]name [ON CLUSTER cluster] [SYNC] 使用示例 --删除表t1
HBase集群容灾高可用 配置HBase主备集群容灾 HBase容灾集群主备倒换 HBase容灾集群业务切换指导 父主题: HBase运维管理
ZooKeepe地址 选择“服务配置”页签,搜索“clientPort”参数,该参数的值即为ZooKeeper的端口。 方法二:通过Manager界面获取 登录Manager界面。 在Manager界面获取ZooKeeper的IP地址和端口。 针对MRS 3.x之前版本集群 选择“服务管理 > ZooKeeper
”,等待5分钟左右即可访问到用户B创建的表。 MRS 3.x及之后版本: 登录FusionInsight Manager,选择“集群 > 服务 > Hive > 更多”,查看“启用Ranger鉴权”是否置灰。 是,执行9。 否,执行2-8。 登录FusionInsight Manager,选择“系统
购买MRS集群时,找不到ZooKeeper组件如何处理? 问: 购买MRS集群时,为什么找不到ZooKeeper组件? 答: 创建MRS 3.x之前版本集群时,ZooKeeper组件为默认安装的组件,不在创建集群的界面上显示。 集群创建完成后可在集群“组件管理”页签看到ZooKeeper组件。
如果您需要修改日志级别,请执行如下操作: 参考修改集群服务配置参数进入Hue服务“全部配置”页面。 在左侧导航栏选择需修改的角色所对应的“日志”菜单。 在右侧选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 重新启动配置过期的服务或实例以使配置生效。 日志格式 Hue的日志格式如下所示:
下载客户端配置文件。 登录MRS Manager页面,具体请参见访问集群Manager,然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-
ftp-connector或sftp-connector目的连接属性 参数 说明 写入目录 最终数据在文件服务器保存时的具体目录。必须指定一个目录。 文件格式 Loader支持文件服务器中存储数据的文件格式,默认支持以下两种: CSV_FILE:表示文本格式文件。目的连接为数据库型连接时,只支持文本格式。
配置Hive读取关系型数据库数据 操作场景 Hive支持创建与其他关系型数据库关联的外表。该外表可以从关联到的关系型数据库中读取数据,并与Hive的其他表进行Join操作。 目前支持使用Hive读取数据的关系型数据库如下: DB2 Oracle 本章节适用于MRS 3.x及后续版本。
Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面
Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面
Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面