检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
确定”,再单击“搜索”。 查看搜索结果中“服务”列为与Hive、ZooKeeper相关的服务,检查近期修改的配置,表1为部分可能影响Hive连接ZooKeeper的配置。 表1 Hive连接ZooKeeper的相关配置 服务 参数名称 参数说明 Hive HIVE_GC_OPTS H
假定Hive的person表存储用户当天消费的金额信息,HBase的table2表存储用户历史消费的金额信息。 现person表有记录name=1,account=100,表示用户1在当天消费金额为100元。 table2表有记录key=1,cf:cid=1000,表示用户1的历史消息记录金额为1000元。
包括作业的编辑“编辑”与执行“执行”权限。 “作业调度”:Loader的作业调度权限。 表1 设置Loader角色 任务场景 角色授权操作 设置Loader管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Loader”,勾选“管理员”。 设置Loader的连接权限
包括作业的编辑“编辑”与执行“执行”权限。 “作业调度”:Loader的作业调度权限。 表1 设置Loader角色 任务场景 角色授权操作 设置Loader管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Loader”,勾选“管理员”。 设置Loader的连接权限
设置HBase管理员权限以及HBase表和列族的读(R)、写(W)、创建(C)、执行(X)或管理(A)权限。 用户需要在HBase中对指定的数据库或表设置权限,才能够创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访问HBase表。 仅开启了Kerberos认证的集群(安全模式)支持创建HBase角色。
迁移Kafka节点内数据 操作场景 用户可以根据业务需求,通过Kafka客户端命令,在不停止服务的情况下,进行节点内磁盘间的分区数据迁移。也可以通过KafkaUI进行分区迁移。 前提条件 MRS集群管理员已明确业务需求,并准备一个Kafka用户(属于kafkaadmin组,普通模式不需要)。
配置“基本配置”,填写数据源名称,选择数据源类型“JDBC > Oracle”。 配置“Oracle配置”,参数配置请参考表1 Oracle配置。 表1 Oracle配置 参数 描述 取值样例 驱动名称 选择2中已提前上传的待使用的Oracle驱动,格式为ojdbcxxx.jar。
”等。 “安全级别”:表示每条审计日志的安全级别,包含“高危”、“危险”、“一般”和“提示”四种。 “开始时间”:表示用户操作开始的时间,且时间为CET或CEST时间。 “结束时间”:表示用户操作结束的时间,且时间为CET或CEST时间。 “用户IP”:表示用户操作时所使用的IP地址。
迁移Kafka节点内数据 操作场景 用户可以根据业务需求,通过Kafka客户端命令,在不停止服务的情况下,进行节点内磁盘间的分区数据迁移。也可以通过KafkaUI进行分区迁移。 前提条件 MRS集群管理员已明确业务需求,并准备一个Kafka用户(属于kafkaadmin组,普通模式不需要)。
org/docs/r3.1.1/hadoop-project-dist/hadoop-common/FileSystemShell.html 表1 透明加密相关命令 场景 操作 命令 描述 hadoop shell命令管理密钥 创建密钥 hadoop key create<keyname>
org/docs/r3.1.1/hadoop-project-dist/hadoop-common/FileSystemShell.html 表1 透明加密相关命令 场景 操作 命令 描述 hadoop shell命令管理密钥 创建密钥 hadoop key create<keyname>
org/docs/r3.1.1/hadoop-project-dist/hadoop-common/FileSystemShell.html 表1 透明加密相关命令 场景 操作 命令 描述 hadoop shell命令管理密钥 创建密钥 hadoop key create<keyname>
ms所规定时间之后开始执行删,可以通过查看kafka的server.log检索是否有delete字段来判断删除操作是否生效,有delete字段则表示已经生效,也可以通过执行df -h命令查看磁盘的数据量占用情况判断设置是否生效。 父主题: 使用Kafka
/home/flinkuser/keytab/abc222.keytab “/home/flinkuser/keytab/abc222.keytab”表示的是用户目录,为1中放置目录。 请确保客户端用户具备对应目录权限。 principal名。 security.kerberos.login
Manager(含DBService、KrbServer和LdapServer)使用的认证方式为用户名密码方式。组件使用的认证机制如表1所示。 表1 组件认证方式一览表 服务 认证方式 IoTDB simple认证 CDL 无认证 ClickHouse simple认证 Flume 无认证
权限委托,使得集群内组件能够对接OBS并具有对应文件系统目录的操作权限。 您可以直接选择“MRS_ECS_DEFAULT_AGENCY”,也可以自行创建其他具有OBS文件系统操作权限的自定义委托。 集群购买成功后,在MRS集群的任一节点内,使用omm用户安装集群客户端,具体操作可参考安装并使用集群客户端。
--help 常用客户端命令请参考表1和表2。 更多HDFS命令行参考请参见官网:http://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/FileSystemShell.html 表1 透明加密相关命令 场景
当前IAM用户名中存在空格时(例如admin 01),不支持添加作业。 单击“作业管理”,在作业列表界面单击“添加”。 “作业类型”选择“Flink”并参考表1配置Flink作业信息。 图1 添加Flink作业 表1 作业配置信息 参数 描述 示例 作业名称 作业名称,只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符。
假定Hive的person表存储用户当天消费的金额信息,HBase的table2表存储用户历史消费的金额信息。 现person表有记录name=1,account=100,表示用户1在当天消费金额为100元。 table2表有记录key=1,cf:cid=1000,表示用户1的历史消息记录金额为1000元。
MRS组件应用开发流程说明 通常MRS组件应用开发流程如下所示,各组件应用的开发编译操作可参考组件开发指南对应章节。 图1 MRS组件应用开发流程 表1 MRS组件应用开发流程说明 阶段 说明 准备开发环境 在进行应用开发前,需首先准备开发环境,推荐使用IntelliJ IDEA工具,同时