检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
set owner='user_name'”场景以外。 不允许创建Hive on HBase的分区表 Hive on HBase表将实际数据存储在HBase上。由于HBase会将表划分为多个分区,将分区散列在RegionServer上,因此不允许在Hive中创建Hive on HBase分区表。
指定参数值为“hdfs”表示Hadoop端使用HDFS。 在导入作业中,支持修改启动的map数量“-extractors”和数据导入到HDFS里存储的保存目录“-outputDirectory”。 在导出作业中,支持修改启动的map数量“-extractors”、从HDFS导出时的输入
#配置JDBC服务端端口 JDBC_PORT_NUM= #配置JDBC登录用户名 JDBC_USER_NAME= #配置JDBC登录用户密码 #密码明文存储存在安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全 JDBC_PASSWORD= #配置database表名 JDBC_BASE_TBL=
指定参数值为“hdfs”表示Hadoop端使用HDFS。 在导入作业中,支持修改启动的map数量“-extractors”和数据导入到HDFS里存储的保存目录“-outputDirectory”。 在导出作业中,支持修改启动的map数量“-extractors”、从HDFS导出时的输入
dc=hadoop,dc=com 系统随机生成 用于查询LDAP中存储的用户和用户组信息。 OMS LDAP用户 cn=pg_search_dn,ou=Users,dc=hadoop,dc=com 系统随机生成 用于查询OMS LDAP中存储的用户和用户组信息。 LDAP管理账户 cn=krbkdc
ignorePattern = ^$ client.sources.static_log_source.trackerDir = 传输过程中元数据存储路径 client.sources.static_log_source.maxBlobLength = 16384 client.sources
opengauss drs-opengauss-json Avro Schema Topic Ogg Kafka使用的Schema Topic以JSON格式存储表的Schema。 说明: “Datastore Type”为“ogg”(MRS 3.3.0及之后版本为“ogg-oracle-avro”)显示该参数。
点”,进入“配置Task节点”页面。 配置“节点类型”、“节点规格”、“节点数量”、“系统盘”,如开启“添加数据盘”后,还需要配置数据盘的存储类型、大小和数量。 单击“确定”。 弹性伸缩规则与资源计划叠加使用 登录MRS管理控制台。 选择“现有集群”,单击待操作的集群名称,进入集群详情页面。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 磁盘容量不足会导致Kafka写入数据失败。 可能原因 用于存储Kafka数据的磁盘配置(如磁盘数目、磁盘大小等),无法满足当前业务数据流量,导致磁盘使用率达到上限。 数据保存时间配置过长,数据累积达到磁盘使用率上限。
id='12005000201'; 删除用户信息表。 drop table user_info; 外部分区表的操作: 创建外部分区表并导入数据: 创建外部表数据存储路径: hdfs dfs -mkdir /hive/ hdfs dfs -mkdir /hive/user_info 建表: create
ignorePattern = ^$ client.sources.static_log_source.trackerDir = 传输过程中元数据存储路径 client.sources.static_log_source.maxBlobLength = 16384 client.sources
log-bin=master binlog_format=row Maxwell需要连接MySQL,并创建一个名称为maxwell的数据库存储元数据,且需要能访问需要同步的数据库,所以建议新创建一个MySQL用户专门用来给Maxwell使用。使用root登录MySQL之后,执行如
log-bin=master binlog_format=row Maxwell需要连接MySQL,并创建一个名称为maxwell的数据库存储元数据,且需要能访问需要同步的数据库,所以建议新创建一个MySQL用户专门用来给Maxwell使用。使用root登录MySQL之后,执行如
详情”区域,获取告警所在主机信息和故障磁盘信息。 确认上报告警的节点是否为虚拟化环境。 是,执行3。 否,执行6。 请检查虚拟化环境提供的存储性能是否满足硬件要求,检查完毕之后执行4。 以root用户登录告警节点,执行df -h命令,查看输出内容是否包含“磁盘名”字段的值。 是,执行6。
Permissions”,勾选“Alter”。 说明: Cluster的Alter权限可以对以下三种场景进行权限控制: Partition Reassign场景下,迁移副本的存储目录。 集群里各分区内部leader选举。 Acl管理(添加或删除)。 其中1和2都是集群内部Controller与Broker间、Bro
Permissions”,勾选“Alter”。 说明: Cluster的Alter权限可以对以下三种场景进行权限控制: Partition Reassign场景下,迁移副本的存储目录。 集群里各分区内部leader选举。 Acl管理(添加或删除)。 其中1和2都是集群内部Controller与Broker间、Bro
作业优先级,有效值:LOW/NORMAL/HIGH。 NORMAL -queue <arg> 队列。 default -storageType <arg> 存储类型。 HDFS -P <arg> 更新某个属性的值,格式:-Pparam1=value1,param1为作业模板中连接器对应的属性名称。
0及之后版本,如果已参考Hive表支持级联授权功能章节开启了Hive表的级联授权功能,则无需对表所在的HDFS路径进行授权操作。 Ranger策略中的URL策略是Hive表存储在OBS上的场景涉及,URL填写对象在OBS上的完整路径。与URL联合使用的Read,Write权限,其他场景不涉及URL策略。 Rang
户端来以命令行形式提交作业。 操作视频 本视频以在未开启Kerberos认证的MRS 3.1.0版本集群的管理控制台上,提交用于处理OBS存储的数据的Flink作业为例进行说明。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 前提条件 用户已经将作业所需的
Ranger策略可以匹配到Hive库表的文件或目录权限,则优先使用HDFS Ranger策略。 Ranger策略中的URL策略是hive表存储在obs上的场景涉及,URL填写对象在obs上的完整路径。与URL联合使用的Read,Write 权限,其他场景不涉及URL策略。 Ran