检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指定的数据库已存在,且该数据库的“hive.repl.ckpt.key”属性值与导入的路径一致,则跳过导入操作。 指定的数据库已存在,但是该数据库下不存在任何表和functions,导入的过程中只将源数据库下的表导入到当前数据库中;如果该数据库下存在表或functions会导入失败。
Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,称为HQL,它允许熟悉SQL的用户查询数据。Hive的数据计算依赖于MapReduce、Spark、Tez。
一个DataBase内,只允许有一个正在执行的恢复作业。 Doris数据恢复支持最小分区(Partition)级别的操作,当表的数据量很大时,建议按分区分别执行,以降低失败重试的代价。 因为备份恢复操作,操作的都是实际的数据文件。所以当一个表的分片过多,或者一个分片有过多的小版本时,可能即使总数据量很小,依然需要恢复很长时间。
MRS集群管理概述 MRS管理平台概述 用户可以在集群创建完成后,通过MRS管理控制台或MRS集群Manager查看集群基本信息并对集群进行管理和运维。 MRS管理控制台:用户可以通过MRS管理控制台的集群管理页面,进行集群概览查看、节点管理、组件管理、告警管理、文件管理、作业管理等操作。
切换MRS集群组件Ranger鉴权 新安装的已开启Kerberos认证的集群默认即安装了Ranger服务并启用了Ranger鉴权,用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权,集群管理员可在服务页面手动停用Ranger鉴权,停
用户可以在Manager界面配置Hive的SQL防御规则,根据业务调整对应SQL防御规则的参数。 前提条件 已安装包含Hive服务的集群客户端,例如安装目录为“/opt/hadoopclient”。 集群中Hive服务运行状态正常。 对于开启了Kerberos认证的集群,已创建具有Hive操作权限的用户。 使用约束
Int)相同,会将数据通过Shuffle的方式重新分区;当shuffle为false的时候,则只是简单的将父RDD的多个partition合并到同一个task进行计算,shuffle为false时,如果numPartitions大于父RDD的切片数,那么分区不会重新调整。 遇到下列场景,可选择使用coalesce算子:
设置合理数量的存储组可以带来性能的提升。既不会因为产生过多的存储文件(夹)导致频繁切换IO降低系统速度(并且会占用大量内存且出现频繁的内存-文件切换),也不会因为过少的存储文件夹(降低了并发度)导致写入命令阻塞。 用户应根据自己的数据规模和使用场景,平衡存储文件的存储组设置,以达到更好的系统性能。
模、数百以上的维度的大宽表,随时进行个性化统计和持续探索式查询分析,辅助商业决策,具有非常好的查询体验。 MRS对外提供了ClickHouse JDBC的应用开发样例工程,本实践用于指导您创建MRS集群后,获取并导入样例工程并在本地进行编译调测,用于实现MRS集群中的ClickH
QL关联HBase服务的操作。 前提条件 完成Spark客户端的安装,例如安装目录为“/opt/client”。 获取一个拥有MRS集群管理员权限的用户,例如“admin”。 操作步骤 Spark on HBase授权 用户如果需要使用类似SQL语句的方式来操作HBase表,授予
如果您不想放开VPC对应的全部IPv4网段的规则,请继续参考9~13添加切换前后两个子网对应的IPv4网段地址。若已完成VPC对应IPv4网段的规则添加,则无需执行操作。 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在“网络信息”区域的“默认生效子网”右侧单击“切换子网”。
批量比较判断:ALL,ANY和SOME 量词ALL,ANY和SOME可以参考以下方式,结合比较操作符一起使用: expression operator quantifier ( subquery ) 以下是一些量词和比较运算符组合的含义,ANY和SOME具有相同的含义,表中的ANY换为SOME也同样: 表达式 含义 A
Int)相同,会将数据通过Shuffle的方式重新分区;当shuffle为false的时候,则只是简单的将父RDD的多个partition合并到同一个task进行计算,shuffle为false时,如果numPartitions大于父RDD的切片数,那么分区不会重新调整。 遇到下列场景,可选择使用coalesce算子
Int)相同,会将数据通过Shuffle的方式重新分区;当shuffle为false的时候,则只是简单的将父RDD的多个partition合并到同一个task进行计算,shuffle为false时,如果numPartitions大于父RDD的切片数,那么分区不会重新调整。 遇到下列场景,可选择使用coalesce算子:
服,使退服的角色实例不再提供服务。 在排除故障后,可以将已退服的角色实例入服。 MRS集群支持退服、入服的角色实例包括: HDFS的DataNode角色实例 Yarn的NodeManager角色实例 HBase的RegionServer角色实例 ClickHouse的ClickHouseServer角色实例(MRS
配置Spark SQL防御规则 操作场景 用户可以在Manager界面配置Spark的SQL防御规则,根据业务调整对应SQL防御规则的参数。 前提条件 已安装包含Spark服务的集群客户端,安装目录如“/opt/hadoopclient”。 Spark服务运行状态正常。 在租户资
Open”。 在弹出的Open File or Project对话框中选择样例工程文件夹“hdfs-example-security”,单击“OK”。 将工程依赖的jar包添加到类路径。 如果通过开源镜像站方式获取的样例工程代码,在配置好Maven后(配置方式参考配置华为开源镜像仓),
--check-column 增量判断的字段 --incremental append或lastmodified 增量导入参数 append:追加,比如对大于last-value指定的值之后的记录进行追加导入。 lastmodified:最后的修改时间,追加last-value指定的日期之后的记录。 --last-value
最小资源:保证租户能获得的资源(有抢占支持)。取值可以是父租户资源的百分比或绝对值。当租户作业量比较少时,资源会自动借给其他租户,当租户能使用的资源不满足最小资源时,可以通过抢占来要回之前借出的资源。 最大资源:租户最多能使用的资源,租户不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。
QL关联HBase服务的操作。 前提条件 完成Spark客户端的安装,例如安装目录为“/opt/client”。 获取一个拥有MRS集群管理员权限的用户,例如“admin”。 操作步骤 Spark on HBase授权 用户如果需要使用类似SQL语句的方式来操作HBase表,授予