检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
User”下选择框选择用户。 单击“Add Permissions”,参照表格上述相关操作,根据需求,给用户勾选相应权限。 其他用户库表操作 参照表格上述操作添加对应权限。 给当前用户添加其他用户库表的HDFS路径的读、写、执行权限,具体配置请参考添加HDFS的Ranger访问权限策略。
客户端成功连接JDBCServer服务后,向JDBCServer服务发送SQL语句。 JDBCServer服务执行客户端发送的SQL语句后,将结果返回给客户端。 在HA方案中,每个JDBCServer服务(即实例)都是独立且等同的,当其中一个实例在升级或者业务中断时,其他的实例也能接受客户端的连接请求。
e”组,绑定角色“hive_hbase_create”,用于创建Hive表和HBase表。 如果当前组件使用了Ranger进行权限控制,需给“hive_hbase_create”或“hbase_creates_user”配置“Create”权限,具体操作可参考添加Hive的Ranger访问权限策略。
协议写入数据到Datanode1,再由DataNode1复制到DataNode2、DataNode3(三备份)。写完的数据,将返回确认信息给HDFS Client。 合理设置块大小,如设置dfs.blocksize为 268435456(即256MB)。 对于一些不可能重用的大数
MemoryStateBackend FsStateBackend RocksDBStateBackend 方式 Checkpoint数据直接返回给Master节点,不落盘 数据写入文件,将文件路径传给Master 数据写入文件,将文件路径传给Master 存储 堆内存 堆内存 Rocksdb(本地磁盘)
false hoodie.datasource.hive_sync.database 要同步给Hive的数据库名。 default hoodie.datasource.hive_sync.table 要同步给Hive的表名,建议这个值和hoodie.datasource.write.table
前提条件 开启细粒度权限控制的用户,权限管理请参考创建IAM用户并授权使用MRS。 需要对IAM的委托和OBS细粒度策略有一定了解。 给集群配置有OBS访问权限的委托 请参考配置MRS集群通过IAM委托对接OBS配置OBS访问权限的委托。 配置的委托对该集群上所有用户(包括内
再导入。 -append 将数据追加到hdfs中已经存在的dataset中。使用该参数,sqoop将把数据先导入到一个临时目录中,然后重新给文件命名到一个正式的目录中,以避免和该目录中已存在的文件重名。 -as-avrodatafile 将数据导入到一个Avro数据文件中。 -as-sequencefile
再导入。 -append 将数据追加到hdfs中已经存在的dataset中。使用该参数,sqoop将把数据先导入到一个临时目录中,然后重新给文件命名到一个正式的目录中,以避免和该目录中已存在的文件重名。 -as-avrodatafile 将数据导入到一个Avro数据文件中。 -as-sequencefile
再导入。 -append 将数据追加到HDFS中已经存在的dataset中。使用该参数,sqoop将把数据先导入到一个临时目录中,然后重新给文件命名到一个正式的目录中,以避免和该目录中已存在的文件重名。 -as-avrodatafile 将数据导入到一个Avro数据文件中。 -as-sequencefile
用户需要通过数据特征灵活配置HDFS文件数据块的存储节点。通过设置HDFS目录/文件对应一个标签表达式,同时设置每个DataNode对应一个或多个标签,从而给文件的数据块存储指定了特定范围的DataNode。当使用基于标签的数据块摆放策略,为指定的文件选择DataNode节点进行存放时,会根据文件
通过ECS创建或查询密钥对 通过终端节点获取区域信息 参考MRS服务支持的组件获取MRS版本及对应版本支持的组件信息 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/run-job-flow 表1 路径参数 参数 是否必选 参数类型 描述
如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 MRS Manager MRS客户端管理功能增强,客户端管理支持给客户端打补丁。 MRS支持运维巡检通道。 MRS服务集成StoreWorker/StoreMaster滚动重启,Manager新增滚动重启策略。
PARTITIONED BY能够用于指定分区的列;CLUSTERED BY能够被用于指定分桶的列;SORT BY和SORTED BY能够用于给指定的分桶列进行排序;BUCKETS能够被用于指定分桶数;EXTERNAL可用于指定创建外部表;STORED AS能被用于指定文件存储的格式
支持通过自定义弹性伸缩自动化脚本来解决。自动化脚本可以在弹性伸缩前后执行相应操作,自动适应业务负载的变化,免去了人工操作。同时,自动化脚本给用户实现个性需求提供了途径,完全自定义的脚本与多个可选的执行时机基本可以满足用户的各项需求,使弹性伸缩更具灵活性。 弹性伸缩规则: 用户对于
select sequence(1,30,5);-- [1, 6, 11, 16, 21, 26] shuffle(x)→ array 描述:根据给的数组随机排列获得一个新的数组。 select shuffle(array[1,2,3,4,5]);-- [1, 5, 4, 2, 3] select
解决meta缺少进程可用性健康检查的问题。 LdapServer数据一致性检查增强。 解决Executor扩容逻辑日志优化的问题。 解决tomcat重启过程中给管控面返回心跳服务为null导致扩容失败的问题。 解决mrs/mrsjob/下存在大量application目录未清理的问题。 解决历史作业
gionServer所有的Region进行恢复处理,RegionServer也将进行Region的批量open/close并一次性全部上报给HMaster。 该特性只支持将Region恢复到原来的RegionServer,因此该优化生效的前提为HMaster在创建TRSP时,故障
master需求。 capability object Capability对象。 vcores, memory, .. int 数值可消耗资源属性,给该命令定义分配“单元”。 count int 单元所需的数量。 relaxlocality boolean 本地化需求优先,如果不能满足则不强制满足。
master需求。 capability object Capability对象。 vcores, memory, .. int 数值可消耗资源属性,给该命令定义分配“单元”。 count int 单元所需的数量。 relaxlocality boolean 本地化需求优先,如果不能满足则不强制满足。