检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
P服务器导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取SFTP服务器使用的用户和密码,且该用户具备SFTP服务器上源文件的读取权限。若源文件在导入后文件名要增加后缀,则该用户还需具备源文件的写入权限。
mapreduce.examples.FemaleInfoCollector <inputPath> <outputPath> 此命令包含了设置参数和提交job的操作,其中<inputPath>指HDFS文件系统中input的路径,<outputPath>指HDFS文件系统中output的路径。
<outputPath> 此命令包含了设置参数和提交job的操作,其中<inputPath>指HDFS文件系统中input的路径,<outputPath>指HDFS文件系统中output的路径。 在执行以上命令之前,需要把log1.txt和log2.txt这两个文件上传到HDFS的<
置。 以HetuEngine User和Data Source User键值对的形式配置多个HetuEngine的用户对应上面多个用户的其中一个。当使用不同的HetuEngine用户访问GaussDB时,可对应用不同的GaussDB的用户和密码。 表3 HetuEngine-GaussDB用户映射配置
> HDFS > 文件系统 > hdfs://hacluster/ >user >hive”,勾选“warehouse”的“读”、“写”和“执行”,单击“确定”保存。 编辑角色,在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”,勾选“def
OBS导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取SFTP服务器使用的用户和密码,且该用户具备SFTP服务器数据导出目录的写入权限。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。
该任务指导用户使用Loader将数据从FTP服务器导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 获取FTP服务器使用的用户和密码,且该用户具备FTP服务器上源文件的读取权限。若源文件在导入后文件名要增加后缀,则该用户还需具备源文件的写入权限。 检
指定为具体的表字段 hoodie.datasource.write.payload.class 在更新过程中,该类用于提供方法将要更新的记录和更新的记录做合并,该实现可插拔,如要实现自己的合并逻辑,可自行编写。 org.apache.hudi.common.model.Defaul
选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 子网 subnet-default 选择需要创建集群的子网,可进入VPC服务查看VPC下已创建的子网名称和ID。如果VPC下未创建子网,请单击“创建子网”进行创建。 集群节点
在集群Master节点和Core节点的安全组添加安全组规则使弹性云服务器可以访问集群,若集群为安全集群则需要同时将UDP的21731、21732端口,TCP的21730、21731、21732及HBase的HMaster、RegionServer实例的RPC端口和ZooKeeper服
管控分离部署,管理角色和控制角色分别部署在不同的Master节点中。 管控合设部署,管理角色和控制角色共同部署在Master节点中。 组件分开部署,避免资源争抢。 MRS集群部署类型说明 表1 MRS集群部署类型 常用模板 说明 节点数量范围 管控合设 管理角色和控制角色共同部署在M
th的所有者和具有RWX权限。 DROP TABLE table_a 是表table_a的所有者。 ALTER TABLE table_a SET LOCATION "hdfs_path" 是表table_a的所有者,是HDFS上的数据路径hdfs_path的所有者和具有RWX权限。
其他配置参数详细信息,请参见购买弹性云服务器。 如果ECS的安全组和Master节点的“默认安全组”不同,用户可以选择以下任一种方法修改配置: 将ECS的安全组修改为Master节点的默认安全组,请参见更改安全组。 在集群Master节点和Core节点的安全组添加两条安全组规则使ECS可以访问
不涉及 charge_info 否 ChargeInfo object 参数解释: 节点组的计费类型,Master和Core节点组是和集群的计费类型一致,Task节点组可以和集群的计费类型不同。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 auto_scaling_policy
其他配置参数详细信息,请参见购买弹性云服务器。 如果ECS的安全组和Master节点的“默认安全组”不同,用户可以选择以下任一种方法修改配置: 将ECS的安全组修改为Master节点的默认安全组,请参见更改安全组。 在集群Master节点和Core节点的安全组添加两条安全组规则使ECS可以访问
务器导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取SFTP服务器使用的用户和密码,且该用户具备SFTP服务器上源文件的读取权限。如果源文件在导入后文件名要增加后缀,则该用户还需具备源文件的写入权限。
只能在观察期内,做切换回Capacity调度器的操作。 在观察期内,不允许对资源池、Yarn节点标签(Label)和租户做添加、删除的操作。 如果对资源池、Yarn节点标签(Label)和租户做了添加、删除的操作,切换回Capacity调度器后可能导致资源池或者队列信息不存在,Capacity调度器异常,无法正常运行。
务器导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取SFTP服务器使用的用户和密码,且该用户具备SFTP服务器上源文件的读取权限。若源文件在导入后文件名要增加后缀,则该用户还需具备源文件的写入权限。
选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 子网 subnet-default 选择需要创建集群的子网,可进入VPC服务查看VPC下已创建的子网名称和ID。如果VPC下未创建子网,请单击“创建子网”进行创建。 集群节点
jks”证书的导出文件,“-f”配置项是证书和证书库的密码; “flume_cChat.jks”是Flume角色客户端的证书库,“flume_cChat.crt”是“flume_cChat.jks”证书的导出文件,“-g”配置项是证书和证书库的密码; “flume_sChatt.jks”和“flume_cChatt