检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“作业管理”的“表/文件迁移”页签,单击“新建作业”。 进入作业参数配置界面,配置作业名称,并分别为源连接和目的连接选择步骤 5中创建的对应数据连接并选择要迁移的数据库和表名,单击“下一步”。 图3 Hive作业配置 配置源字段和目的字段的映射关系, 并单击“下一步”。 进入任务配置页面,不做修改,直接单击“保存”。
集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 无 响应参数 状态码: 202 表2 响应Body参数 参数 参数类型
MrsObsCredentialsProvider:通过MRS云服务委托获取凭证。 com.obs.services.EcsObsCredentialsProvider:通过ECS云服务获取AK/SK信息。 com.obs.services.BasicObsCredentialsProvi
MrsObsCredentialsProvider:通过MRS云服务委托获取凭证。 com.obs.services.EcsObsCredentialsProvider:通过ECS云服务获取AK/SK信息。 com.obs.services.BasicObsCredentialsProvi
是,需要先给集群安装MRS_3.2.0-LTS.1.9_RootPatch_20240605.tar.gz补丁,以支持密钥方式的root补丁特性。 软件包获取地址: 华东-上海一:https://mrs-container1-patch-cn-east-3.obs.cn-east-3.myhuaweicloud
} } } 注意事项 注[1]:创建联合索引 HBase支持在多个字段上创建二级索引,例如在列name和age上。 HIndexSpecification iSpecUnite = new HIndexSpecification(indexName);
} } } 注意事项 注[1]:创建联合索引 HBase支持在多个字段上创建二级索引,例如在列name和age上。 HIndexSpecification iSpecUnite = new HIndexSpecification(indexName);
X,请执行搬迁前务必确认是否支持搬迁。 方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 CDM服务迁移Hadoop数据至MRS集群方案如图1所示。 图1 Hadoop数据迁移示意
可以指定自动化脚本某种或多种类型的节点上执行。 脚本执行时机可以是扩容前、扩容后、缩容前或缩容后。 使用自动化脚本前,请先将脚本上传到集群虚拟机或与集群同region的OBS文件系统中。集群虚拟机上的脚本只能在已有节点上执行,若脚本需要在新扩容的节点上执行,请将脚本上传到OBS。 MRS集群节点弹性伸缩指标说明
} } } 注意事项 注[1]:创建联合索引 HBase支持在多个字段上创建二级索引,例如在列name和age上。 HIndexSpecification iSpecUnite = new HIndexSpecification(indexName);
} } } 注意事项 注[1]:创建联合索引。 HBase支持在多个字段上创建二级索引,例如在列name和age上。 HIndexSpecification iSpecUnite = new HIndexSpecification(indexName);
网络带宽参数等。 hdfs diskbalancer -query <Hostname:$dfs.datanode.ipc.port> 集群默认的port值为9867。此条命令可以查询当前节点上运行的DiskBalancer 任务的运行状态。 hdfs diskbalancer -execute
“Copy”:表示复制选中的文件或目录。 “Change permissions”:表示修改选中目录或文件的访问权限。 可以为属主、属组和其他用户设置“Read”、“Write”和“Excute”权限。 “Sticky”表示禁止HDFS的管理员、目录属主或文件属主以外的用户在目录中移动文件。 “R
单击拓扑名称,可查看指定拓扑的详细信息、拓扑状态、Spouts信息、Bolts信息和拓扑配置。 在“Topology actions”区域,用户可以对拓扑执行激活、去激活、重部署、删除操作、调试、停止调试和修改日志级别,即“Activate”、“Deactivate”、“Rebala
Browser”页面。 新建HBase表 访问Hue WebUI。 单击HBase,进入“HBase Browser”页面。 单击右侧“新建表”按钮,输入表名和列族参数,单击“提交”,完成HBase表创建。 图1 新建表 查询HBase表数据 访问Hue WebUI。 单击HBase,进入“HBase
网络带宽参数等。 hdfs diskbalancer -query <Hostname:$dfs.datanode.ipc.port> 集群默认的port值为9867。此条命令可以查询当前节点上运行的DiskBalancer 任务的运行状态。 hdfs diskbalancer -execute
ConfiguredFailoverProxyProvider</value> </property> 若对接的Hudi数据源集群和HetuEngine处于同一个Hadoop集群中,“hdfs-site.xml”和“core-site.xml”配置文件的获取方式为从HDFS中获取,参考HDFS客户端使用实践进入集群HDFS客户端,执行以下命令获取:
Browser”页面。 新建HBase表 访问Hue WebUI。 单击HBase,进入“HBase Browser”页面。 单击右侧“新建表”按钮,输入表名和列族参数,单击“提交”,完成HBase表创建。 图1 新建表 查询HBase表数据 访问Hue WebUI。 单击HBase,进入“HBase
Key和位置的对应关系。如果数据的基数大于8192,也就是说不同的值多于8192个,则会将一个全局字典拆分成多个局部字典(low_cardinality_max_dictionary_size参数控制,默认8192)。 示例 CREATE TABLE test_codecs ON
log”,根据错误日志分析原因。在参考信息中查找该文件的检查标准,并对照检查标准对文件进行进一步的手动检查和修改。 执行vi 文件名命令进入编辑模式,按“Insert”键开始编辑。 修改完成后按“Esc”键退出编辑模式,并输入:wq保存退出。 例如: vi /etc/ssh/sshd_config