检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
xml、hivemetastore-site.xml、hive-site.xml、krb5.conf、user.keytab五个文件。获取方式参见大数据-Hive Metastore凭证文件获取方法。 在MgC控制台左侧导航栏选择“调研 > 大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择步骤2
它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的存储路径填写到此处。 cat ~/.kube/config 须知: 一个k8s集群只需要获取一个配置信息。 父主题: 采集器参数配置说明
(DLI)”凭证,认证方式选择“AK/SK”。凭证的添加方法请参考添加资源凭证。 DLI侧的AK/SK获取方法请参考如何获取AK/SK。 MaxCompute侧的AK/SK获取方法请参考查看RAM用户的AccessKey信息。 在MgC控制台左侧导航栏选择“调研 > 大数据血缘”
义名称。 ClickHouse凭证(可选) 选择步骤4.在MgC Agent添加的目的端MRS ClickHouse凭证。 安全集群 选择是否部署在安全集群下。 ClickHouse Server IP 填写连接到MRS ClickHouse服务器的IP地址。通常是运行ClickHouse的主机IP地址。
主机迁移过程中主要涉及的流量分为两部分:控制流和数据流。 控制流:控制流是指源端主机与云服务管理面之间的通信。为确保迁移过程的顺利进行,需要检查源端主机出方向是否有限制,并确保源端主机能够访问迁移过程中依赖的云服务,包括SMS、IAM、ECS、EVS、VPC、IMS等服务的域名。 数据流:数据流涉及
xxx.yaml 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的绝对路径填写到此处。 cat ~/.kube/config 须知: 一个k8s集群只需要获取一个配置信息。 父主题: 采集器参数配置说明
全量校验:全量对比所有数据,适用于需要对比历史数据的场景。 日级增量校验:依靠元数据中的创建或更新时间,获取数据变化(增量)分区,再进行校验。支持单日或连续多日增量数据的统计,是最常用的校验方式。 小时级增量校验:依靠元数据中的创建或更新时间,获取数据变化(增量)分区,再进行校验。在24小时内自动进行多次校验,可以
全量校验:全量对比所有数据,适用于需要对比历史数据的场景。 日级增量校验:依靠元数据中的创建或更新时间,获取数据变化(增量)分区,再进行校验。支持单日或连续多日增量数据的统计,是最常用的校验方式。 小时级增量校验:依靠元数据中的创建或更新时间,获取数据变化(增量)分区,再进行校验。在24小时内自动进行多次校验,可以
disk 磁盘信息 用于迁移前评估 frequency 主频 用于迁移前评估 isOpenOverclock 是否超频 用于迁移前评估 virtioDriver 是否有virtio驱动 用于迁移前评估 filterIds 主机ID过滤集合 用于迁移前评估 instanceId 平台采集,云服务器资源ID
项目 选择DLI在目的端区域用于接收数据的项目。如果未勾选“所选凭证与登录迁移中心凭证相同”,则需要手动填写项目ID。项目ID的获取方法请参考获取项目的名称和ID。 队列名称 输入完成准备工作时,创建的SQL队列名称/通用队列名称。 当配置SQL队列连接时,填写SQL队列名称。
项目 选择DLI在目的端区域用于接收数据的项目。如果未勾选“所选凭证与登录迁移中心凭证相同”,则需要手动填写项目ID。项目ID的获取方法请参考获取项目的名称和ID。 队列名称 输入完成准备工作时,创建的SQL队列名称/通用队列名称。 当配置SQL队列连接时,填写SQL队列名称。
metaAccess.enable:填写true。 spark.dli.job.agency.name:填写在完成准备工作时配置的DLI委托权限名称。 mgc.mc2dli.data.migration.dli.file.path:填写在完成准备工作时存放migration-dli-spark-1
metaAccess.enable:填写true。 spark.dli.job.agency.name:填写在完成准备工作时配置的DLI委托权限名称。 mgc.mc2dli.data.migration.dli.file.path:填写在完成准备工作时存放migration-dli-spark-1
metaAccess.enable:填写true。 spark.dli.job.agency.name:填写在完成准备工作时配置的DLI委托权限名称。 mgc.mc2dli.data.migration.dli.file.path:填写在完成准备工作时存放migration-dli-spark-1
metaAccess.enable:填写true。 spark.dli.job.agency.name:填写在完成准备工作时配置的DLI委托权限名称。 mgc.mc2dli.data.migration.dli.file.path:填写在完成准备工作时存放migration-dli-spark-1
若待导出的作业未提交过任何版本,“导出状态”建议选择“开发态”,如果选择了“提交态”导出时会跳过该作业。 单击“确定”,导出完成后,前往步骤6.选择的OBS目录获取导出结果。 导出阿里云DataWorks作业 登录阿里云DataWorks控制台,单击左侧导航栏的“数据建模与开发 > 数据开发”,在下拉
若待导出的作业未提交过任何版本,“导出状态”建议选择“开发态”,如果选择了“提交态”导出时会跳过该作业。 单击“确定”,导出完成后,前往步骤6.选择的OBS目录获取导出结果。 导出阿里云DataWorks作业 登录阿里云DataWorks控制台,单击左侧导航栏的“数据建模与开发 > 数据开发”,在下拉
户名和密码。 数据库链接 填写连接到CloudTable(ClickHouse)的数据库链接地址。可以在ClickHouse集群的基本信息获取,对应参数为“集群访问地址”。 表3 CloudTable(HBase)服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称
户名和密码。 数据库链接 填写连接到CloudTable(ClickHouse)的数据库链接地址。可以在ClickHouse集群的基本信息获取,对应参数为“集群访问地址”。 表3 CloudTable(HBase)服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称
列表中即可看到关联到应用的主机资源。 应用完成资源关联后,单击页面右上角的“规格评估”按钮,进入应用评估页面。对应用内的资源进行规格评估以获取最合适的华为云对应资源规格。更多详细介绍请参考规格评估。 父主题: 应用管理