检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义参数说明 在目的端配置中,支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
为什么存储迁移工作流进度长时间没有变化? 问题分析 出现迁移进度长时间未更新的情况通常是因为以下几个原因: 子任务处理:迁移工作流会自动将大型任务拆分为多个子任务来执行。只有当这些子任务完成后,系统才会更新显示的进度。 大对象迁移:如果子任务中包含了大型文件或对象,可能需要较长时间来迁移。 后
Spark客户端目录 填写Spark客户端的bin目录的绝对路径 环境变量地址 请添加环境变量文件的绝对路径,示例:/opt/bigdata/client/bigdata_env, 如果该参数不为空,则环境变量文件在命令执行前将被自动“source” SQL文件地址 填写用于存放
tion Azure Database for MySQL Microsoft Management Microsoft.Management/getEntities/action Azure Database for MySQL Flexible Server Microsoft
供完整的服务。本节为您介绍需要进行权限委托的场景以及自定义策略详情。 委托授权策略说明: 创建自定义策略:如果您尚未设定任何自定义的权限委托策略,系统会自动为您创建一个标准的自定义策略。 更新自定义策略:对于已经存在的自定义策略,系统将进行完整性检查。若发现策略内容不全面或缺少必要元素,系统将自动进行补充。
供完整的服务。本节为您介绍需要进行权限委托的场景以及自定义策略详情。 委托授权策略说明: 创建自定义策略:如果您尚未设定任何自定义的权限委托策略,系统会自动为您创建一个标准的自定义策略。 更新自定义策略:对于已经存在的自定义策略,系统将进行完整性检查。若发现策略内容不全面或缺少必要元素,系统将自动进行补充。
在“开始时间”、“结束时间”和“限速”文本框中输入数值。 例如:设置开始时间08:00、结束时间12:00、限制最大流量20 MB/s,当迁移任务运行到(08:00~12:00)该时间段时,最大迁移速度将限制为20 MB/s。该时间段以外,迁移速度不做限制。 时区时间以控制台所选Region的当地时间为准。
在“开始时间”、“结束时间”和“限速”文本框中输入数值。 例如:设置开始时间08:00、结束时间12:00、限制最大流量20 MB/s,当迁移任务运行到(08:00~12:00)该时间段时,最大迁移速度将限制为20 MB/s。该时间段以外,迁移速度不做限制。 时区时间以控制台所选Region的当地时间为准。
全部忽略:忽略所有非分区表,不做校验。 按更新时间过滤:只处理更新时间在校验范围内的非分区表。注意:非分区表非insert写入业务,元数据更新时间存在偏差,按更新时间过滤分区时可能遗漏分区,慎重选择该选项! 高级选项 分区筛选方式:通过“更新时间”和”创建时间“,判断分区是否属于校验范围内。 更新时间:指分区内数
全部忽略:忽略所有非分区表,不做校验。 按更新时间过滤:只处理更新时间在校验范围内的非分区表。注意:非分区表非insert写入业务,元数据更新时间存在偏差,按更新时间过滤分区时可能遗漏分区,慎重选择该选项! 高级选项 分区筛选方式:通过“更新时间”和”创建时间“,判断分区是否属于校验范围内。 更新时间:指分区内数
数据库采集 权限要求:需要使用具有最高权限的账号进行数据库采集,以确保能够访问所有必要的数据。对于不同的数据库系统,应使用以下账号: MySQL:使用root账号。 PostgreSQL:使用postgres账号。 MongoDB: 使用admin权限账号。 Oracle:使用system权限账号。
表2 阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 ClickHouse凭证 选择在Edge添加的源端阿里云云数据库ClickH
调研采集过程是否会对源端业务产生影响? MgC采用高效的数据采集算法,确保数据采集可以在较短的时间内完成,有效避免了长时间的资源占用,最大限度减少了对源端业务的影响。 父主题: 产品咨询
数配置页面。 图1 云平台采集 根据表1,配置采集任务参数。 表1 云平台采集参数说明 区域 参数 说明 是否必选 基础配置 任务名称 自定义发现任务名称。 是 任务说明 输入发现任务说明。 否 任务配置 源端 选择源端云平台,目前支持的云平台有阿里云、华为云、AWS、腾讯云、Azure、七牛云、金山云。
务页面。 图1 公网发现 根据表1,配置公网发现任务参数。 表1 公网发现任务参数说明 区域 参数 说明 是否必选 基础配置 任务名称 自定义发现任务名称。 是 任务说明 输入发现任务说明。 否 任务配置 源端 选择源端云平台,目前支持的云平台有阿里云、华为云、AWS、腾讯云、Azure、七牛云、金山云。
阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 ClickHouse凭证 选择在MgC Agent添加的源端阿里云云数据库Clic
如果勾选“指定日期”,将只迁移指定日期内的增量数据。 分区筛选方式 根据数据的分区属性来选择和检索数据。默认为更新时间。 更新时间:筛选出最近或在特定时间段内有更新的数据。 创建时间:筛选出在特定时间窗口内创建的数据。 MaxCompute参数(可选) 非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。
如果勾选“指定日期”,将只迁移指定日期内的增量数据。 分区筛选方式 根据数据的分区属性来选择和检索数据。默认为更新时间。 更新时间:筛选出最近或在特定时间段内有更新的数据。 创建时间:筛选出在特定时间窗口内创建的数据。 MaxCompute参数(可选) 非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。
务页面。 图1 公网发现 根据表1,配置公网发现任务参数。 表1 公网发现任务参数说明 区域 参数 说明 是否必选 基础配置 任务名称 自定义发现任务名称。 是 任务说明 输入发现任务说明。 否 任务配置 源端 选择源端云平台,目前支持的云平台有阿里云、华为云、AWS、腾讯云、Azure、七牛云、金山云。
目的端配置 目的端连接 选择创建的目的端DLI 通用队列连接。 注意: 切勿选择DLI SQL队列。 自定义参数(可选) 根据实际需求进行配置,支持的自定义参数详情请参考conf参数说明和自定义参数说明。 如果是公网迁移,需要填写以下4个参数: spark.dli.metaAccess.enable:填写true。