检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分数据未完全迁移,而任务显示成功的现象,影响数据的完整性。为规避这一风险,请谨慎使用“不覆盖”策略。 直接覆盖 对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。 条件覆盖 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较
分数据未完全迁移,而任务显示成功的现象,影响数据的完整性。为规避这一风险,请谨慎使用“不覆盖”策略。 直接覆盖 对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。 条件覆盖 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较
作业ID(JobId) 须知: 模板中目标组件类型和上游组件类型支持的类型包括HiveSQL、MaxCompute。 模板中单元格不允许存在公式,否则会导致解析失败。 模板参数填写完成并保存后,单击窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 注意: 文件大小不能超过100
输入源端云账号的访问密钥和私有密钥。请确保输入的AK、SK正确,并拥有源端桶的相应权限。 数据站点类型选择云平台时填写。 桶 输入源端需要迁移的桶名。 对象存储终端地址 输入源端桶所在区域的终端节点(Endpoint)信息。 桶类型 根据桶的实际类型选择。桶类型可以通过查看桶的基本信息获取。
Excel编辑并保存的模板文件无法被MgC识别。 保留CSV文件中的第一行不变,从第二行开始,每行填写一个表的迁移信息,格式为“{MC项目名},{表名}”,其中MC项目名代表MaxCompute项目名称,表名代表具体的表名称。 须知: 每行的“MC项目名”和“表名”之间使用英文逗号隔开,不要使用空格或其他分隔符。
持续时间:按实际需求选择。 描述:非必选。 配置完委托的基本信息后,单击“下一步”,进入选择策略页签。 单击右上角的“新建策略”,参考步骤8.和步骤9.,分别创建一条OBS策略和一条DLI策略。如果已创建的授权策略中有所需的权限策略,则无需创建,直接选择已有策略即可。 配置策略信息。
持续时间:按实际需求选择。 描述:非必选。 配置完委托的基本信息后,单击“下一步”,进入选择策略页签。 单击右上角的“新建策略”,参考步骤8.和步骤9.,分别创建一条OBS策略和一条DLI策略。如果已创建的授权策略中有所需的权限策略,则无需创建,直接选择已有策略即可。 配置策略信息。
则此选项无效。 ca 是 CA证书文件的路径。 cert 是 客户端证书文件的路径。 key 是 客户端私钥文件的路径。 cipher 否 要使用的加密算法。 check_hostname 否 如果设置为True,则在SSL连接时验证服务器的主机名。如果未指定证书,则此选项无效。
根据表1,填写相应参数后,单击“确认”,系统会自动检查凭证绑定状态和进行信息采集。 表1 添加主机参数说明 参数 说明 名称 用户自定义 迁移中心Agent绑定 选择源端注册的MgC Agent。 类型 主机实际系统类型 接入IP 填写主机IP。 如果采集的主机与安装MgC Agent的主机处于同一VPC内,可以填写私有IP,否则需要填写公网IP。
作业ID(JobId) 须知: 模板中目标组件类型和上游组件类型支持的类型包括HiveSQL、MaxCompute。 模板中单元格不允许存在公式,否则会导致解析失败。 模板参数填写完成并保存后,单击窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 注意: 文件大小不能超过100
根据表1,填写相应参数后,单击“确认”,系统会自动检查凭证绑定状态和进行信息采集。 表1 添加主机参数说明 参数 说明 名称 用户自定义 采集设备 选择源端注册的Edge设备。 类型 主机实际系统类型 IP 填写主机IP。 如果采集的主机与安装Edge的主机处于同一VPC内,可以填写私有IP,否则需要填写公网IP。
如果c7规格有CPU和内存不小于源端且在阈值内(8U12G)的规格在售,则推荐最接近源端的规格;如果C7规格中没有找到合适的规格,系统将按照性能顺序,向下一个性能等级的虚拟机规格类型进行搜索。如果性能略低的规格类型中仍然没有找到合适的规格,系统将继续搜索更低性能的计算增强型虚拟机,
事件记录 MgC Agent(原Edge)提供了一系列日志记录和事件审计功能,允许用户通过控制台界面和日志文件查看和了解操作行为,并进行错误排查和资源定位。 功能介绍 日志记录:系统会生成详细的操作日志,日志文件存储于:{MgC Agent安装路径}/logs/audit/audit
-server 使用vi命令来查看具体的日志文件。 vi xxx.log xxx.log需要替换为具体的日志文件名。不同类型的日志文件名和说明参加下表: 日志文件名 说明 debug.log MgC Agent运行时调试日志。 error.log MgC Agent运行时报错日志。
优先级设置 性能优先 推荐的目的端规格要求性能最佳。 价格优先 推荐的目的端规格在满足要求的前提下尽量节约成本。 偏好设置 虚拟机类型偏好(可选) 选择期望的目的端主机类型,支持多选。 虚拟机规格族偏好(可选) 根据选择的主机类型,罗列出包含的规格族类型,选择期望的目的端主机规格族,支持多选。
大数据校验 新增大数据校验数据连接时,凭证列表数据缺失 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时,如何优化校验任务?
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“设计>迁移方案设计”,进入迁移方案设计页面。 在迁移方案设计页面,可以查看当前项目下的资源总数、资源的目的端规格配置情况以及当前项目下所创建的应用列表。 单击目的端规格配置框中的“规格评估”按钮,进入评估单应用页面。
配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”,进入资源采集页面。 在主机资源列表,单击列表上方的“添加资源”按钮,弹出添加主机窗口。 图1 添加主机 根据表1,填写相应参数后,单击“确认”,系统会自动检查凭证绑定状态和进行信息采集。
在待迁移桶列表中,单击每一行操作列的“导入前缀”,弹出导入前缀窗口。将该桶对应的前缀列表文件上传后,单击“确认”按钮。 完成所有待迁移桶的凭证绑定和前缀列表导入后,单击“下一步”,进行目的端配置。 单击每一行操作列的“修改”,选择目的端凭证和目的端桶,输入目的端前缀(可选),单击“保存”。 所有资源的目的端