检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
port,password username:该字段表示登录源端主机时所使用的用户名。为了确保脚本具有足够的权限执行修改操作,通常应使用具有管理员权限的用户名,如root。 ip:该字段表示源端主机的内网IP地址。 port:该字段表示SSH服务监听的端口号。默认情况下,Linu
MongoDB采集器(app-discovery-mongodb) MySQL-generallog采集器(app-discovery-mysql-generallog) MySQL-jdbc采集器(app-discovery-mysql-jdbc) Nginx配置文件采集器(app-discovery-nginx)
重启MgC Agent,以避免任务失败。 添加凭证 在MgC Agent上分别添加一条MaxCompute凭证(源端阿里云账号的AK/SK)和数据湖DLI凭证(目的端华为云账号的AK/SK),认证方式选择AK/SK ,添加方法请参考添加资源凭证。 MaxCompute凭证输入源端阿里云账号的AK/SK。
保留SMS迁移任务 如果需要在主机工作流迁移完成后保留SMS迁移任务,需要手动在“迁移任务清理”步骤前添加一个卡点步骤,如图5所示。添加卡点步骤的方法和注意事项请参见添加阶段/步骤。 图5 添加卡点步骤 当工作流执行到该卡点步骤时,不要进行手动确认操作,如图6所示。此时SMS控制台上的迁
任务执行期间重启Edge,以避免任务失败。 添加凭证 在迁移工具Edge上分别添加一条MaxCompute凭证(源端阿里云账号的AK/SK)和数据湖DLI凭证(目的端华为云账号的AK/SK),认证方式选择AK/SK ,添加方法请参考添加资源凭证。 MaxCompute凭证输入源端阿里云账号的AK/SK。
模板参数填写完成并保存后,单击窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 注意: 文件大小不能超过100 MB。 选择血缘模板。 单击“模板下载”,将血缘模板下载到本地。 打开血缘模板,填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset)
模板参数填写完成并保存后,单击窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 注意: 文件大小不能超过100 MB。 选择血缘模板。 单击“模板下载”,将血缘模板下载到本地。 打开血缘模板,填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset)
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
ID/密钥 AK/SK适用于添加华为云、阿里云、AWS、腾讯云、七牛云和金山云等云平台凭证。 配置文件适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。 ID/密钥适用于添加Azure平台凭证。添加凭证所需的信息获取方法请
ge上添加源端资源凭证,请前往Edge控制台添加,并同步至迁移中心。 在对Azure云平台对象存储资源进行深度采集时,需要使用“存储账户”和“密钥”作为采集凭证,凭证的获取方法请参见如何获取Azure对象存储深度采集所需凭证。 配置完成后,单击操作列的“添加前缀”,弹出添加前缀窗口。
选择源端对应的凭证,如未提前添加凭证,请单击“新建凭证”,填写相应参数,校验并保存凭证。 阿里云、华为云、AWS、腾讯云、七牛云、金山云认证方式请选择“AK/SK”,并输入源端账号的AK/SK。 Azure认证方式请选择“ID/密钥”。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。
ge上添加源端资源凭证,请前往Edge控制台添加,并同步至迁移中心。 在对Azure云平台对象存储资源进行深度采集时,需要使用“存储账户”和“密钥”作为采集凭证,凭证的获取方法请参见如何获取Azure对象存储深度采集所需凭证。 配置完成后,单击操作列的“添加前缀”,弹出添加前缀窗口。
创建用户后下载访问密钥),该用户无法通过华为云console密码登录,仅支持编程访问。 后续提供创建mgc-user用户时下载的AK/SK给迁移中心Agent(MgC Agent,原Edge),该AK/SK负责MgC Agent注册到MgC以及迁移过程中的接口调用鉴权。 步骤一:创建用户组
即按数据库进行筛选,在数据库参数框中输入待迁移的数据库名称。单击“添加数据库”,可以新增数据库,最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.在模板中添加不需要迁移的表信息,然后上传至MgC。 按表筛选 下载CSV格式的模板。
Linux主机默认22端口,可根据实际情况修改。 凭证 选择源端主机凭证,如未提前在MgC Agent上添加源端主机凭证,请前往MgC Agent控制台添加,并同步至迁移中心。 添加成功后,在主机资源列表,可以查看添加的主机资源。 父主题: 采集主机资源
迁移阶段中的步骤添加完成后,单击“确认”按钮,完成迁移阶段的添加。 只有自行添加的阶段,可以进行修改、删除操作,模板中的迁移阶段无法进行修改和删除。 添加步骤 在迁移工作流详情页面,将鼠标移动到步骤名称上,选择添加前置步骤/添加后置步骤,弹出添加步骤窗口。 根据表2,选择步骤类型,为步骤自
数据更新时间存在偏差,按更新时间过滤分区时可能遗漏分区,慎重选择该选项! 高级选项 单SQL字段上限:每条SQL查询的表的字段上限。单SQL查询的字段数越多,执行时间越长, 如果设置的字段数上限过少,则可能形成更多SQL,影响获取校验结果的效率。默认是0,即无上限,取值范围100~500。
数据更新时间存在偏差,按更新时间过滤分区时可能遗漏分区,慎重选择该选项! 高级选项 单SQL字段上限:每条SQL查询的表的字段上限。单SQL查询的字段数越多,执行时间越长, 如果设置的字段数上限过少,则可能形成更多SQL,影响获取校验结果的效率。默认是0,即无上限,取值范围100~500。
即按数据库进行筛选,在数据库参数框中输入待迁移的数据库名称。单击“添加数据库”,可以新增数据库,最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.在模板中添加不需要迁移的表信息,然后上传至MgC。 按表筛选 下载CSV格式的模板。