检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量导入任务 DRS支持通过Excel表格导入的形式创建同步任务,用户可以将任务基本信息、源库和目标库信息、以及待同步的对象等信息填写到模板中,再进行导入,批量创建同步任务。 约束限制 目前仅支持引擎为MySQL->MySQL、MySQL->GaussDB主备版、MySQL->G
批量导入任务 功能介绍 批量导入创建任务(文件导入 - 模板上传)。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 接口约束 目前仅支持MySQL->MySQL迁移和同步场景。
批量导入任务 DRS支持通过Excel表格导入的形式创建迁移任务,用户可以将任务基本信息、源库和目标库信息、以及待迁移的对象等信息填写到模板中,再进行导入,批量创建迁移任务。 约束限制 目前仅支持引擎为MySQL->MySQL的任务进行导入。 修改导入文件时模板时,示例内容需要清除,填写为正确的值。
从OBS导入CSV、TXT数据 创建访问密钥(AK和SK) 上传数据到OBS 创建OBS外表 执行导入数据 处理导入错误 OBS导入数据示例 父主题: 从OBS并行导入数据
数据导入 数据管理服务支持从本地或者OBS桶导入数据,进行数据的备份和迁移。 使用须知 当需要进行数据备份或迁移时,您可以将数据导入目标数据表,目标CSV表数据类型须与待导入表数据类型保持一致,SQL文件同理。 导入单文件大小最大可达1GB。 可以支持导入的数据文件类型包括CSV格式和SQL文件格式。如果MySQL
”、导入时的缓存个数以及数据缓存区大小。 如果导入表存在索引,在数据导入过程中,将增量更新索引信息,影响数据导入性能。建议在执行数据导入前,先删除相关表的索引。在数据导入完成后,再重新创建索引。 操作步骤 在GaussDB(DWS)数据库中,创建目标表,用于存储从OBS导入的数据。
数据。 假设OBS数据服务器与集群网络连接正常,OBS数据服务器IP为xxx.xxx.x.xx,数据源文件格式为CSV,规划的并行导入与示例保持一致。 其中设置的导入信息如下所示: 由于OBS服务器上的数据源文件存放目录为“/input-data1/data/ ”和“/input-data2/data/
行的详情信息。 图3 任务列表 导入数据 在顶部菜单栏选择“导入·导出 > 导入”。 DAS支持从本地选取文件导入,同时也支持从OBS桶中直接选择文件进行导入操作。 图4 新建导入任务 上传文件 在导入页面单击左上角的“新建任务”,在弹出框选择导入类型,选择文件来源为“上传文件”
非数据格式错误 对于非数据格式错误,一旦发生将导致整个数据导入失败,不会写入错误表。您可以根据执行数据导入过程中,界面提示的错误信息,帮助定位问题,处理错误表。 处理数据导入错误 根据获取的错误信息,请对照下表,处理数据导入错误。 表2 处理数据导入错误 错误信息 错误类型 原因 解决办法 missing
批量导入 通过Excel,批量导入用户信息 父主题: 企业用户配置
选择文件来源为“从OBS中选择”,需要在OBS中选择待导入文件。 从OBS桶中直接选择文件导入,导入目标数据库成功后,OBS桶不会删除该文件。 数据库 选择目标数据库。 字符集 支持UTF8、GBK或自动检测。 选项 勾选该选项后,数据导入过程中遇到SQL执行失败的报错会忽略。 忽略报错,即SQL执行失败时跳过
导入参数模板 操作场景 云数据库RDS支持导入参数模板,导入后会生成一个新的参数模板,供您后期使用。请参考应用参数模板将导入的参数模板应用到新的实例。 约束限制 支持导入的参数模板必须是从RDS控制台“参数管理”页面导出的参数模板。 如果修改导出的参数模板文件而导致文件格式变化,可能会导致文件导入失败。
数据导入和导出 数据导入 数据导出 父主题: MySQL
通过CDM将MySQL数据导入GaussDB(DWS)时出现字段超长,数据同步失败 问题现象 MySQL 5.x版本字段长度varchar(n),用CDM同步数据到GaussDB(DWS),同样设置长度为varchar(n) ,但是会出现字段超长,数据同步失败的问题。 原因分析 MySQL5
转换规则转换后入库,还是报错中止导入。 取值范围:true/on,false/off。 参数为true/on,则导入时遇到非法字符进行容错处理,非法字符转换后入库,不报错,不中断导入。 参数为false/off,导入时遇到非法字符进行报错,中断导入。 缺省值:false/off。
如果用户数据无法以CSV格式保存,可以选择以文本类型保存为其他任意格式后缀的文件。 根据导入数据原理,当数据源文件的数据量较大时,将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件数量为DataNode的整数倍时,导入性能更好。 假设您已将3个CSV数据文件存储在OBS上,其原始数据分别如下:
选择需要登录的目标数据库实例,单击操作列表中的“登录”,登录目标数据库实例。 在顶部菜单栏选择“导入·导出 > 导出”。 在页面左上角选择“新建任务 > 导出数据库”。 图1 新建导出数据库任务 在新建数据库导出任务弹框中,根据需要设置基本信息、及高级选项等。 图2 新建数据库导出任务
行的详情信息。 图3 任务列表 导入数据 在顶部菜单栏选择“导入·导出 > 导入”。 DAS支持从本地选取文件导入,同时也支持从OBS桶中直接选择文件进行导入操作。 图4 新建导入任务 上传文件 在导入页面单击左上角的“新建任务”,在弹出框选择导入类型,选择文件来源为“上传文件”
初始化配置,怎么办?”。 大文件导入(不超过1TB)目前仅支持RAW和ZVHD2格式,RAW镜像文件除了要满足符合条件的镜像文件的要求外,还需要生成位表文件,同镜像文件一并上传。详细操作请参见快速导入镜像文件。 导入镜像 IMS控制台提供了多种导入镜像的方式,您可以根据自己的镜像
创建访问密钥(AK和SK) 在本示例中,将导入OBS数据到GaussDB(DWS)集群数据库中。云平台用户通过客户端或API、SDK等方式访问OBS时,需要通过AK/SK认证方式进行认证鉴权。因此,当您需要通过客户端或JDBC/ODBC应用程序等方式连接GaussDB(DWS)数据库访问OBS时,必须先获取访问密钥(AK和SK)。