检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。
错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 GET /v2/0833a5737480d53b2f25c010dc1a7b88/quality/report/scoring 响应示例 状态码: 200 Success { "full_score"
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
该参数的数据类型为整型,单位为MB。 JSON格式 这里主要介绍JSON文件格式的以下内容: CDM支持解析的JSON类型 记录节点 从JSON文件复制数据 CDM支持解析的JSON类型:JSON对象、JSON数组。 JSON对象:JSON文件包含单个对象,或者以行分隔/串连的多个对象。
传输数据时所用的文件格式,可选择以下文件格式: CSV格式:以CSV格式解析源文件,用于迁移文件到数据表的场景。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 Parquet格式:以Parquet格式解析源文件,用于HDFS数据导到表的场景。 CSV格式
传输数据时所用的文件格式,可选择以下文件格式: CSV格式:以CSV格式解析源文件,用于迁移文件到数据表的场景。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 Parquet格式:以Parquet格式解析源文件,用于HDFS数据导到表的场景。 CSV格式
该参数的数据类型为整型,单位为MB。 JSON格式 这里主要介绍JSON文件格式的以下内容: CDM支持解析的JSON类型 记录节点 从JSON文件复制数据 CDM支持解析的JSON类型:JSON对象、JSON数组。 JSON对象:JSON文件包含单个对象,或者以行分隔/串连的多个对象。
和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因
错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 GET /v2/0833a5737480d53b2f25c010dc1a7b88/quality/report/overview?data_connection_id=2d9dcb20
错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 GET /v2/0833a5737480d53b2f25c010dc1a7b88/quality/report/trend?data_connection_id=2d9dcb2076b
认”。导出完成后,请到下载中心查看导出的内容。 如果没有配置默认存储路径,单击“批量导出”后,配置存储路径,可以将该存储路径设为OBS默认地址。 当前导出数据量最大为30M,超过30M系统会自动截断。 导出的作业实例与作业节点存在对应关系。目前不支持通过勾选作业名称导出所勾选的数
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 服务 是 选择需要开机/关机的服务: ECS CDM 开关机设置 是 选择开关机类型: 开 关 开关机对象 是 选择需要开机/关机的具体对象,例如开启某个CDM集群。 表2 高级参数
socketTimeout:配置JDBC连接超时时间,单位为毫秒;2. mysql.bool.type.transform:配置mysql读取时,是否将tinyint(1)解析成boolean类型,默认为true 数据源认证及其他功能配置 用户名 是 开启Kafka SASL_SSL时的必选项。 连接DMS Kafka的用户名。
户需要自己手工添加字段。 由于HBase的无Schema技术特点,CDM无法获知数据类型,如果数据内容是使用二进制格式存储的,CDM会无法解析。 从HBase/CloudTable导出数据时,由于HBase/CloudTable是无Schema的存储系统,CDM要求源端数值型字段
数据服务SDK概述 本文档指导API调用者通过数据服务SDK代码调用数据API,当前数据服务SDK代码仅支持调用API场景。 数据服务SDK介绍 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数
错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 GET /v2/0833a5737480d53b2f25c010dc1a7b88/quality/report/technology/scores 响应示例 状态码: 200 Success
在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本先创建和开发脚本。 说明: 若选择SQL语句方式,数据开发模块将无法解析您输入SQL语句中携带的参数。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。
主Jar包所依赖的JAR包、properties文件。总的长度不能超过10240个字符。同时存在dependFiles和dependPackages时,优先解析该字段。 desc 否 String 描述,长度不能超过255个字符。 directory 是 String 资源所在目录。 通过DataArts