检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请求示例 /v1/0833a5737480d53b2f25c010dc1a7b88/security/admin { "manager_type" : "USER", "manager_id" : "0833a5737480d53b2f25c010dc1a7b88",
"type_display_name" : "作业", "project_id" : "0833a5737480d53b2f25c010dc1a7b88", "domain_id" : "0833a5736980d53b0f22c0102ffcbfc0", "instance_id" : [
CSV格式:以CSV格式解析源文件,用于迁移文件到数据表的场景。 JSON格式:以JSON格式解析源文件,一般都是用于迁移文件到数据表的场景。 ORC格式:以ORC格式解析源文件,一般都是用于迁移文件到数据表的场景。 PARQUET格式:以PARQUET格式解析源文件,一般都是用于迁移文件到数据表的场景。
校验文件个数以及文件大小。 在MRS中恢复HBase表并验证。 准备数据 项目 数据项 说明 取值示例 DES盒子 挂载地址 DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei 存储管理系统 DES盒子的存储管理系统,与管理IP相关。 https://管理IP:8088/device
数据目录如何可视化展示数据血缘? 数据血缘在数据目录中展示,首先要完成元数据采集任务,其次数据开发作业中要包含支持自动血缘解析的节点类型和场景,或者在作业节点中已自定义血缘关系的输入表和输出表。当存在运行成功的数据开发作业调度任务时,系统会生成作业中的血缘关系,并在数据目录中进行可视化展示。
文件格式 指CDM以哪种格式解析数据,可选择以下格式: CSV格式:以CSV格式解析源文件,用于迁移文件到数据表的场景。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式:以JSON格式解析源文件,一般都是用于迁移文件到数据表的场景。
如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 响应消息的Content-Type是application/octet-stream,需要解析转化为一个文件,可以参考解析响应消息体中的流样例代码。响应是一个压缩文件,文件名称格式是DLF_All_DataConnections.zip,压缩文件里面的文件目录如下:
导出包含API信息的EXCEL文件。 /v1/0833a5737480d53b2f250010d01a7b88/service/export/excel [ "6b9e682fd6d0ef7c0f674701adb20762", "42505b429b53b42a9b535640617d9b17" ] 响应示例
/v1/0833a5737480d53b2f25c010dc1a7b88/security/admin 响应示例 状态码: 200 OK { "manager_type" : "USER", "manager_id" : "0833a5737480d53b2f25c010dc1a7b88"
可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确
可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确
文件格式 指CDM以哪种格式解析数据,可选择以下格式: CSV格式:以CSV格式解析源文件,用于迁移文件到数据表的场景。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式:以JSON格式解析源文件,一般都是用于迁移文件到数据表的场景。
可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确
数据迁移进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导
启用SSL认证后,Kafka会将Kafka Broker连接地址视做域名不断进行解析,导致性能消耗。建议修改CDM集群对应的ECS主机(通过集群IP查找对应的ECS主机)中的“/etc/hosts”文件,为其添加Broker连接地址的自映射,以便客户端能够快速解析实例的Broker。例如Kafka Broker地址配置为10
"exportDepend":true } 响应示例 成功响应 响应消息的Content-Type是application/octet-stream,需要解析转化为一个文件,可以参考解析响应消息体中的流样例代码。响应是一个压缩文件,文件名为jobs.zip,解压后文件结构如下: jobs +---job_batch
/v1/0833a5737480d53b2f25c010dc1a7b88/security/permission-sets/datasource/role/batch-actions { "parent_permission_set_id" : "24dd53c92ddbb12fe762f9d9d42a031a"
如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 响应消息的Content-Type是application/octet-stream,需要解析转化为一个文件,可以参考解析响应消息体中的流样例代码。响应是一个压缩文件,文件名称格式DLF_{job_name}.zip,压缩文件里面的文件目录如下:
"ecs:servers:get", "ecs:servers:list", "ecs:servers:stop", "ecs:servers:start", "ecs:flavors:get"
needs an index starting at 1 but was 0”怎么办? Oracle数据源如何开通归档日志、查询权限和日志解析权限? PostgreSQL数据源如何手动删除复制槽?