检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息： OBS桶的Endpoint，可以进入OBS控制台概览页，单击桶名称后查看桶的基本信息获取。 说明： CDM集群和OBS桶不在同一个Region时，不支持跨Region访问OBS桶。 作业运行中禁止修改密码或者更换
隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，并按照解析后的结果写入目的端。正则表达式语法请参考对应的相关资料，这里举例下面几种日志文件的正则表达式的写法：
隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，并按照解析后的结果写入目的端。正则表达式语法请参考对应的相关资料，这里举例下面几种日志文件的正则表达式的写法：
Studio数据服务默认会把日志写到dlm-log-{projectId}桶中。 如果“作业日志OBS路径”没有选择已有的OBS桶，首次运行作业时，默认的DLF桶创建不出来，无法写入日志。为了确保作业日志正常写入OBS桶中，当创建工作空间时，请选择已有的OBS路径。 父主题： 数据开发
否 “OBS支持”设置为“是”时，呈现此参数。 请填写完整的文件路径，将调用元数据查询接口来校验路径的访问权限。 说明： 如果是对象存储，路径需要填写到对象级别，否则会报错404，例如：“obs://bucket/dir/test.txt”。 如果是并行文件系统，则可以只填写到目录
件，然后上传到OBS桶？ 问题描述 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？ 解决方案 CDM服务暂不支持该操作，建议通过手动导出MySQL的数据文件，然后在服务器上开启SFTP服务，然后新建CDM作业，源端是SFTP协议，目的端是OBS，将文件传过去。
Hudi字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为MySQL，目的端为Hudi时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 MySQL >Hudi支持的字段类型 类别 数据类型（MySQL）
连接失败后自动重试，导致数据库账号被锁定影响使用。 支持的同步对象范围 在使用Migration进行同步时，不同类型的链路，支持的同步对象范围不同，详细情况可参考表3。 表3 同步对象范围 类型名称 使用须知 同步对象范围 支持同步DML：包括INSERT、UPDATE、DELETE。
支持的数据源 实时集成作业支持的数据源如表1所示。 表1 实时集成作业支持的数据源 数据源分类 源端数据源 对应的目的端数据源 相关文档 关系型数据 MySQL Hadoop：MRS Hudi MySQL同步到MRS Hudi作业配置 消息系统：DMS Kafka MySQL同步到DMS
自定义策略创建完成后，再次进入“用户组”，单击DQC用户组后的“授权”，进入授权操作。首先选择“角色与策略授权”，勾选如下系统角色和自定义策略为对象授权。 系统角色DIS Operator和DIS User 自定义策略DataArtsStudio_PermissionsOfDependentServices_global
PostgreSQL与DWS字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为PostgreSQL，目的端为DWS时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 PostgreSQL > DWS支持的字段类型 类别
供了详细的方案描述和操作指导，用于指导您快速实现数据库迁移和同步。 表1 Migration基础实践一览表 数据源分类 源端数据源 对应目的端数据源 相关文档 关系型数据 MySQL Hadoop：MRS Hudi MySQL同步到MRS Hudi作业配置 消息系统：DMS Kafka
连接失败后自动重试，导致数据库账号被锁定影响使用。 支持的同步对象范围 在使用Migration进行同步时，不同类型的链路，支持的同步对象范围不同，详细情况可参考下表。 表3 同步对象范围 类型名称 使用须知 同步对象范围 支持同步的DML：包括INSERT、UPDATE、DELETE。
"schedule_time" : "00_00" } 响应示例 状态码： 200 Success，返回data数据是 BatchOperationVO对象，批量对象在BatchOperationVO.group属性中。 { "data" : { "value" : { "id"
考虑以下几点： 目的端写入过慢。 源端抽取过慢。 其他问题（请联系技术支持人员协助解决）。 因为目的端写入过慢会影响至源端，导致源端抽取速度下降，因此链路速度过慢请优先排查目的端写入速度，在排除目的端因素后再排查上游。 目的端写入慢 检查目的端负载是否已达到目的端数据源上限。优先
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。 开关打开，即只能通过SSL方式进行通信。 开关关闭，SSL通道加密和证书认证两种方式均可进行通信。
审核人员审核对象 如果您是审核人员，请使用审核人员的账号参考以下步骤审核对象。 在DataArts Studio控制台首页，选择对应工作空间的“数据架构”模块，进入数据架构页面。 在左侧导航树中，单击“审核中心”，选择“待我审核”页签，在列表中找到需要审核的对象，然后在该对象所在行单击“审核”。
查询业务资产 功能介绍 查询业务资产，包含数据规范同步过来的业务对象和逻辑实体。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/asset/business-assets/search 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查询业务资产目录树 功能介绍 逐级查询业务资产目录树，包含数据规范同步过来的业务对象和逻辑实体。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/business-assets/tree/subnode 表1 路径参数 参数 是否必选 参数类型
作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，您也可以自定义日志和DLI脏数据存储路径，支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶，不支持并行文件系统。 前提条件 修改工作空间的用户账号，需要满足如下任一条件：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
