检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_info 否 String 序列化之后的业务详情,类型是string。 biz_info_obj 否 Object 业务详情,类型是object。 biz_version
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_info 否 String 序列化之后的业务详情,类型是string。 biz_info_obj 否 Object 业务详情,类型是object。 biz_version
于一次全量写入场景。 微批模式为异步分批写入Hoodie,适用于对入库时间SLA要求较为严格的场景,以及对资源消耗较小,对MOR表存储类型在线进行压缩的场景。 说明: 运行-失败重试期间不允许修改此模式。 是 批次数据大小 “全量模式写Hoodie”设置为“否”时,使用微批模式呈现此参数。
FTP/SFTP到搜索的迁移仅支持如CSV等文本文件,不支持二进制文件。 FTP/SFTP到OBS的迁移仅支持二进制文件。 HTTP到OBS的迁移推荐使用obsutil工具,请参见obsutil简介。 SFTP HTTP Hadoop:MRS HDFS 关系型数据库 云数据库 MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
description 否 String 描述。 is_physical 否 Boolean 是否为物理表。 frequent 否 Boolean 是否为常用。 top 否 Boolean 分层治理。 level 否 String 数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层
description 否 String 描述。 is_physical 否 Boolean 是否为物理表。 frequent 否 Boolean 是否为常用。 top 否 Boolean 分层治理。 level 否 String 数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层
和实际物理数据的一致)。主数据管理首先进行企业主数据的识别,然后对已识别主数据按照主数据规范要求进行数据治理和IT改造,以支撑企业业务流和工具链的打通和串联。 管理中心 数据治理的开展离不开组织、流程和政策的建设,管理中心也管理着数据治理过程中公共核心的统一数据源、数据驾驶舱等,满足不同角色的用户拥有个性化的工作台。
SDK使用前准备 下载SDK,并导入对应SDK到本地开发工具。 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版 > SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验
台”,选择“数据地图”或对应工作空间的“数据目录”,进入数据地图或数据目录页面。 图3 选择数据地图或数据目录 按下F12,打开开发者调试工具,然后选择Network功能。 图4 选择Network 在数据地图的“首页”界面或“数据搜索”界面,或者在数据目录的“总览”界面或“数据
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_info 否 String 序列化之后的业务详情,类型是string。 biz_info_obj 否 Object 业务详情,类型是object。 biz_version
可。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能:
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_info 否 String 序列化之后的业务详情,类型是string。 biz_info_obj 否 Object 业务详情,类型是object。 biz_version
description String 描述。 is_physical Boolean 是否为物理表。 frequent Boolean 是否为常用。 top Boolean 分层治理。 level String 数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR:
事务模式迁移 支持当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时,CDM支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5校验,检查端到端文件的一致性,并输出校验结果。
通过数据开发使用参数传递灵活调度CDM作业 通过数据开发实现数据增量迁移 通过CDM节点批量创建分表迁移作业 06 SDK&API DataArts Studio软件开发工具包(SDK)是对DataArts Studio提供的REST API进行的Java,Python等封装,以简化用户的开发工作。 API文档
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_info 否 String 序列化之后的业务详情,类型是string。 biz_info_obj 否 Object 业务详情,类型是object。 biz_version
单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图7所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 图7 表到文件的字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。
ernet公网访问,并为CDM集群实例绑定弹性IP。这种方式下安全实践是:本地数据源通过防火墙或安全策略仅允许CDM弹性IP访问。 仅支持常用的数据类型,字符串、数字、日期,对象类型有限支持,如果对象过大会出现无法迁移的问题。 仅支持数据库字符集为GBK和UTF-8。 字段名不可包含&和%。
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_info String 序列化之后的业务详情,类型是string。 biz_info_obj Object 业务详情,类型是object。 biz_version Integer
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_info 否 String 序列化之后的业务详情,类型是string。 biz_info_obj 否 Object 业务详情,类型是object。 biz_version