检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL与MRS Hudi字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型,并以此完成自动建表和实时同步。 字段类型映射规则 当源端为MySQL,目的端为Hudi时,支持的字段类型请参见下表,以确保数据完整同步到目的端。
当前空间转换为公共层空间后,不支持回退为普通空间,其他普通空间也不能再转换为公共层空间。请谨慎选择您的公共层空间。 公共层空间无法反向查询、引用或操作普通空间的数据。 时间限定生成使用动态表达式:开关打开后,则使用动态时间表达式;如开关关闭,则默认使用原有的静态时间表达式。
不同类型的API会分别导出到文件页签中,单击下方页签可以切换查看并编辑。 图2 Excel文件样式 导出API 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。
DRS任务切换到实时Migration作业配置 DRS(数据复制服务)任务迁移到Migration,完成作业切换和数据续传。 前提条件 已创建DRS实时同步任务,DRS相关操作请参见数据复制服务。 已按使用前自检概览准备好实时数据集成环境。
PostgreSQL与DWS字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型,并以此完成自动建表和实时同步。 字段类型映射规则 当源端为PostgreSQL,目的端为DWS时,支持的字段类型请参见下表,以确保数据完整同步到目的端。
字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时,数据集成支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5校验,检查端到端文件的一致性,并输出校验结果。
图9 Hive字段映射 单击进入转换器列表界面,再选择“新建转换器 > 表达式转换”,如图10所示。
作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 SAP HANA连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
请求示例 在model_id为1184439352260976640的逻辑模型进行逻辑模型转物理模型操作后,获取转换结果。 GET https://{endpoint}/v1/{project_id}/design/operation-results?
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。
开发Python脚本 数据开发支持对Python脚本进行在线开发、调试和执行,开发完成的脚本可以在作业中调度运行(请参见开发Pipeline作业)。 Python脚本开发的样例教程请参见开发一个Python脚本。 前提条件 已新增Python脚本,请参见新建脚本。
作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 数据仓库服务(DWS)连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
可能是由于CDM集群被关闭或者并发冲突导致,您可以通过切换agent代理来临时规避此问题。 父主题: 管理中心典型场景教程
开发Shell脚本 数据开发支持对Shell脚本进行在线开发、调试和执行,开发完成的脚本可以在作业中调度运行(请参见开发Pipeline作业)。 前提条件 已新增Shell脚本,请参见新建脚本。 已新建主机连接,该Linux主机用于执行Shell脚本,请参见主机连接参数说明。
作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
新建转换器 CDM支持字段内容转换,如果需要可单击操作列下,进入转换器列表界面,再单击“新建转换器”。
可将数据库中的DDL、业务程序中封装的数据库SQL一键自动将语法转换为华为云GaussDB/RDS的SQL语法,通过预迁移评估、结构迁移两大核心功能和自动化语法转换,提前识别可能存在的改造工作、提高转化率、最大化降低用户数据库迁移成本。更多详情请参见数据库和应用迁移。
具备的功能如下所示: 权限自助申请:用户可以选择自己需要权限的数据表,在线上快速发起申请。 权限审计:管理员可以快速方便地查看数据库表权限对应人员,进行审计管理。 权限回收/交还:管理员可以通过用户权限管理及时回收用户权限,用户也可以主动交还不再需要的权限。
解决方案 请确认当前用户在IAM的权限管理中权限是否有变更、是否退出用户组,或者用户所在的用户组权限策略是否有变更? 如果有变更,请重新登录即可解决。 父主题: 数据开发
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型,并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务(Data Warehouse Service,简称DWS)中自动建表时,DWS的表与源表的字段类型映射关系如图1所示。