检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 如CDM不支持源端迁移字段类型,请参见不支持数据类型转换规避指导将字段类型转换为CDM支持的类型。 父主题: 关键操作指导
史。 查看模型视图 当您在关系模型中完成表的新建后,就可以通过列表视图和模型视图两种形式查看表模型。关系模型页面默认显示为列表视图,您可以切换为模型视图进行查看。 在DataArts Studio数据架构控制台,单击左侧导航栏的“关系建模”进入关系建模页面。 在页面的中间栏位,从
在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 如CDM不支持源端迁移字段类型,请参见不支持数据类型转换规避指导将字段类型转换为CDM支持的类型。 父主题: 数据迁移进阶实践
在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 如CDM不支持源端迁移字段类型,请参见不支持数据类型转换规避指导将字段类型转换为CDM支持的类型。 父主题: 数据集成(离线作业)
调用说明 数据治理中心提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用。 调用方法请参见如何调用API。 构造请求 认证鉴权 返回结果 父主题: 使用前必读
在IAM服务左侧导航窗格中,进入“权限管理 > 权限”,单击页面中的“创建自定义策略”。 图1 单击创建自定义策略 在弹出的创建自定义策略页面中,切换到JSON视图,填写MRS权限管理所需的IAM相关自定义策略后,单击“确定”完成IAM相关自定义策略创建。 创建自定义策略时,暂不支持同时
Studio企业版)、创建工作空间等一系列操作。然后进入到对应的工作空间,即可开始使用DataArts Studio。 数据源准备 本示例演示数据来自:https://grouplens.org/datasets/movielens/100k/,即1000名用户对1700部电影的100,000个评
跨Region访问OBS桶。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 obs.myregion.mycloud.com 端口 数据传输协议端口,https是443,http是80。 443 OBS桶类型 用户下拉选择即可,一般选择为“对象存储”。
使用教程 概览 DRS任务切换到实时Migration作业配置 MySQL同步到MRS Hudi作业配置 MySQL同步到DWS作业配置 MySQL同步到Kafka作业配置 DMS Kafka同步到OBS作业配置 Apache Kafka同步到MRS Kafka作业配置 SQLServer同步到MRS
DLI到DWS端的数据转换: 因为数据开发模块调用DWS的集群时,需要走网络代理。所以导入数据到DWS时,需要提前先在数据开发模块中创建DWS的数据连接。 DLI导入数据到DWS时,DWS的表需要先创建好。 DLI到CSS、CloudTable端的数据转换: DLI导入数据到CS
的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 图5 表到表的字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败
密钥加密:用户在CDM上创建连接输入的各种数据源的密钥,CDM均采用高强度加密算法保存在CDM数据库。 无中间存储:数据在迁移的过程中,CDM只处理数据映射和转换,而不会存储任何用户数据或片段。 父主题: 数据集成(CDM作业)
时也为二次开发提供了更便捷的方式。您可以在如下场景中可以使用API编排,简化开发工作: 对返回消息进行映射或格式转换:通过API编排的方式能够灵活实现消息映射及格式转换。 数据请求依赖多个数据API:使用API编排后,可以降低调用次数,减少集成成本,提升调用效率。 约束与限制 仅3
ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择“云数据迁移服务”,进入CDM主界面查看集群,若未提示权限不足,表示“CDM ReadOnlyAccess”已生效。
data Object 返回的数据信息。 请求示例 将标签ddd从ID为1217123755210469378的表上移除。 DELETE https://{endpoint}/v2/{project_id}/design/1217123755210469378/tags?tag=ddd
hits”,然后在作业第二步添加转换器,操作步骤如下: 单击添加字段,新增一个字段。 图2 添加字段 在添加的新字段后面,单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统
I。 图1 全量导出API 打开下载到本地的Excel文件,可以查看导出的API。不同类型的API会分别导出到文件页签中,单击下方页签可以切换查看并编辑。 图2 Excel文件样式 导出API 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。
VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 说明: 目前专享版集群创建完成后不支持切换VPC、子网、安全组,请谨慎选择。 如果开启公网入口,安全组入方向需要放开80(HTTP)和443(HTTPS)端口的访问权限。 此处支持选择共享VPC子网,即由VPC的所有者将VPC内的子网共
data Object 返回的数据信息。 请求示例 给ID为1217123755210469378的表打标签aaa、bbb。 PUT https://{endpoint}/v2/{project_id}/design/1217123755210469378/tags?tags=bbb&tags=aaa
然后再重新创建该表。 说明: 自动建表只同步列注释,表注释不会被同步。 自动建表不支持同步主键。 不自动创建 源端null值转换值 将源端null值转换为其他值。 TO_NULL TO_EMPTY_STRRING TO_NULL_STRING TO_NULL 导入前清空数据 选择目的端表中数据的处理方式。