检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GBASE连接固定选择为GBASE。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件
单击“调度身份配置”,公共调度身份选择“公共IAM账号”。 在右边的文本框中输入已创建好的公共IAM账号。 单击,完成公共IAM账号的设置。 配置执行用户 配置作业的执行用户 在作业目录处,双击选中已有作业。 单击画布右侧“作业基本信息”页签,展开配置页面,可设置作业的执行用户。 参考:创建委托 登录IAM服务控制台。
脚本所在目录路径。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“数据开发 > 脚本开发”。在脚本的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 connectionName 否 String 脚本关联的连接名称。当type参数值为DLISQL、S
取分钟:$[mi-15/24/60] 调度参数替换值在实例生成时已经确定,所以调度参数的替换值不会随着实例实际运行时间的改变而改变。 当调度参数取小时、分钟时,参数替换值由实例的计划时间决定,即由节点调度配置的计划调度时间决定。举例如下: 如果当前节点为日调度节点,并且设置计划调度时间为01:00,则小时的参数取值为01。
授权后,才能进行API调用。 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“开发API > API管理”,进入到API管理页面。 在待授权给其他华为账号的API所在行,单击“更多
审核通过后,完成发布。 发布历史 在列表中,找到所需查看的时间周期,单击“更多 > 发布历史”,将显示“发布历史”页面。 在“发布历史”中,您可以查看时间周期的发布历史和版本对比信息。 下线 在需要下线的时间周期右侧,单击“更多 > 下线”,在弹出框中,选择审核人,单击“确认提交”,提交审核。等待审核人员审核。
对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 数据集成配置 访问标识(AK) 是 适用组件勾选数据集成后,呈现此参数。
创建迁移作业 调用指定集群创建作业API创建MySQL到DWS的迁移作业。 查看作业结果 调用启动作业API开始执行作业。 准备数据 在调用API之前,您需要准备如下数据。 表1 准备数据 数据项 名称 说明 样例 云账户信息 项目名 CDM所属的项目名。 Project Name
DIS连接固定选择为DIS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件
选择是否拆分Rowkey,例如“true”。 fromJobConfig.delimiter 否 String 用于切分Rowkey的分隔符,若不设置则不切分,例如“|”。 fromJobConfig.startTime 否 String 时间区间左边界(包含该值),格式为“yyyy-MM-dd
方式来调整字段映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。
查询作业实例详情 功能介绍 查询指定作业实例详情信息,包括作业实例内各个节点的执行信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs/{job_name}/instances/{instance_id}
在数据开发模块控制台的左侧导航栏,进入“数据开发 > 脚本开发”,选择“新建DLI SQL脚本”。 进入SQL脚本开发页面,在脚本属性栏选择“数据连接”、“数据库”、“资源队列”。 图1 脚本属性 在脚本编辑器中输入以下SQL语句。 INSERT OVERWRITE TABLE trade_report
作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,可打开此配置。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。可适当调大参数,提升迁移效率。
志。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。
天依赖天 规则:按自然天的上一个周期实例进行依赖。 在同自然天内A依赖B ,无论A、B设置在什么时间点执行,A永远依赖B的前一周期实例执行。 天区间为[00:00:00,23:59:59] 举例:A在2:00执行,B在3:00执行,A会依赖B在前一个周期3:00执行的实例,在当前周期2点执行。
方式来调整字段映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。
方式来调整字段映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。
支持当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时,CDM支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5校验,检查端到端文件的一致性,并输出校验结果。 脏数据归档
工作空间内购买的数据集成集群仍会继续计费。 启用工作空间:在“空间管理”页面,找到所需启用的工作空间,单击其所在行的状态按钮。在“启用”对话框中,如果确认启用,请单击“是”。 编辑工作空间:在“空间管理”页面,找到所需编辑的工作空间,单击其所在行的“编辑”。此时显示“空间信息”页面。在“空间信息”页面,您可以参