检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio企业模式环境隔离 管理中心的环境隔离,当前支持配置DLI和DB配置的开发、生产环境隔离。 配置环境隔离后,数据开发时脚本/作业中的开发环境数据连接通过发布流程后,将自动切换对应生产环境的数据连接。 前提条件 创建DLI环境隔离前,应已创建DLI的数据连接。 (可选)创建DLI环境隔离
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。
如何使用Java调用CDM的Rest API创建数据迁移作业? CDM提供了Rest API,可以通过程序调用实现自动化的作业创建或执行控制。 这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例,介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。
单击“新建导入”,选择导入方式后,配置待导入资源的OBS或本地路径。待导入的资源应为通过导出获取的zip文件。 图7 配置待导入的资源存储路径 单击“新建导入”,上传待导入资源。待导入的资源应为通过导出获取的zip文件 单击“下一步”,勾选导入的资源类型。 图8 勾选导入的资源类型 如果选择导入数据源,则单击“下一步”需要配置数据连接。
是 String 数据库名称。获取方法请参见获取数据源中的表。 table_id 否 String 数据表id,获取方法请参见获取数据源中的表。 table_name 是 String 数据表名称, 获取方法请参见获取数据源中的表。 user_groups 否 String 用户组
注意此方法只能直接获取当前作业里配置的参数值,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 这种情况下建议使用表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 获取参数test的值: #{Job
在待调试的API所在行,单击“更多 > 调试”。 单击“API名称”,进入API详情页面,单击“调试”。 左侧为API请求参数配置区域,参数说明如表1所示。右侧为API发送的请求信息和API请求调用后的返回结果回显。 表1 调试API 参数名称 说明 参数配置 Query的参数与参数值。
是否支持批量调度作业? 问题描述 CDM是否支持批量调度作业? 解决方案 支持。 访问DataArts Studio服务的数据开发模块。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”,新建作业。 拖动多个CDM Job节点至画布,然后再编排作业。 父主题: 数据集成(CDM作业)
单击“新建导入”,选择导入方式后,配置待导入资源的OBS或本地路径。待导入的资源应为通过导出获取的zip文件。 图7 配置待导入的资源存储路径 单击“新建导入”,上传待导入资源。待导入的资源应为通过导出获取的zip文件 单击“下一步”,勾选导入的资源类型。 图8 勾选导入的资源类型 如果选择导入数据源,则单击“下一步”需要配置数据连接。
参数 参数类型 描述 data data object data,统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述 value WorkspaceVO object value,统一的返回结果的外层数据结构。 表6 WorkspaceVO 参数 参数类型 描述 id
SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。
参数 参数类型 描述 data data object data,统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述 value WorkspaceVO object value,统一的返回结果的外层数据结构。 表6 WorkspaceVO 参数 参数类型 描述 id
通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要,数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 本章以DWS数据迁移到MRS Hive分区表为例,介绍如何通过DataArts Studio中的数据质量模块实现数据迁移前后的一致性校验。 前提条件 已在数据仓
指标质的规定性和量的规定性两个方面的特点,指标数值反映了指标在具体时间、地点、条件下的数量表现。 业务指标用于指导技术指标,而技术指标是对业务指标的具体实现。 原子指标:原子指标中的度量和属性来源于多维模型中的维度表和事实表,与多维模型所属的业务对象保持一致,与多维模型中的最细数据粒度保持一致。
是否删除数据库物理表,只针对能物化的表生效(配置此值则表示删除) 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 data data object 删除的最终返回结果,返回成功删除的对象个数。 表5 data 参数 参数类型 描述 value Integer 成功删除的对象个数 状态码:
账号是您访问华为云的责任主体,有关账号的详细介绍请参见账号中心。此处介绍如何注册一个华为账号。若您已有华为账号,可以略过此部分内容。 打开华为云网站www.huaweicloud.com。 单击页面右上角的“注册”按钮。 在注册页面,根据页面提示完成账号注册。 为了能够给您提供更好的云服务使
账号是您访问华为云的责任主体,有关账号的详细介绍请参见账号中心。此处介绍如何注册一个华为账号。若您已有华为账号,可以略过此部分内容。 打开华为云网站www.huaweicloud.com。 单击页面右上角的“注册”按钮。 在注册页面,根据页面提示完成账号注册。 为了能够给您提供更好的云服务使
请参见DataArts Studio支持的数据源章节。 DataArts Studio对接数据源,即为通过管理中心创建数据源的数据连接。DataArts Studio管理中心数据连接与数据集成数据连接相互独立,使用场景各有不同。 管理中心的数据连接用于对接数据湖底座,DataArts
操作场景 当您启动了实时集成作业后,云监控服务会自动关联实时集成作业的监控指标,帮助您精确掌握作业的各项性能指标和运行情况。 由于监控数据的获取与传输会花费一定时间,因此监控显示的是当前时间5~10分钟前的状态。如果您的实时处理集成作业刚启动完成,请等待5~10分钟后查看监控数据。 前提条件
Create OBS 单击“保存”后,选择“前往监控”页面监控作业的运行情况。 配置作业参数 作业参数中支持定义变量和常量,作业参数的作用范围为当前作业。 变量是指不同的作业下取值不同,需要重新配置值。 常量是指在不同的作业下都是一样的,不需要重新配置值。 图3 作业参数 作业参数定义好之后,可以在作业节点里面引用该参数。