检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
响应参数 表4 响应参数说明 参数名 是否必选 参数类型 说明 deploy_package_details 否 List<Object> 发布包信息,请参考表5。 表5 deploy_package_details数据结构 参数名 是否必选 参数类型 说明 asy_subtask_num
企业的IT系统经历了数据量高速膨胀的时期,这些海量的、分散在不同角落的数据导致了数据资源利用的复杂性和管理的高难度。企业无法从统一的业务视角去概览整个企业内部的数据信息。暴露出来的只是一个个独立的系统,系统与系统之间的关系、标准数据从哪里获取都无从知晓。 数据是企业争夺优质客户的关键 数据是企业的生命线,
输入“日历名称”、选择“默认工作日”以及对调度日历进行备注。 默认工作日可以选择“周一到周五”或“周一到周日”。系统默认周一到周五,生成对应的日历信息。 单击“确认”,调度日历配置完成。 配置完成后,请前往作业开发界面,在所需作业画布右侧“调度配置”页签,选择周期调度,选择调度日历,即可
响应Body参数 参数 参数类型 描述 submissions Array of StartJobSubmission objects 作业运行信息,请参见submission参数说明。 表5 StartJobSubmission 参数 参数类型 描述 isIncrementing Boolean
移动作业/作业目录 您可以通过移动功能把作业文件或作业目录从当前目录移动到另一个目录。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
览页。 单击“运营管理 > 审核中心”,选择“待审核”页签。 在待审核任务列表,可通过对应任务操作列的“审核”、或单击API名称进入API信息页面,逐一审核任务;也可以勾选多个审核任务后通列表上方的“批量审核”,统一审核任务。审核后申请立即生效。 图2 审核按钮 撤销API申请
解决方案 背景信息 解决方案定位于为用户提供便捷的、系统的方式管理作业,更好地实现业务需求和目标。每个解决方案可以包含一个或多个业务相关的作业,一个作业可以被多个解决方案复用。 数据开发模块目前支持处理以下几种方式的解决方案。 新建解决方案 编辑解决方案 导出解决方案 导入解决方案
单击,修改节点输入功能的参数配置,修改完成后,请保存。 删除 单击,删除节点输入功能的参数配置。 查看表详情 单击,查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM,CloudTable和DLI类型。
Administrator权限的用户,至少指定一个审批人,不能指定自己为审批人。单击“审批人管理”可以跳转到“空间管理”页面,单击“编辑”按钮可以维护审批人信息。 可以进行批量发布。发布多个待发布项时,发布流程采用异步发布,可以看到发布任务的过程,最大的发布项个数为100。 对于暂时不发布的发布项
Administrator权限的用户,至少指定一个审批人,不能指定自己为审批人。单击“审批人管理”可以跳转到“空间管理”页面,单击“编辑”按钮可以维护审批人信息。 可以进行批量发布。发布多个待发布项时,发布流程采用异步发布,可以看到发布任务的过程,最大的发布项个数为100。 单击发布后,系统会提示
输入“\t”。 , 高级参数 使用配置文件 “数据格式”选择为“CDC场景”时配置,用于配置OBS文件。 否 OBS链接 选择OBS连接器信息。 obs_link OBS桶 选择OBS桶。 obs_test 配置文件 选择OBS的配置文件。 /obs/config.csv 最大消息数/poll
源端数据源 作业分片原理 数据仓库 数据仓库服务(DWS) 支持按表字段分片。 不支持按表分区分片。 数据湖探索(DLI) 支持分区表的分区信息分片。 不支持非分区表分片。 Hadoop MRS HDFS 支持按文件分片。 MRS HBase 支持按HBase的Region分片。 MRS
参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。 状态码: 500 表4 响应Body参数 参数 参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。
0000表示请求处理成功。 error_msg String 错误信息。 状态码: 500 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 批量删除规则模板,模板id列
成能力。 DataArts Studio实例中默认不包含数据集成资源组,如果您需要使用数据实时迁移功能,请创建数据集成资源组增量包。 背景信息 创建数据集成资源组增量包,系统会按照您所选规格自动创建一个数据集成实时作业所需的资源组。 套餐包(按需资源包)方式购买数据集成资源组增量包时,需注意如下几点:
用户流量限制(次/s) 创建脚本 创建一个新脚本。 300 30 修改脚本内容 本接口用以修改脚本的配置项或者脚本内容。 300 30 查询脚本信息 此接口可以查询指定脚本的定义,包括脚本类型和脚本内容。 300 30 查询脚本列表 此接口用以查询脚本列表。 300 30 查询脚本实例执行结果
表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 说明: Hbase自动建表包含列族与协处理器Coprocessor信息。其他属性按默认值设置,不跟随源端。 不自动创建 Row key拼接分隔符 可选参数,用于多列合并作为rowkey,默认为空格。 , Rowkey冗余
通过本示例,用户可以了解数据开发模块EL表达式的如下应用: 如何在数据开发模块的SQL脚本中使用变量? 作业如何传递参数给SQL脚本变量? 在参数中如何使用EL表达式? 背景信息 使用数据开发模块的作业编排和作业调度功能,每日通过统计交易明细表,生成日交易统计报表。 本示例涉及的数据表如下所示: trade_log:记录每一笔交易数据。
0000表示请求处理成功。 error_msg String 错误信息。 状态码: 500 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 无 响应示例 状态码: 200
参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。