检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
取值样例 基本参数 表名 导出数据的HBase表名。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studi
所在地区的不同,返回不同的信息。 相关操作 编辑API工作流:在API工作流列表页面,单击对应工作流操作栏中的“编辑”,即可进入API工作流编排页面,重新进行工作流编排或修改。 查看API工作流授权:在API工作流列表页面,单击对应工作流操作栏中的“查看授权”,即可进入API完整信息界面,并对工作流进行授权。
响应Body参数 参数 参数类型 描述 data data object 删除的最终返回结果,返回成功删除的对象个数。 表5 data 参数 参数类型 描述 value Integer 成功删除的对象个数 状态码:400 表6 响应Body参数 参数 参数类型 描述 error_code String
Studio数据集成、管理中心和数据开发模块,DataArts Studio各版本均可以满足使用要求。 操作流程如下: 准备工作,包括使用DataArts Studio前的准备、数据源准备、数据湖准备和认证数据准备。 创建数据迁移作业,将OBS数据迁移到DWS。 数据开发,包含创建DWS SQL脚本和开发作业。 创建DWS
如果同时对表进行读和写操作时,会导致数据冲突、操作失败。 如果您需要对大数据服务数据表进行读表和写表操作,建议参考以下方式之一进行串行操作处理: 将读表和写表操作拆分为同一作业的不同节点,两个节点通过连线建立先后执行关系,避免同时执行冲突。 将读表和写表操作拆分为两个不同的作业,
结果,获取前一节点输出的字段值,但注意输出结果类型为String。需要输出原数据类型时,仍需通过For Each节点及其支持的Loop内嵌对象EL表达式获取。 #{StringUtil.split(StringUtil.split(StringUtil.split(Job.getNodeOutput("前一节点名")
当天的零点),查找前一天的小时任务作业B是否执行完成,然后执行周任务作业A。 举例:A依赖B,A作业每周一调度,B作业每小时第50分钟执行。则A作业会一直等待B作业执行,一直到B作业上周日最后一个任务23:50分的任务执行完成后,A作业依赖B作业上周日最后一个任务23:50分的运行实例。
(可选)获取认证信息 DataArts Studio使用过程中,例如在数据集成创建OBS连接、API调用或问题定位时,您可能需要获取访问密钥、项目ID、终端节点等信息,获取方式如下。 获取访问密钥 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。
String 业务实体类型。 枚举值: AGGREGATION_LOGIC_TABLE: 汇总表 ATOMIC_INDEX: 原子指标 ATOMIC_METRIC: 原子指标(新) BIZ_CATALOG: 流程架构目录 BIZ_METRIC: 业务指标 CODE_TABLE: 码表 COMMON_CONDITION:
String 业务实体类型。 枚举值: AGGREGATION_LOGIC_TABLE: 汇总表 ATOMIC_INDEX: 原子指标 ATOMIC_METRIC: 原子指标(新) BIZ_CATALOG: 流程架构目录 BIZ_METRIC: 业务指标 CODE_TABLE: 码表 COMMON_CONDITION:
Studio实例或增量包时,是否将资源放在同一可用区内,主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 详情请参见什么是可用区。 工作空间
String 业务实体类型。 枚举值: AGGREGATION_LOGIC_TABLE: 汇总表 ATOMIC_INDEX: 原子指标 ATOMIC_METRIC: 原子指标(新) BIZ_CATALOG: 流程架构目录 BIZ_METRIC: 业务指标 CODE_TABLE: 码表 COMMON_CONDITION:
运行中:表示实例正在运行中,无执行结果。 超时:表示实例运行超时,状态显示为失败。 通知状态 展示实例通知状态,包含成功、失败和未触发。 操作人 展示实例的操作人。 创建时间 展示实例的创建时间。 开始时间 展示实例开始运行的时间。开始时间支持按照升序和降序进行排序。 运行时间 展示实例的运行时长。
您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v2/{project_id}/factory/jobs/{job_name}/instances/detail ?min_plan_time={min_plan_time}&max_plan_
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时,源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例
集成作业包含离线处理作业和实时处理作业,操作入口在数据开发界面。 新建集成作业的方式有如下两种: 方式一:在“作业开发”界面中,单击“新建集成作业”。 图1 新建集成作业(方式一) 方式二:在作业目录中,右键单击目录名称,选择“新建集成作业”。 图2 新建集成作业(方式二) 离线处理作业的详细操作,请参见数据集成(离线作业)。
如果RDS上的“local_infile”参数组不可编辑,则说明是默认参数组,需要先创建一个新的参数组,再修改该参数值,并应用到RDS的MySQL实例上,具体操作请参见《关系型数据库用户指南》。 是 使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 -
用、小规模验证等场景。 初级版:基于DWS的电影评分数据集成与开发流程 DWS 初级版 数据集成+数据开发 用于大数据开发场景的数据ETL任务管理等场景,但不涉及数据治理,适用于开发者试用、小规模验证等场景。 企业版:基于MRS Hive的出租车出行的数据治理流程 MRS Hive
operation_status String 操作结果类型枚举。RUNNING(运行中)、SUCCESS(操作成功)、FAILED(操作失败)。 枚举值: RUNNING: 运行中 SUCCESS: 操作成功 FAILED: 操作失败 operation_type String
据权限功能仅限于存量用户使用。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。 数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示: 权限自助申请:用户可以选择自己需要权限的数据表,在线上快速发起申请。