检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行排查。 配置源端、目标端参数。 各链路源端或目的端参数配置不同,详情请参见使用教程中对应的文档进行配置。 刷新源表和目标表映射,检查映射关系是否正确,同时可根据需求修改表属性、添加附加字段。 (可选)配置DDL消息处理规则。 实时集成作业除了能够同步对数据的增删改等DML操作外
周期为月,则作业A只能设置调度周期为天的作业为依赖作业。 不同调度周期的作业,其允许配置的依赖作业调度周期总结如图2所示。 图2 作业依赖关系全景图 设置依赖作业后的作业运行原理 同周期依赖和跨周期依赖的作业运行原理有所差异。为方便说明,本例中假设“依赖的作业失败后,当前作业处理
Studio数据连接。 对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts
配置完成后保存作业。 测试运行主作业。 单击主作业画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”,进入实例监控中查看作业运行情况。等待作业运行成功后,就能查看For Each节点生成的子作业
配置完成后保存作业。 测试运行主作业。 单击主作业画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”,进入实例监控中查看作业运行情况。等待作业运行成功后,就能查看For Each节点生成的子作业
功后,才会开始调度。 场景二:离散小时依赖小时、分钟、离散小时, 或者小时、分钟依赖离散小时,依赖都遵循如下规则。 规则一:自然天内,依赖关系中的上游、下游任务数量一致,则上游、下游一对一依赖。 解释:例如作业A依赖作业B,作业A是离散小时调度,每天3/6/8点运行,则作业A一天
定的队列配置用户权限策略,另外工作空间管理员用户也可以为用户组/用户配置队列权限策略。 当前工作空间分配的队列资源和配置的队列权限并无绑定关系,队列权限策略实际上落在数据源配置中。因此,当删除当前工作空间的队列资源后,已配置的队列权限策略依然生效;重新添加队列资源后,权限依然可见。
配置完成后保存作业。 测试运行主作业 单击主作业画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”,进入实例监控中查看作业运行结果。 待作业运行完成后,从实例监控中查看子作业foreach的运
调度,那该作业的执行用户就默认为提交版本的用户。 调度身份的分类 调度身份分为委托和IAM账户两大类。 委托:由于云各服务之间存在业务交互关系,一些云服务需要与其他云服务协同工作,需要您创建云服务委托,将操作权限委托给这些服务,让这些服务以您的身份使用其他云服务,代替您进行一些资源运维工作。
界面获取。请在生成后妥善保管。 密钥(SK) 是 OBS测试路径 否 “OBS支持”设置为“是”时,呈现此参数。 请填写完整的文件路径,将调用元数据查询接口来校验路径的访问权限。 说明: 如果是对象存储,路径需要填写到对象级别,否则会报错404,例如:“obs://bucket/dir/test
名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 obs_link OBS终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息: OBS桶的Endpoint,可以
M集群,然后通过编辑数据连接的方式重新选择新版本驱动,更新驱动才能生效。 驱动文件 是 “驱动文件来源”选择“本地文件”时配置。不同类型的关系数据库,需要适配不同类型的驱动。 数据源认证及其他功能配置 用户名 是 MRS集群或CloudTable集群的用户名。 如果使用新建的MR
timeout=360000:为避免Hive迁移作业长时间卡住,可自定义operation超时时间(单位ms)。 hive.storeFormat=textfile:关系型数据库迁移到Hive时,自动建表默认为orc格式。如果需要指定为textfile格式,可增加此配置。parquet格式同理,hive.s
失败。另外,OBS样本文件只能用于DLI引擎的静态脱敏任务,HDFS样本文件只能用于MRS引擎的静态脱敏任务。静态脱敏场景与引擎之间的对应关系请参考参考:静态脱敏场景介绍。 运行使用自定义哈希类型脱敏算法的静态脱敏任务时,如果使用了dws-SM3密码杂凑算法,则必须选择DWS引擎运行,要求DWS集群版本不低于8
User;工作空间角色是基于IAM角色DAYU User进一步授予的,权限列表列出了DataArts Studio常用操作与工作空间角色的授权关系,您可以参照这些权限列表选择合适的角色。 图1 权限体系 表1 DataArts Studio系统角色 系统角色名称 描述 类别 DAYU
类型主要用于精确去重场景下,对数据进行预聚合。同时也可以用于如用户画像场景存放用户ID等。 BITMAP 列只能通过配套的 BITMAP 函数进行查询和使用。 达梦数据库迁移时支持的数据类型 源端为达梦数据库,目的端为Hive、DWS时,支持的数据类型如下: 表12 达梦数据库作为源端时支持的数据类型
查询作业myJob的详情。 GET /v1/b384b9e9ab9b4ee8994c8633aabc9505/jobs/myJob 响应示例 调用查询作业详情接口时,如果在参数中带上dependencies=true,则会返回下游依赖当前作业的作业,只返回第一层。 GET /v1/b