检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调用API方式简介 创建API时,有三种认证方式可选,不同认证方式的API支持的调用方式也有所不同,详见表1。 表1 API认证与调用方式说明 认证方式 安全级别 授权与认证机制 支持的调用方式 调用方法示例 使用说明 (推荐)APP认证 高 通过APP应用将API授权给应用后,
会出现无法支持建表语句执行的报错,这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行,可联系DLI服务客服或技术支持人员协助解决。 DLI的“default”队列为共享队列,仅用于用户体验,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执
apply_scenario String 应用场景。 technical_metric String 关联技术指标,ID字符串。 technical_metric_name String 关联技术指标名称,只读。 technical_metric_type String 业务实体类型。 枚举值:
数据治理组织架构框架 数据治理可以采用集中化(全时投入)和虚拟化(部分投入)混合的组织模式。结合具备专业技能的专职数据治理人员和熟悉业务和IT系统的已有人员,在运作上实现数据治理团队的快速构建和能力导入,捆绑业务、IT开发和数据团队利用已有人员熟悉度快速切入重点工作。 在工作内容和责任上具体到三层的工作组织:
数据权限简介 为确保数据使用安全可控,使用数据表需要先申请权限。 数据权限模块为用户提供便捷的权限管控能力,提供可视化申请审批流程,并可以进行权限的审计和管理。提高数据安全的同时,还可以方便用户进行数据权限管控。 数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示:
配置任务组 通过配置任务组,可以更细粒度的进行当前任务组中的作业节点的并发数控制。 约束限制 该功能不支持实时处理作业,只支持批处理作业。 任务组不能跨工作空间去使用。 对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了作业级任务组,则优先级高于节点的任务组。
基线管理 为了保障重要任务能按时完成,用户可以使用基线管理功能将重要任务添加至基线上并设置承诺时间和预警余量时间。当系统判断基线任务可能无法在承诺时间前完成时,将发出告警。 创建基线 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
如何降低CDM使用成本? 如果是迁移公网的数据上云,可以使用NAT网关服务,实现CDM服务与子网中的其他弹性云服务器共享弹性IP,可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性
通过CDM节点批量创建分表迁移作业 适用场景 业务系统中,数据源往往会采用分表的形式,以减少单表大小,支持复杂的业务应用场景。 在这种情况下,通过CDM进行数据集成时,需要针对每张表创建一个数据迁移作业。您可以参考本教程,通过数据开发模块的For Each节点和CDM节点,配合作业参数,实现批量创建分表迁移作业。
apply_scenario String 应用场景。 technical_metric String 关联技术指标,ID字符串。 technical_metric_name String 关联技术指标名称,只读。 technical_metric_type String 业务实体类型。 枚举值:
apply_scenario String 应用场景。 technical_metric String 关联技术指标,ID字符串。 technical_metric_name String 关联技术指标名称,只读。 technical_metric_type String 业务实体类型。 枚举值:
简易变量集参考 简易变量集提供了一系列自定义的变量,自定义参数会根据任务调度的业务日期、计划时间及参数的取值格式自动替换为具体的值,实现在任务调度时间内参数的动态替换。 当前系统支持业务日期、计划时间、业务id三类参数的自定义。 业务日期是指在调度时间内,任务预期调度运行时间的前
果没有输入执行用户,则以提交作业启动的用户身份执行。 说明: 配置执行用户调度功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 作业委托 当“作业调度身份是否可配置”设置为“是”,该参数可见。 配置委托后,作业执行过程中,以委托的身份与其他服务交互。 作业优先级
创建补数据实例 功能介绍 创建一个补数据实例。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/supplement-data 参数说明 参数名 是否必选 参数类型 说明 project_id
同步任务类型枚举。 枚举值: BUSINESS_ASSET: 同步业务资产 DATA_QUALITY: 创建质量作业 TECHNICAL_ASSET: 同步技术资产 META_DATA_LINK: 资产关联 PHYSICAL_TABLE: 创建表(生产环境) DEV_PHYSICAL_TABLE:
同步任务类型枚举。 枚举值: BUSINESS_ASSET: 同步业务资产 DATA_QUALITY: 创建质量作业 TECHNICAL_ASSET: 同步技术资产 META_DATA_LINK: 资产关联 PHYSICAL_TABLE: 创建表(生产环境) DEV_PHYSICAL_TABLE:
移动作业/作业目录 您可以通过移动功能把作业文件或作业目录从当前目录移动到另一个目录。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
支持的数据源 数据集成离线同步支持单表同步至目标单表、分库分表同步至目标单表及整库同步至目标单表三种同步方式,不同的同步方式支持的数据源有所不同: 单表同步:适用于数据入湖和数据上云场景下,表或文件级别的数据同步,支持的数据源请参见表/文件同步支持的数据源类型。 分库分表同步:适
生产环境创建表状态 dev_physical_table String 开发环境创建表状态 technical_asset String 技术资产同步状态,只读。 business_asset String 业务资产同步状态,只读。 meta_data_link String 资产关联状态,只读。
”的MRS集群,安全性更强),具体操作请参见创建集群。 为确保MRS集群与DataArts Studio实例网络互通,MRS集群需满足如下要求: MRS集群必须包含Hive组件。 如需使用基于DataArts Studio数据架构的数据标准自动生成质量作业的功能,MRS集群版本必须是2