检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改作业 功能介绍 修改作业接口。 调用方法 请参见如何调用API。 URI PUT /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
随机集群创建作业并执行接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/job 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数
您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 新建表/文件迁移作业 在DataArts Studio数据集成控制台,进入“集群管理”页面,在集群列
] } } 则可以通过level1.level2[1].level3取到数据”test”作为目标端某一个字段的值。 udf方法 支持填写Flink的内置函数用于数据转换,例如: CONCAT(CAST(NOW() as STRING), `col_name`) DATE_FORMAT(NOW()
在关系建模中创建一个表模型,包括逻辑实体和物理表。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/table-model 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数
有维度组颗粒度。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/dimension/groups 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
table 目的端schema名称:target.schema 目的端table名称:target.table 字段变量 源表中的任一字段 udf方法 substring(#col, pos[, len]): 截取源端col列的子串, 范围在[pos, pos+len)。 date_format(#col
单击弹出“关联质量规则”对话框,单击“添加规则”进行设置。 例如,添加名称为“字段唯一值”规则,选中该规则后单击“确定”,在“告警条件”中输入告警条件表达式,然后按照此方法添加其他规则后,单击“确定”。 告警条件表达式,由告警参数和逻辑运算符组成。在质量作业运行时,系统将计算出告警条件表达式的结果,并根据表达
进入“审核中心 > 审核人管理”页面,新建审核人。 安全认证 创建API时,有如下三种安全认证方式可选。三种方式的区别在于认证方式和调用方法不同,推荐使用安全性更高的APP认证。 APP认证:将APP认证方式的API授权给应用后,使用应用的密钥对(AppKey和AppSecre
在关系建模中更新一个表模型及其属性,包括逻辑实体和物理表。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/table-model 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数
创建API 功能介绍 创建API。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数
包含数据服务、元数据分类、元数据标签、元数据的采集任务和数据连接。 资源迁移 数据架构 DataArts Studio数据架构践行数据治理方法论,将数据治理行为可视化,打通数据基础层到汇总层、集市层的数据处理链路,落地数据标准和数据目录,通过关系建模、维度建模实现数据标准化,通过
获取数据资产主题树信息l1,l2,l3。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/subjects/business 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
table 目的端schema名称:target.schema 目的端table名称:target.table 字段变量 源表中的任一字段 udf方法 substring(#col, pos[, len]): 截取源端col列的子串, 范围在[pos, pos+len)。 date_format(#col
table 目的端schema名称:target.schema 目的端table名称:target.table 字段变量 源表中的任一字段 udf方法 substring(#col, pos[, len]): 截取源端col列的子串, 范围在[pos, pos+len)。 date_format(#col
您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 新建OBS到MySQL迁移作业 为方便演示,需要将OBS中的CSV格式的样例数据导入到MySQL数据库中。
当队列选择为“default”时,会提示“暂不支持"default"队列性能展示”。 还未选择资源队列时,图标灰化不可查看队列性能。 如需新建资源队列,请参考以下方法: 单击,进入DLI的“购买队列”页面新建资源队列。 前往DLI管理控制台进行新建。 说明: DLI提供默认资源队列“default”,仅
添加规则:单击“添加规则”进行设置。例如,添加名称为“字段唯一值”规则,选中该规则后单击“确定”,在“告警条件”中输入告警条件表达式,然后按照此方法添加其他规则后,单击“确定”。 告警条件表达式,由告警参数和逻辑运算符组成。在质量作业运行时,系统将计算出告警条件表达式的结果,并根据表达
策略支持如下两种,系统默认策略为“逻辑或”。 逻辑或:表示多个IF判断条件只要任意一个满足条件则执行。 逻辑与:表示多个IF判断条件需要所有条件满足时才执行。 具体使用方法请参见多IF条件下当前节点的执行策略。 单击“保存”,对设置的配置项进行保存。 配置软硬锁策略 作业或脚本的抢锁操作依赖于软硬锁处理策略。