检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置调度身份 数据开发模块的作业执行中会遇到如下问题: 数据开发模块的作业执行机制是以启动作业的用户身份执行该作业。对于按照周期调度方式执行的作业,当启动该作业的IAM账号在调度周期内被停用或删除后,系统无法获取用户身份认证信息,导致作业执行失败。 如果作业被低权限的用户启动,也会因为权限不足导致作业执行失败。
field_id。 field_names 否 Array of strings 字段名称信息,格式:表名称.字段名称。 cal_exp 是 String 计算表达式,形如'${table_id.column_id} > 1',其中table_id表示引用字段所属表ID,column_id表示引用字段ID。
获取审批单 功能介绍 获取审批单。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/approvals 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
查询码表列表 功能介绍 查询码表列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/code-tables 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
field_id。 field_names Array of strings 字段名称信息,格式:表名称.字段名称。 cal_exp String 计算表达式,形如'${table_id.column_id} > 1',其中table_id表示引用字段所属表ID,column_id表示引用字段ID。
复合指标名称信息。 cal_fn_ids 否 Array of strings 引用函数ID,ID字符串。 cal_exp 否 String 计算表达式,复合指标类型为“表达式”时必填。形如${index_id} + ${compound#index_id},其中index_id代表
复合指标名称信息。 cal_fn_ids 否 Array of strings 引用函数ID,ID字符串。 cal_exp 否 String 计算表达式,复合指标类型为“表达式”时必填。形如${index_id} + ${compound#index_id},其中index_id代表
查看作业实例 作业实例的数据保留最近90天的结果。 界面说明 介绍“数据质量监控 > 运维管理”页面中的区域和按键功能。 图1 页面区域说明 表1 运维管理页面 序号 区域 描述 1 导航栏 左侧导航栏,包括数据质量规则的存储目录。 用户可以根据实际需要对规则进行分目录存放,每级
实例监控 作业每次运行,都会对应产生一次作业实例记录。在数据开发模块控制台的左侧导航栏,选择 “运维调度”,进入实例监控列表页面,用户可以在该页面中查看作业的实例信息,并根据需要对实例进行更多操作。 实例监控支持从“作业名称”、“创建人”、“责任人”、“CDM作业”、“节点类型”
order_paras Array of DatasourceOrderPara objects 排序参数。 total_size_sql String 总条数计算脚本SQL。 表8 ApiRequestPara 参数 参数类型 描述 name String 参数名称。 mapping String 映射字段。
数据开发 数据开发可以创建多少个作业,作业中的节点数是否有限制? DataArts Studio支持自定义的Python脚本吗? 作业关联的CDM集群删除后,如何快速修复? 作业的计划时间和开始时间相差大,是什么原因? 相互依赖的几个作业,调度过程中某个作业执行失败,是否会影响后续作业?这时该如何处理?
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近100条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。 开发态:未提交版本的脚本/作业为开发态,
获取数据标准集合 功能介绍 根据查询条件分页获取数据标准集合,按修改时间降序排序。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/standards 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
自然周期调度之同周期依赖原理 解释说明 即作业A依赖于作业B的相同调度周期的运行实例。周期单位包括分钟、小时、天、周、月这五种,不同调度周期的作业,其允许配置的依赖作业调度周期总结如图1所示。 图1 同周期作业依赖关系全景图 分钟依赖分钟 规则:分钟是最小调度粒度,没有自然分钟周
总车费 准备数据湖 在使用DataArts Studio前,您需要根据业务场景选择符合需求的云服务或数据库作为数据底座,由数据底座提供存储和计算的能力,DataArts Studio基于数据底座进行一站式数据开发、治理和服务。 DataArts Studio平台支持对接如DLI、DWS、MRS
strings 复合指标名称信息。 cal_fn_ids Array of strings 引用函数ID,ID字符串。 cal_exp String 计算表达式,复合指标类型为“表达式”时必填。形如${index_id} + ${compound#index_id},其中index_id代表
Array of DatasourceOrderPara objects 排序参数。 total_size_sql 否 String 总条数计算脚本SQL。 表6 RequestPara 参数 是否必选 参数类型 描述 name 否 String 参数名。 position 否 String
”中输入告警条件表达式,然后按照此方法添加其他规则后,单击“确定”。 告警条件表达式,由告警参数和逻辑运算符组成。在质量作业运行时,系统将计算出告警条件表达式的结果,并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警,结果为假则不触发质量告警。在此处
field_id。 field_names 否 Array of strings 字段名称信息,格式:表名称.字段名称。 cal_exp 是 String 计算表达式,形如'${table_id.column_id} > 1',其中table_id表示引用字段所属表ID,column_id表示引用字段ID。
查找维度 功能介绍 通过中英文名称、描述、创建者、审核人、状态、l3Id、衍生指标idList、修改时间分页查找维度信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/dimensions 表1 路径参数 参数 是否必选 参数类型