检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数类型 描述 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。
作业配置的结束时间。 lastInstanceStatus 否 String 作业最近一次运行实例状态,当jobType为BATCH时才有本字段。 lastInstanceEndTime 否 Long 作业最近一次运行实例运行结束时间,当jobType为BATCH时才有本字段。 lastUpdateTime
天输出告警统计报表、每天自动迁移数据。 创建一个批处理作业,作业名称为“job_alarm”。 图10 创建DLF作业 然后进入到作业开发页面,拖动DLI SQL和CDM Job节点到画布中,连接并配置节点的属性。 图11 连接和配置节点属性 关键说明: dli_partition_count(DLI
参数类型 描述 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。
shell脚本执行异常,如何处理? 问题描述 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果: DLF脚本运行结果: 图1 脚本运行结果 解决方案 添加如下两条命令: export LD
如何实现用户的工作空间隔离,使其无法查看其他未授权工作空间? DataArts Studio基于系统角色+工作空间角色实现授权的能力。默认情况下,当为普通用户配置了DAYU User系统角色,未添加为某个工作空间角色时,则该用户无法查看此工作空间。 注意,如果该普通用户同时被配置了DAYU
0分B作业的运行实例。 天依赖分钟 规则:按自然天,天周期作业实例依赖前一天内分钟级作业的实例。 举例:A依赖B,A为天作业,依赖B分钟作业, A依赖B在前一天内的最后一个实例, A会在最后一个B作业实例执行完成后执行。 天依赖小时 规则:按自然天,天周期作业实例依赖前一天内最后一周期小时作业的实例。
参数类型 描述 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。
project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 connection_id 是 String 数据连接id,可通过数据连接列表中获取。 表2 Query参数 参数 是否必选 参数类型 描述 database_name 是 String 数据库名称。 limit
PostgreSQL数据源不会自动删除复制槽,当复制槽数达到上限时,无法执行新的作业,需要手动删除复制槽。 原因分析 PostgreSQL数据源不会自动删除复制槽。 解决方案 登录作业使用的源数据库。 查询同步任务选择的database对象所对应的流复制槽名称。 select slot_name from pg_replication_slots
data_connection_id 否 String 数据连接id,通过管理中心获取连接ID。 database_name 否 String 数据库名称。 table_name 否 String 表名称。 data_connection_score_order 否 String 数据连接评分排序,0表示升序,1表示降序,与其他排序条件互斥。
已在工作空间中配置作业日志的桶目录的前提下,确认用户在IAM中的OBS权限是否具有对象存储服务(OBS)的全局权限,保证用户能够创建桶和操作桶。 解决方案 方式1:用户在对象存储OBS中创建以“dlf-log-{projectID}”命名的桶,并将操作权限赋予调度用户。 OBS路径仅支持OBS桶,不支持并行文件系统。
参数类型 描述 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。
X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 响应参数 状态码:
为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业,源连接选择为MongoDB连接或者DDS连接时,高级属性的可选参数中可以配置查询筛选。 图1 MongoDB查询筛选 此参数支持配置为时间宏变量,例如起始时间配置为
数据治理度量评估体系 数据治理实施方法论 数据治理度量维度 数据治理度量评分规则
企业版:基于MRS Hive的出租车出行数据治理流程 示例场景说明 步骤1:流程设计 步骤2:数据准备 步骤3:数据集成 步骤4:元数据采集 步骤5:数据架构设计 步骤6:数据开发处理 步骤7:数据质量监控 步骤8:数据资产查看 步骤9:服务退订
如何调用API 构造请求 认证鉴权 返回结果
数据架构API 概览 信息架构接口 数据标准接口 数据源接口 码表管理接口 流程架构接口 数据标准模板接口 审批管理接口 主题管理接口 主题层级接口 目录管理 原子指标接口 衍生指标接口 复合指标接口 维度接口 限定接口 维度表接口 事实表接口 汇总表接口 业务指标接口 版本信息接口
数据开发API(V2) 作业开发API