检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
质量作业可将创建的规则应用到建好的表中进行质量监控。 对账作业支持跨源数据对账能力,可将创建的规则应用到两张表中进行质量监控,并输出对账结果。 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要,而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 父主题: 数据质量
n的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),有B
撤回工单申请 功能介绍 撤回工单申请。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/security/permission-application/applications/{id} 表1 路径参数 参数 是否必选 参数类型 描述 id 是
批量删除对账作业 功能介绍 批量删除对账作业 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/quality/consistency-tasks/batch-delete 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
data Object 返回的数据信息。 状态码:400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码:406
业务对象(业务报告有效)。 data_connection_id 否 String 数据连接id(技术报告有效)。 database_name 否 String 数据库名称(技术报告有效)。 table_name 否 String 数据表名称(技术报告有效)。 start_timestamp 否 Long
参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 说明: 多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“节点并发数”。 配置工作空间的节点并发数,工作空间的节点并发数不能大于DataArts
实时处理集成作业处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线,每个节点配置独立的、节点级别的调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。 您可以在“作业监控 >
作业引擎繁忙等)。 eventData String 当作业使用事件驱动调度时,从通道获取的消息。 projectId String 当前数据开发模块所处项目ID。 表2 方法说明 方法 描述 示例 String getNodeStatus(String nodeName) 获取
面获取最大时间值数据。 select max(time) from table1 保存并提交版本。脚本maxtime创建完成。 创建一个Pipeline子作业 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 选择CDM Job节点,并配置节点属性参数。 图1 配置CDM
选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“数据质量监控 > 规则模板”。 单击待操作规则模板操作列的“发布历史”。 图1 发布历史 单击历史版本最右侧的“下线”按钮。则可以查看该规则模板对应的关联作业。 图2 查看关联作业 父主题: 数据质量
不支持。 从2022年4月开始,CDM已不再支持集群关机功能。当集群关机时,其底层资源可能会被占用,导致集群可能无法正常开机使用。 父主题: 数据集成(CDM作业)
表是否可配置生命周期管理? 问题描述 表是否可配置生命周期管理。 解决方案 目前暂不支持表生命周期管理的配置。 父主题: 数据架构
参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 说明: 多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工
参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 说明: 多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工
当前仅北京四、华南广州和上海一局点给用户开放使用。 基线运维功能支持用户通过配置基线任务,实现对任务运行状态及资源使用情况的监控;通过配置运维基线,保障复杂依赖场景下重要数据在预期时间内正常产出,帮助用户有效降低配置成本、避免无效报警、自动监控所有重要任务。 应用场景: 管理任务优先级 在任务数量越来越多,而资
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置 父主题: 数据集成(CDM作业)
Env内嵌对象 Env内嵌对象提供了获取环境变量值的方法。 方法 表1 方法说明 方法 描述 示例 String get(String name) 获取指定名称环境变量值。 获取环境变量名称为test的参数值: #{Env.get("test")} 举例 获取环境变量名称为test的参数值,EL表达式如下:
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted