检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成（实时作业） 实时作业概述 支持的数据源 使用前自检概览 网络打通 新建实时集成作业 配置实时集成作业 实时集成任务运维 字段类型映射关系 任务性能调优 使用教程
引擎已经经过几百个应用的检验。 运维监控 支持对作业进行运行、暂停、恢复、终止等多种操作。 支持查看作业和其内各任务节点的运行详情。 支持配置多种方式报警，作业和任务发生错误时可及时通知相关人，保证业务正常运行。 数据质量：可控可检验 数据质量模块支持对业务指标和数据质量进行监控
数据开发 数据开发概述 数据管理 脚本开发 作业开发 集成作业开发 解决方案 运行历史 运维调度 配置管理 审批中心 下载中心 节点参考 EL表达式参考 简易变量集参考 使用教程
数据安全诊断接口 执行数据安全诊断 查询不合理的权限配置 查询数据权限控制模块诊断结果 查询敏感数据保护模块诊断结果 查询未进行静态脱敏任务的表信息 查询数据源防护模块诊断结果 父主题： 数据安全API
在申请权限页面，设置使用截止时间、选择应用，然后单击“确认”，完成API的权限申请。 如果生成API时设置入参位置为Static，则还需设置静态参数值。如果未配置Static参数值，则SDK调用时会使用API入参默认值，API工具调用时会导致缺少Static参数值的报错。 图1 申请权限 申请后，需要等待审核中心审核，方可授权成功。
对象存储服务OBS MRS Hudi组件（MRS Hudi作为一种数据格式，元数据存放在Hive中，操作通过Spark进行。在Hudi表开启“同步hive表配置”后，可通过采集MRS Hive元数据的方式采集Hudi表的元数据） [3] 数据质量：数据质量组件中的质量作业和对账作业功能，不支持对接MRS集群存算分离的场景。
在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 在脚本开发导航栏，选择，展开DWS数据连接，选择需配置的数据库，展开目录层级至“schemas”，右键单击“schemas”，选择“新建模式”。 在弹出的“新建模式”页面，配置如表1所示的参数。 表1 新建模式 参数 是否必选 说明 模式名称 是 数据库模式的名称。
流程设计页面。 单击流程列表上方的“导入”按钮导入流程。 在“导入流程”对话框中，根据页面提示配置如下参数，然后先单击“添加文件”后，再单击“上传文件”。 图4 导入流程 表2 导入配置参数说明 参数名 说明 更新已有数据 如果所要导入的流程，在DataArts Studio数据
根据处理人、实例名称进行搜索展示规则实例的列表信息，输入内容支持模糊搜索。 5 SQL并发数配置 单击SQL框，进入“单连接SQL并发数配置”页面，配置SQL并发数。输入值必须在10到1000之间。单击“确定”，完成配置。 说明： 并发数是指单个数据连接下的SQL并发数，如果超出则等待排队执行。
创建并管理CDM集群 创建CDM集群 解绑/绑定CDM集群的EIP 重启CDM集群 删除CDM集群 下载CDM集群日志 查看并修改CDM集群配置 管理集群标签 管理并查看CDM监控指标 父主题： 数据集成（CDM作业）
创建一个新连接。 - - 查询连接列表（待下线） 查询连接列表。 - - 查询连接详情（待下线） 查询指定连接的配置详情。 - - 修改连接（待下线） 编辑修改连接的配置。 - - 删除连接（待下线） 删除一个连接。 - - 导出连接（待下线） 导出zip压缩包格式的连接文件，包括所有连接的定义。
作业脚本保存下来，仅在需要的时候再重新创建集群和重新导入作业。 批量创建作业任务：可以先手工创建一个作业，导出作业配置（导出的文件为JSON格式），然后参考该作业配置，在JSON文件中批量复制出更多作业，最后导入CDM以实现批量创建作业。 操作步骤 进入CDM主界面，单击左侧导航
V格式”。CSV格式的主要有以下使用场景： 文件导入到数据库、NoSQL。 数据库、NoSQL导出到文件。 选择了CSV格式后，通常还可以配置以下可选子参数： 1.换行符 2.字段分隔符 3.编码类型 4.使用包围符 5.使用正则表达式分隔字段 6.首行为标题行 7.写入文件大小
V格式”。CSV格式的主要有以下使用场景： 文件导入到数据库、NoSQL。 数据库、NoSQL导出到文件。 选择了CSV格式后，通常还可以配置以下可选子参数： 1.换行符 2.字段分隔符 3.编码类型 4.使用包围符 5.使用正则表达式分隔字段 6.首行为标题行 7.写入文件大小
enable_profile Boolean 是否启用配置。 enable_classification Boolean 是否开启分类。 bridge_status String 桥接状态。 profile_status String 配置状态。 classification_status
进入时间周期页面后，单击“新建”按钮。 在新建时间周期页面，参考表1配置参数。 图2 时间周期 表1 新建时间周期参数说明 参数名称 说明 *周期名称 只能包含中文、英文字母、数字和下划线，且必须以中文或英文字母开头。 *周期编码 只能包含英文字母、数字和下划线。 *时间配置 可选择“按年”、“按月”、“按日”
有哪些需求，需要获得什么价值？ 监控数据质量 支持更多数据源和更多规则的监控 作业数量规模是多少？ 本示例仅1个 用户可手动创建几十个作业，也可以在数据架构中配置自动生成数据质量作业。如果调用数据质量监控的创建接口，则可创建超过100个质量作业 用户的使用场景？ 对DWI层数据进行标准化清洗 一般在
DataMaskParas objects 数据脱敏配置。 body 否 String 请求体内容描述，仅注册类API使用。 datasource_config_list 否 Array of DatasourceConfig objects 多数据源配置信息，仅Groovy类API使用。 groovy_content
当天告警分类统计、当天数据表告警统计、最近7天规则告警分类趋势的统计和最近7天规则数量的趋势。 规则模板 质量规则模板是数据质量的核心功能，是配置规则的主要入口。它主要管理规则配置（内置模板和自定义模板）的相关功能。 质量作业 质量作业可将规则模板或自定义规则应用到表中，进行数据质量监控。 对账作业
键字，然后单击“搜索”，搜索结果以列表方式显示。 勾选需要添加标签的资产，单击右上角“标识”。在添加标识对话框中配置标签。 图1 添加标识 选择标识种类为标签，并配置标签，单击“确定”提交。 此处支持全新添加标签，也支持选择已有标签。已有标签来源于管理标签。 父主题： 查看工作空间数据地图
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
