检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建实时处理集成作业 前提条件 作业在每个工作空间的最大配额为10000，请确保当前作业的数量未达到最大配额。 操作步骤 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的
配置HDFS源端参数 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。 hdfs_to_cdm 源目录或文件 “列表文件”选择为“否”时，才有该参数。 待迁移数据的目录或单个文件路径。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量
DDS连接参数说明 DDS连接适用于华为云上的文档数据库服务，常用于从DDS同步数据到大数据平台。 连接云服务DDS时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 DDS连接参数 参数名
查看业务场景实例 管理所有运行的业务场景，查看运行状态、运行日志、问题处理等。 界面说明 介绍“业务指标监控 > 运维管理”页面中的区域和按键功能。 图1 运维管理页面 表1 运维管理页面说明 序号 区域 描述 1 菜单栏 运维管理的菜单栏，包括业务场景实例和我的订阅。 业务场景实例
For Each 功能 该节点可以指定一个子作业循环执行，并支持用一个数据集对子作业中的变量进行循环替换。 For Each节点的具体使用教程，请参见For Each节点使用介绍。 For Each节点单次运行时，指定的子作业最多循环执行1000次。 如果DLI SQL作为前置节点
常用EL表达式样例合集 本章节介绍常用的EL表达式及示例。 表1 常用的EL表达式 方法 描述 示例 String getNodeStatus(String nodeName) 获取指定节点运行状态，成功状态返回success，失败状态返回fail。 例如，判断节点是否运行成功，可以使用如下判断条件
获取质量作业详情 功能介绍 获取质量作业详情 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/quality-tasks/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，
配置FTP/SFTP源端参数 作业中源连接为FTP/SFTP连接时，源端作业参数如表1所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表1 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 待迁移数据的目录或单个文件路径
数据安全能力成熟度模型 数据安全能力成熟度模型（Data Security Capability Maturity Mode，简称DSMM）是依据《信息安全技术数据安全能力成熟度模型》国家标准和《数据安全能力建设实施指南V1.0》，对组织的数据安全开展能力评估。DSMM旨在标准先行
Elasticsearch/云搜索服务(CSS)连接 介绍 通过Elasticsearch连接，可以对Elasticsearch服务器或云搜索服务抽取、加载数据。 连接样例 { "links": [ { "link-config-values": {
基线运维概述 基线运维功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 当前仅北京四、华南广州和上海一局点给用户开放使用。 基线运维功能支持用户通过配置基线任务，实现对任务运行状态及资源使用情况的监控；通过配置运维基线，保障复杂依赖场景下重要数据在预期时间内正常产出
查询集群概览信息列表 功能介绍 查询集群概览信息列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/instances/overview 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
获取规则模板详情 功能介绍 获取规则模板详情。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/rule-templates/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID
指定文件名迁移 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数“源目录或文件”支持输入多个文件名
指定文件名迁移 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数“源目录或文件”支持输入多个文件名
获取规则模板列表 功能介绍 分页获取规则模板列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/rule-templates 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目
MongoDB连接参数说明 MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或ECS上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户
定义数据分类 当数据密级已经无法满足大数据量下的数据分级分类诉求时，您可以进一步为不同价值的数据定义数据分类，以更好地管理和分组计量自己的数据，让各类各组之间属于并列、平等并且互相排斥的关系，使数据更清晰。本章主要介绍如何定义数据分类。 值得注意的是，数据密级、数据分类和识别规则，
云搜索服务（CSS）连接参数说明 华为云的云搜索服务（CSS）是一个基于Elasticsearch且完全托管的在线分布式搜索服务，CSS连接适用于将各类日志文件、数据库记录迁移到CSS，Elasticsearch引擎进行搜索和分析的场景。 导入数据到CSS推荐使用Logstash，
步骤1：流程设计 本入门指南以某市出租车出行数据为例，统计某出租车供应商2017年度的运营数据。基于需求分析和业务调研，数据治理业务流程设计如图1所示，后续的数据治理操作均基于本业务流程完成。 图1 流程设计 需求分析 通过需求分析，可以提炼出数据治理流程的实现框架，支撑具体数据治理实施流程的设计
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
