检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询数据分类列表 功能介绍 查询数据分类列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/data-category 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。
数据集成API概览 表1 数据集成API类型 类型 说明 集群管理 集群管理类型接口。 作业管理 作业管理类型接口。 连接管理 连接管理类型接口。 集群管理 表2 集群管理 API 说明 流控策略 查询集群详情 查询集群详情接口。 cdm_common 删除集群 删除集群接口。 cdm_b
Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 在脚本目录中，双击脚本名称，进入脚本开发页面。 在编辑器上方，配置执行Python脚本的Python版本和主机连接。
记录数据迁移入库时间 CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。 前提条件 已创建连接器源端为关系型数据库，以及目的端数据连接。 目的端数据表中已有时间日期字段或时间戳字段。
记录数据迁移入库时间 CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。 前提条件 已创建连接器源端为关系型数据库，以及目的端数据连接。 目的端数据表中已有时间日期字段或时间戳字段。
MRS HDFS数据迁移到OBS 操作场景 CDM支持文件到文件类数据的迁移，本章节以MRS HDFS-->OBS为例，介绍如何通过CDM将文件类数据迁移到文件中。流程如下： 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK、SK。
"\\"")[0]}替代Loop表达式，因为StringUtil表达式最终获取的数据类型为String，无法与标准数据Int比较大小。 作业编排如图5所示： 图5 主作业样例 其中，For Each节点的关键配置如下： 数据集：数据集就是HIVE SQL节点的Select语句的执行结果。使用EL表达式#{Job
Studio数据连接 通过配置数据源信息，可以建立数据连接。DataArts Studio基于管理中心的数据连接对数据湖底座进行数据开发、治理、服务和运营。 配置开发和生产环境的数据连接后，数据开发时脚本/作业中的开发环境数据连接通过发布流程后，将自动切换对应生产环境的数据连接。 约束限制
不足，大数据集群能力不匹配，而无法聚焦业务创新，使得存量100T的数据只有4%的利用率。 在将本地的贸易统计数据迁移到华为云之后，基于华为公有云的大数据分析能力，可帮助H公司屏蔽大数据基础设施复杂的构建、维护过程，使其客户人员可以全身心聚焦业务创新，盘活100T的存量数据，使资产最大化变现。
敏感信息脱敏操作。 否：表示在进行脚本作业开发以及表数据预览的时候，不会对结果数据进行敏感数据脱敏。 该配置项功能与数据安全组件强相关，开关默认关闭，只有开关打开并且在数据安全启用了展示层脱敏策略时，该功能生效。 单击“保存”，对设置的配置项进行保存。 父主题： 配置
步骤7：数据质量监控 数据质量监控DQC（Data Quality Control）模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。 在DataArts Studio数据质量模块中，可以对业务指标和数据质量进行监控。
lasticsearch且完全托管的在线分布式搜索服务，CSS连接适用于将各类日志文件、数据库记录迁移到CSS，Elasticsearch引擎进行搜索和分析的场景。 导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。 作业运
核后申请立即生效。 图2 审核按钮 撤销API申请 数据服务平台提供撤销待审核申请的功能，您可在“审核中心 >申请列表”撤销待审核申请。 在DataArts Studio控制台首页，选择对应工作空间的“数据服务”模块，进入数据服务页面。 在左侧导航选择服务版本（例如：专享版），进入总览页。
获取质量报告业务报告数据 功能介绍 获取质量报告业务报告数据。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/report/business/scores 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
String 数据连接名称。 database_name String 数据库名称。 table_name String 数据表名名称。 data_connection_score Double 数据连接评分。 database_score Double 数据库评分。 table_score
Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据服务”模块，进入数据服务页面。 在左侧导航选择服务版本（例如：专享版），进入总览页。 单击左侧导航栏中的“审核中心”，进入相应页面后，选择“审核人管理”页签，然后单击“新建”按钮。
数据目录典型场景教程 配置增量元数据采集任务 通过数据目录查看数据血缘关系 父主题： 数据目录
配置数据访问权限（待下线） 数据权限简介（待下线） 配置数据目录权限（待下线） 配置数据表权限（待下线） 管理审批中心（待下线） 父主题： 数据目录
会报错。 准备数据文件“in.txt”，内容为一段英文单词。 操作步骤： 将脚本和数据文件传入OBS桶中，如下图。 图1 上传文件至OBS桶 本例中，wordcount.py和in.txt文件上传路径为：obs://obs-tongji/python/ 创建一个数据开发模块空作业
Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 在脚本目录中，双击脚本名称，进入脚本开发页面。 在编辑器上方，配置如表1所示的属性。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
