检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
定义数据密级 为了方便对数据进行管理，在对数据进行操作前，需要您为数据定义密级，并对保密等级做相应的描述，例如明确涉密的范围。本章主要介绍如何定义数据密级并配置默认密级。 值得注意的是，数据密级、数据分类和识别规则，均为DataArts Studio实例级别配置，各工作空间之间数
获取质量报告规则评分 功能介绍 获取质量报告规则评分。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/report/rules 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。
查询未进行静态脱敏任务的表信息 功能介绍 查询未进行静态脱敏任务的表信息 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/masking-result 表1 路径参数 参数 是否必选 参数类型 描述 project_id
新建码表 码表，也称lookup表、数据字典表，一般由中英文名称编码组成，由可枚举数据构成，存储枚举数据名称与编码的映射关系。码表的作用主要有： 在数据清洗中用于标准化业务数据以及补充映射字段。 在质量监控中用于监控业务数据的值域范围。 在维度建模中可以引申为枚举维度。 新建码表并发布
查询敏感数据保护模块诊断结果 功能介绍 查询敏感数据保护模块诊断结果 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/sensitive-data 表1 路径参数 参数 是否必选 参数类型 描述 project_id
组合识别规则测试 功能介绍 组合识别规则测试 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/data-classification/rule/check 表1 路径参数 参数 是否必选 参数类型 描述 project_id
量参数、作业参数、脚本参数同名冲突，调用的优先级顺序为：作业参数 > 工作空间环境变量参数 > 脚本参数。 环境变量、作业参数、脚本参数的介绍和使用方式如下： 环境变量中支持定义变量和常量，环境变量的作用范围为当前工作空间。 变量是指不同的空间下取值不同，需要重新配置值，比如“工
查看敏感数据分布 本章主要介绍如何查看敏感数据发现结果以及手工修正。 查看敏感数据发现结果：敏感数据识别任务完成后，需要查看任务的运行结果。 手工修正：发现敏感数据后，您必须根据具体情况进行手工修正，通过对任务中的识别规则进行“确认”，使规则状态变更为“有效”，才能使该识别规则在静态脱敏任务中生效。
合理配置基线承诺时间和预警余量 本章节介绍如何合理的配置基线承诺时间和预警余量。 基线运维能够及时捕捉导致任务无法按时完成的异常情况并提前预警，保障复杂依赖场景下重要数据能在预期时间内顺利产出。 基线承诺时间是任务运行成功的最晚时间点。即面向数据应用，任务承诺在该时间点前完成。如
隐私保护管理提供了静态与动态的数据脱敏能力、数据水印能力，满足业务需求同时保证数据安全。 功能介绍 数据安全包括如下功能： 统一权限治理 统一权限治理基于MRS、DWS、DLI服务，提供数据权限管理能力。您可以创建空间权限集、权限集或角色，并通过这些权限配置模型实现MRS、DW
数据源为Hive时支持哪些数据格式？ 问题描述 云数据迁移服务，数据源为Hive时支持的数据格式有哪些？ 解决方案 云数据迁移服务支持从Hive数据源读写的数据格式包括SequenceFile、TextFile、ORC、Parquet。 父主题： 数据集成（CDM作业）
选择是否开启HBase的预写日志机制（WAL，Write Ahead Log）。 是：开启后如果出现HBase服务器宕机，则可以从WAL中回放执行之前没有完成的操作。 否：关闭时能提升写入性能，但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是：源端数据库中的Short、Int、Lo
FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时，连接参数相同，如表1所示。
提交表权限申请 功能介绍 提交表权限申请 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/permission-application/table 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
创建或更新安全管理员 功能介绍 创建或更新安全管理员。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/admin 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。
配置Elasticsearch/云搜索服务（CSS）目的端参数 作业中目的连接为Elasticsearch连接参数说明或云搜索服务（CSS）连接参数说明时，即将数据导入到Elasticsearch/云搜索服务（CSS）时，目的端作业参数如表1所示。 表/文件迁移和整库迁移时需配置
查询不合理的权限配置 功能介绍 查询不合理的权限配置。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/unreasonable-permissions 表1 路径参数 参数 是否必选 参数类型 描述 project_id
中存在敏感信息，但又不得不开放权限。此时就可以建立脱敏策略并对敏感数据进行脱敏，在满足业务需要的同时保证了数据的真实性不被泄露。 本章主要介绍如何创建脱敏策略。此处的脱敏策略仅适用于静态脱敏任务。 前提条件 已定义敏感数据识别规则，未定义请参考定义识别规则完成定义。 已配置内置脱
查看监控指标 操作场景 当您启动了实时集成作业后，云监控服务会自动关联实时集成作业的监控指标，帮助您精确掌握作业的各项性能指标和运行情况。 由于监控数据的获取与传输会花费一定时间，因此监控显示的是当前时间5～10分钟前的状态。如果您的实时处理集成作业刚启动完成，请等待5～10分钟后查看监控数据。
数据库demo_sdi_db中已具备出租车出行原始数据表sdi_taxi_trip_data。 原始数据表sdi_taxi_trip_data的数据字段介绍如下： 数据说明如下： 表1 出租车行程数据 序号 字段名称 字段描述 1 VendorID 供应商编号 取值如下： 1=A Company
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
