检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理动态水印策略 动态水印指在数据的访问过程中，动态地在数据的查询访问请求返回结果集中注入水印的方式。本章主要介绍如何实现数据开发动态水印功能，最终在数据开发组件中转储或下载敏感数据时，系统动态注入数据水印。 在数据安全组件开启数据开发动态水印功能并创建动态水印策略后，当策略中指
发布作业任务 在企业模式中，开发者提交作业版本后，系统会对应产生一个作业类型的发布任务。开发者确认发布后，待拥有管理员、部署者、DAYU Administrator、Tenant Administrator权限的用户审批通过，然后将修改后的作业同步到生产环境。 管理员导入作业时，选择导入提交态，会生成对应的待发布项。
OBS数据迁移到云搜索服务 操作场景 CDM支持在云上各服务之间相互迁移数据，本章节介绍如何通过CDM将数据从OBS迁移到云搜索服务中，流程如下： 创建CDM集群 创建云搜索服务连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK、SK。 已经开通
配置HBase 目的端参数 表1 Hbase作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实
指定文件名迁移 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数“源目录或文件”支持输
数据集成配置数据搬迁 当前管理中心支持直接搬迁数据集成组件中的CDM作业及其中的连接数据。 您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过CDM组件的导入导出功能进行搬迁。 数据集成数据搬迁依赖于CDM的批量导入导出作业功能。 CDM上支持导出的数据包括配置的连接和作业，可以导出到本地保存。
创建IAM用户并授予DataArts Studio权限 如果您需要对您所拥有的DataArts Studio进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）。通过IAM，您可以： 根据企业的业务组织，在您的
（可选）获取认证信息 DataArts Studio使用过程中，例如在数据集成创建OBS连接、API调用或问题定位时，您可能需要获取访问密钥、项目ID、终端节点等信息，获取方式如下。 获取访问密钥 您可以通过如下方式获取访问密钥。 登录控制台，在用户名下拉列表中选择“我的凭证”。
管理中心配置数据搬迁 管理中心数据搬迁依赖于管理中心的资源迁移功能。 资源导入可以基于OBS服务，也支持从本地导入。支持迁移的资源包含如下业务数据： 管理中心组件中创建的数据连接。 数据集成组件中创建的CDM作业，包含作业中的CDM连接。 数据开发组件中已提交版本的脚本和作业。导
查看并修改CDM集群配置 操作场景 CDM集群已经创建成功后，您可以查看集群基本信息，并修改集群的配置。 查看集群基本信息： 集群信息：集群版本、创建时间、项目ID、实例ID和集群ID等。 节点配置：集群规格、CPU和内存配置等信息。 网络信息：网络配置。 支持修改集群的以下配置：
Kafka到DLI实时同步中，作业运行失败，报“Array element access needs an index starting at 1 but was 0”怎么办？ 问题描述 Kafka到DLI实时同步中，作业运行失败，报“Array element access needs
指定文件名迁移 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数“源目录或文件”支持输
发现敏感数据 完成了敏感数据识别规则组定义后，就可以根据定义的规则来创建敏感数据识别任务，发现敏感数据，并将敏感数据同步到数据地图组件。 敏感数据发现任务运行后，为使该识别规则在静态脱敏任务中生效，必须在“敏感数据分布>手工修正”页面对任务中的识别规则进行“确认”，使规则状态变更为“有效”。
天任务依赖分钟任务 场景描述 每天07:15执行的天任务作业，依赖于每隔一分钟执行一次的分钟任务作业。天任务依赖所有分钟任务在自然天内的实例， 天任务会在最后一个分钟任务实例执行完成后执行。 操作步骤 创建一个分钟任务作业。（开始时间00:00，结束时间23:59，时间间隔1分钟）
源端为HDFS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
管控敏感数据 数据安全支持对数据地图资产按照密级进行分级管控，控制不同用户对元数据的访问权限。通过敏感数据管控为指定用户/用户组配置指定密级后，则用户/用户组在数据预览时仅能访问资产密级小于等于指定密级的字段。 值得注意的是，密级权限管控策略为DataArts Studio实例级
审计数据访问日志 数据安全提供DWS、HIVE和DLI数据源上详细的数据操作日志记录，包括时间、用户、操作对象、操作类型等信息。通过这些日志，可以快速进行数据操作审计，更好地做到数据安全管控。 前提条件 为实现MRS Hive数据源的数据访问审计，需要满足如下条件： MRS Hi
正则表达式分隔半结构化文本 在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连
正则表达式分隔半结构化文本 在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连
定义数据密级 为了方便对数据进行管理，在对数据进行操作前，需要您为数据定义密级，并对保密等级做相应的描述，例如明确涉密的范围。本章主要介绍如何定义数据密级并配置默认密级。 值得注意的是，数据密级、数据分类和识别规则，均为DataArts Studio实例级别配置，各工作空间之间数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
