检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业参数配置完成后,将进行字段映射的配置,您可以单击操作列下创建字段转换器。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如图1所示。
有效性,5表示准确性,6表示一致性。 description 否 String 描述。 sql_info 否 String 模板中的sql内容。 result_description 否 String 结果说明。 publish 否 Boolean 是否是发布操作,true表示发
有效性,5表示准确性,6表示一致性。 description 否 String 描述。 sql_info 否 String 模板中的sql内容。 result_description 否 String 结果说明。 publish 否 Boolean 是否是发布操作,true表示发
结构化数据文件类型支持注入暗水印,水印内容不可见,需要进行水印提取。 *水印内容 无需填写,执行提取水印后会显示提取到的水印信息。 *数据选择 选择已通过水印注入注入暗水印的结构化数据文件(csv、xml和json)。 单击“提取水印”,完成文件水印提取,水印内容参数展示提取后的水印内容。 单击“重置”可重置配置参数至默认状态。
文件格式为二进制格式时显示该参数。 对上传的数据进行加密。 无 AES-256-GCM 无 数据加密密钥 文件格式为二进制格式且选择加密方式时显示该参数。 数据加密密钥(Data Encryption Key),AES-256-GCM密钥由长度64的十六进制数组成。 DD0AE00DFECD78BF051BC
在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“备份管理”。 单击“启动每日备份”,打开“OBS文件浏览”页面,选择OBS文件夹,设置备份数据的存储位置。 图1 备份管理 每日备份在每日0点开始备份昨
详情及返回内容。 测试过程中,如果数据服务API查询及返回数据的总时长超过默认60秒,会报超时错误。 如果测试失败,请查看错误提示并做相应的修改重新测试。 完成API测试之后,单击“确定”,即成功生成了一个数据API。 修改API 生成API后,如果您需要修改API内容,可在“开发API
在实际生产中,会存在数据分析部门需要对数据进行数据分析,数据中存在敏感信息,但又不得不开放权限。此时就可以建立脱敏策略并对敏感数据进行脱敏,在满足业务需要的同时保证了数据的真实性不被泄露。 本章主要介绍如何创建脱敏策略。此处的脱敏策略仅适用于静态脱敏任务。 前提条件 已定义敏感数据识别规则,未定义请参考定义识别规则完成定义。
如果HDFS配置文件使用主机名,需要配置IP与主机的映射。格式:IP与主机名之间使用空格分隔,多对映射使用分号或回车换行分隔。 KMS密钥 是 通过KMS加密和解密用户密码和密钥对的密码,选择KMS中已创建的密钥。 绑定Agent 是 DataArts Studio无法直接与非全托管服务进行连接,需要提供DataArts
Elasticsearch/云搜索服务(CSS)连接 介绍 通过Elasticsearch连接,可以对Elasticsearch服务器或云搜索服务抽取、加载数据。 连接样例 { "links": [ { "link-config-values": { "configs":
SparkPython content 是 String 脚本内容,最大支持64KB。 directory 否 String 脚本所在目录路径。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“数据开发 > 脚本开发”。在脚本的目录树上,可以查看到当前已经创建的目录,默认在根目录/。
映射界面的可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格
批量解锁 数据开发模块提供了批量解锁作业的功能,您可参照本节内容对锁定的作业进行批量解锁。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
默认使用ClickHouseServer的配置参数http_port,用于接收JDBC请求的端口。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 绑定Agent 是 选择CDM集群作为网络代理,必须和ClickHouseServer网络互通才可以成功创建连接。如果没有可用
您可以在脚本目录中导出一个或多个脚本文件,导出的为开发态最新的已保存内容。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发
SQL、Shell、RDS SQL(通过代理方式连接数据源) DAYU Administrator KMS Administrator DAYU Administrator:数据治理中心服务的所有执行权限。 KMS Administrator:数据加密服务加密密钥的管理员权限。 CSS DAYU Administrator
集群数据连接。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。
集群数据连接。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。
集群数据连接。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。
导出导入作业 导出作业,均是导出开发态的最新的已保存内容。 导入作业,会覆盖开发态的内容并自动提交一个新版本。 数据开发在跨时区导出导入作业时,需要手动修改expressionTimeZone字段为目标时区。 导出作业 参考访问DataArts Studio实例控制台,登录DataArts