检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据安全API概览 表1 数据安全API类型 类型 说明 权限管理接口 权限管理接口。 识别规则接口 识别规则接口。 规则分组接口 规则分组接口。 数据权限查询接口 数据权限查询接口。 数据密级接口 数据密级接口。 权限应用接口 权限应用接口。 敏感数据分布接口 敏感数据分布接口。
TANDALONE模式。 选择STANDALONE模式时，CDM支持在多个MRS集群的HDFS之间迁移数据。 若在一个CDM中同时连接两个及以上开启Kerberos认证且realm相同的集群，只能使用EMBEDDED运行模式连接其中一个集群，其余需使用STANDALONE。 linkConfig
消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll.records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 目的端优化
迁移到DWS时出现value too long for type character varying怎么处理？ 问题描述 在使用CDM迁移数据到数据仓库服务（DWS）或者FusionInsight LibrA时，如果迁移作业失败，且执行日志中出现“value too long for
源端为对象存储 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
产生API网关的调用API费用和流量费用，收费标准请参见APIG价格详情。 在场景开发完成后，如果您不再使用DataArts Studio及相关服务，请及时进行退订和资源删除，避免持续产生费用。 表1 相关服务退订方式 服务 计费说明 退订方式 DataArts Studio DataArts
For Each节点使用介绍 适用场景 当您进行作业开发时，如果某些任务的参数有差异、但处理逻辑全部一致，在这种情况下您可以通过For Each节点避免重复开发作业。 For Each节点可指定一个子作业循环执行，并通过数据集对子作业中的参数进行循环替换。关键参数如下： 子作业：选择需要循环执行的作业。
TANDALONE模式。 选择STANDALONE模式时，CDM支持在多个MRS集群的HDFS之间迁移数据。 若在一个CDM中同时连接两个及以上开启Kerberos认证且realm相同的集群，只能使用EMBEDDED运行模式连接其中一个集群，其余需使用STANDALONE。 linkConfig
的前提是在集群创建时已开启“公网入口”绑定了弹性公网IP，否则将会绑定失败。另外，每个租户支持添加50个公网域名。 公网域名支持添加主域名及主域名的子域名，即最多支持添加二级域名，例如abc.example.com。 父主题： 数据服务
match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression 是 String expression builtin_rule_id 否 String 内置规则ID
数据集成操作列表 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression 是 String expression builtin_rule_id 否 String 内置规则ID
BINARY：适用于文件迁移场景，不解析数据内容原样传输。 CSV：以CSV格式解析源数据。 fromJobConfig.maxPollRecords 否 String 每次向Kafka请求数据限制最大请求记录数。 fromJobConfig.maxPollInterval 否 String
数据连接名称，创建时自定义，编辑时通过数据连接列表获取。 dw_type 是 String 数据连接类型，如：DWS、DLI、HIVE、RDS、SparkSQL等，可在console界面查看所有数据连接类型，编辑时通过数据连接列表获取。 dw_config 是 Object 连接
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
持一致，其他保持默认即可，单击确认后进行本地下载。 获取下载的tar包，此即为FusionInsight集群配置文件。 针对MRS 2.x及之前版本集群： 登录MRS管理控制台。 选择“集群列表 > 现有集群”，单击集群名称进入集群详情页面，单击“组件管理”。 单击“下载客户端”
配置HDFS源端参数 作业中源连接为HDFS连接时，即从MRS HDFS、FusionInsight HDFS、Apache HDFS导出数据时，源端作业参数如表1所示。 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。
配置HDFS源端参数 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。 hdfs_to_cdm 源目录或文件 “列表文件”选择为“否”时，才有该参数。 待迁移数据的目录或单个文件路径。 该参数支持配置为时间宏变量，且
源端为FTP/SFTP JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
创建补数据实例 功能介绍 创建一个补数据实例。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/supplement-data 参数说明 参数名 是否必选 参数类型 说明 project_id
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
