检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否支持字段转换？ 支持，CDM支持以下字段转换器： 脱敏 去前后空格 字符串反转 字符串替换 表达式转换 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。 图1 新建字段转换器 脱敏 隐藏字符串中的关键信息，例如要将“12345678910”转换为“123****8910”，则配置如下：
和开发环境的两套数据湖服务，用于隔离开发和生产环境： 对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS），如果使用两套集群，DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
启用SSL认证后，Kafka会将Kafka Broker连接地址视做域名不断进行解析，导致性能消耗。建议修改CDM集群对应的ECS主机（通过集群IP查找对应的ECS主机）中的“/etc/hosts”文件，为其添加Broker连接地址的自映射，以便客户端能够快速解析实例的Broker。例如Kafka
见主机连接参数说明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
度身份执行CDM作业。 访问标识(AK) - 适用组件勾选数据集成且“OBS支持”选择“是”时，呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。 登录控制台，在用户名下拉列表中选择“我的凭证”。
选择操作列中的“更多 > 重启”。 图5 重启集群 重启CDM服务进程：只重启CDM服务的进程，不会重启集群虚拟机。 重启集群VM：业务进程会中断，并重启集群的虚拟机。 选择“重启集群VM”后单击“确定”。 父主题： 创建并管理CDM集群
选择“委托”，在委托列表中查找MRS预置的MRS_ECS_DEFAULT_AGENCY委托，并单击“授权”。 如果未找到MRS预置的MRS_ECS_DEFAULT_AGENCY委托，则可以通过自定义购买方式来购买MRS集群，在高级配置中选择绑定MRS_ECS_DEFAULT_AGENCY委托。
节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 服务 是 选择需要开机/关机的服务： ECS CDM 开关机设置 是 选择开关机类型： 开 关 开关机对象 是 选择需要开机/关机的具体对象，例如开启某个CDM集群。 表2 高级参数
分库分表同步适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于多库多表同步场景。 支持分库分表同步的数据源如下所示： 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库，同步到云
见主机连接参数说明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
作业任务参数调优 概述 实时数据集成服务底层使用Flink流处理框架进行开发，因此包含了Flink系统中最重要的两个部分：JobManager和TaskManager。 作业任务配置中调整的处理器核数、并发数、执行内存参数等便是用来调整JobManager和TaskManager
数据服务API接口，访问“测试APP”，填写了相关参数，但是后台报错要怎么处理？ 可能原因 未配置参数header parameter。 解决方案 在调用API时配置参数header parameter。 header parameter: x-Authorization, nvalid
和开发环境的两套数据湖服务，用于隔离开发和生产环境： 对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS），DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因
Kafka连接 介绍 通过Kafka连接器可以与开源的Kafka数据源建立连接，并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 连接样例 { "links": [ { "link-config-values":
申请API授权 对于API调用者而言，如果API开发者未授权APP或IAM认证方式的API，则需要自行申请API授权，等待审批通过后才能进行API调用。 如果API开发者已完成授权APP或IAM认证方式的API给应用（详见通过应用授权APP认证方式API、通过应用授权IAM认证方
授权API调用 通过应用授权APP认证方式API 通过应用授权IAM认证方式API 通过白名单授权IAM认证方式API 父主题： 开发数据服务API
调试API 操作场景 API创建后需要验证服务是否正常，管理控制台提供调试功能，您可以添加HTTP头部参数与body体参数，调试API接口。 后端路径中含有环境变量的API，不支持调试。 API绑定签名密钥时，不支持调试。 如果API已绑定流控策略，在调试API时，流控策略无效。
编排API 编排API简介 配置入口API算子 配置条件分支算子 配置并行处理算子 配置输出处理算子 API编排典型配置 父主题： 开发数据服务API
设置API可见 操作场景 当需要修改API在服务目录中的可见范围时，可以通过“设置可见”功能或编辑API中的“服务目录可见性”参数进行设置。 前提条件 已创建API。 通过“设置可见”功能修改API可见范围 在DataArts Studio控制台首页，选择对应工作空间的“数据服务”模块，进入数据服务页面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
