检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
钥（高级特性）。 *加密算法 当前仅支持AES256加密算法。 *加密字段 CSV文件中待加密的字段。选择CSV文件路径后，数据安全会自动解析CSV文件的头信息。 配置完成后，单击“确定”完成任务创建。 任务创建后，会自动启动加密。加密后的OBS文件存放路径同原文件路径下，文件名
注册API 本文将为您介绍如何将已有的后端服务API，借助数据服务统一注册发布到API网关，与通过数据服务生成的API进行统一管理。 目前数据服务共享版支持Restful风格的API注册，包含GET/POST常见请求方式。 配置API基本信息 在DataArts Studio控制
本。关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。 说明： 若选择SQL语句方式，数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 选择数据连接。 数据库 是 填写数据库名称，该数据库已创建好，建议不要使用默认数据库。 表2
CloudTable OpenTSDB连接参数说明 连接CloudTable OpenTSDB时，相关参数如表1所示。 表1 CloudTable OpenTSDB连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 TSDB_link
写入数据时所用的文件格式（二进制除外），支持以下文件格式： CSV_FILE：按照CSV格式写入数据。 BINARY_FILE：二进制格式，不解析文件内容直接传输，CDM会原样写入文件，不改变原始文件格式。 当选择“BINARY_FILE”时，源端也必须为文件系统。 toJobConfig
文件过滤器：配置为“*${dateformat(yyyyMMdd,-1,DAY)}*”（这是CDM支持的日期宏变量格式，详见时间宏变量使用解析）。 图1 文件过滤 配置作业定时自动执行，“重复周期”为1天。 这样每天就可以把昨天生成的文件都导入到目的端目录，实现增量同步。 文件增
数据具备追溯数据所有者与分发对象等信息的能力。在数据处理过程中起到威慑及追责的作用。 数据泄密防护技术通过终端防泄露技术、邮件防泄露技术、网络防泄露技术，防止敏感数据在违反安全策略规定的情况下流出企业。 API安全管理相关工具平台提供内部接口和外部接口的安全管控和监控审计能力，保障数据传输接口安全。
步骤2：数据集成 OBS数据迁移到DWS 登录CDM管理控制台。单击左侧导航上的“集群管理”，进入集群管理界面。 或参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。在DataArts Studio控制台首页，选择对应工作空间的“数据集成”模块，进入CDM首页。
0kb。注意，10kb仅为算法测试功能的限制，静态脱敏时并不限制样本文件大小不超过10kb。 样本文件大小建议不超过10MB，否则运行需要解析样本文件的静态脱敏任务时，静态脱敏任务可能会失败。 OBS样本文件只能用于DLI引擎的静态脱敏任务，HDFS样本文件只能用于MRS引擎的静
目的端为HBase/CloudTable JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name":
配置HBase/CloudTable目的端参数 作业中目的连接为HBase连接或CloudTable连接时，即导入数据到以下数据源时，目的端作业参数如表1所示。 表1 HBase/CloudTable作为目的端时的作业参数 参数名 说明 取值样例 表名 写入数据的HBase表名。
云数据库MySQL/MySQL数据库连接参数说明 连接MySQL数据库连接时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名
据表1和表2选择。 表1 源端作业参数说明 源端类型 说明 参数配置 OBS 支持以CSV、JSON或二进制格式抽取数据，其中二进制方式不解析文件内容，性能快，适合文件迁移。 参见配置OBS源端参数。 MRS HDFS FusionInsight HDFS Apache HDFS
Shell/Python节点执行失败，后台报错session is down 本指导以Shell算子为例。 问题现象 Shell节点运行失败了，实际上Shell脚本运行成功了。 原因分析 获取Shell节点的运行日志。 [2021/11/17 02:00:36 GMT+0800]
thon3。如果脚本未创建，请参考新建脚本和开发Python脚本先创建和开发脚本。 说明： 若选择Python语句方式，数据开发模块将无法解析您输入Python语句中携带的参数。 若选择Python脚本方式，系统自动默认显示的Python版本为创建Python脚本时所选择的Python版本。
Apache Kafka到MRS Kafka参数调优 源端优化 Kafka抽取优化。 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties
DMS Kafka到OBS参数调优 源端优化 Kafka抽取优化。 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch.max
Kafka消息不满足消息格式：则记录同步失败消息日志，继续消费下一条消息，最终状态为部分失败或者同步失败。 Kafka消息合法，但是由于网络资源等原因消费失败：触发Kafka重试机制，重试3次，间隔分别为4、6、9s，如果依然失败，则记录日志，终止此次调度。 Kafka消息合法
数据开发配置数据搬迁 当前管理中心支持直接搬迁数据开发组件中已提交版本的脚本和作业数据，但导出作业时默认只导出作业，不包含其依赖的脚本和资源。 您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过数据开发的导入导出功能进行搬迁。 数据开发数据搬迁依赖于数据开发的脚本、作业、环境变量、资源导入导出功能。
通过CDM节点批量创建分表迁移作业 适用场景 业务系统中，数据源往往会采用分表的形式，以减少单表大小，支持复杂的业务应用场景。 在这种情况下，通过CDM进行数据集成时，需要针对每张表创建一个数据迁移作业。您可以参考本教程，通过数据开发模块的For Each节点和CDM节点，配合作业参数，实现批量创建分表迁移作业。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
