检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DWS主键或表只有一个字段时，要求字段类型必须是如下常用的字符串、数值、日期类型。从其他数据库迁移到DWS时，如果选择自动建表，主键必须为以下类型，未设置主键的情况下至少要有一个字段是以下类型，否则会无法创建表导致CDM作业失败。 INTEGER TYPES：TINYINT，SMALLINT
启动作业标识文件为“ok.txt”，在源端生成文件成功后，再在文件目录下生成“ok.txt”，这样CDM就能读取到完整的文件。 另外，可以设置超时时间，在超时时间内，CDM会周期去查询标识文件是否存在，超时后标识文件还不存在的话，则作业任务失败。 启动作业标识文件本身不会被迁移。
个映射。在每个映射中，您只需要为来源于当前映射的字段设置源字段，其他字段可以不设置。 如果表中的字段数据来源于同一个关系模型中的多个表，您可以新建一个映射。在该映射的“源表”中，您可以将多个表设置Join，然后再为表中的字段设置源字段。 本示例只需要新建一个映射。单击“新建”，新建一个映射，如图30。
API流量限制（次/min） 用户流量限制（次/min） 更新表的异常数据输出配置 更新表的异常数据输出配置，包括是否生成异常数据、设置异常数据数据库或Schema、设置异常表表前缀/表后缀。 10800 120 清空质量规则 清空表的质量规则。 10800 120 父主题： API概览
件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。 var ak = process.env.SDK_AK; var sk = process.env.SDK_SK;
HANA)。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头，且长度不能超过100个字符。 适用组件
、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。 单个map的错误记录超过设置的最大错误记录数则任务自动结束，已经导入的数据不支持回退。推荐使用临时表作为导入的目标表，待导入成功后再改名或合并到最终数据表。 0 单击“保存”，或者“保存并运行”。
waitTime 否 String 选择开启作业标识文件的功能时，如果源路径下不存在启动作业的标识文件，作业挂机等待的时长，当超时后任务会失败。 等待时间设置为0时，当源端路径下不存在标识文件，任务会立即失败。 单位：秒。 fromJobConfig.filterType 否 枚举 选择过滤器类型：
M会将CSV文件的前N行数据作为标题行，不写入目的端的表。 否 编码类型 文件编码类型，例如：“UTF-8”或“GBK”。只有文本文件可以设置编码类型，当“文件格式”选择为“二进制格式”时，该参数值无效。 GBK 启动作业标识文件 选择是否开启作业标识文件的功能。当源端路径下存在
D。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 表3 Connection参数说明 参数名
件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。 char* ak = getenv("SDK_AK"); char* sk = getenv("SDK_SK");
件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。 char* ak = getenv("SDK_AK"); char* sk = getenv("SDK_SK");
时，才有该参数。 选择“是”后，迁移对象文件时会复制源文件的Content-Type属性，主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性，所以如果开启了该参数，目的端选择写入的桶时，必须选择非归档存储的桶。 否 换行符 文件中的换行符，默认自动识
航树单击，选择“创建通用角色”。参考表1完成通用角色创建，配置完成单击“确定”，系统默认进入新建的角色详情配置页面。 表1 参数设置 参数名 参数设置 *权限集名称 标识权限集，实例下唯一。 建议名称中包含含义，避免无意义的描述，以便于快速识别所需权限集。 *父权限集 选择对应的
在“数据连接”页面，单击“创建数据连接”按钮。 图1 数据连接 创建一个到DLI的连接，数据连接类型选择“数据湖探索（DLI）”，数据连接名称设置为“dli”。 完成设置后，单击“测试”，测试成功后单击“确定”，完成DLI数据连接的创建。 图2 创建数据连接 DLI连接创建完成后，跳转到数据开发页面。
Query参数 参数 是否必选 参数类型 描述 datasource 否 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 cluster_name 否 String 集群名称。 database_name 否 String 数据库名称。 schema_name 否 String
脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据自动归档到脏数据日志中，方便用户分析异常数据。并支持设置脏数据比例阈值，来决定任务是否成功。 数据架构：数据建模可视化、自动化、智能化 DataArts Studio数据架构践行数据治理方法论，
的增量包。 您也可以不勾选增量包，在后续业务使用中，可以在DataArts Studio实例卡片上通过“更多 > 配额使用量”查看使用量并设置告警阈值。当配额接近规格限制或不足时，再购买增量包，以避免业务受限。 说明： 购买免费版时，此处支持的增量包与其他版本有所不同： 首次购买
结果为16进制字符串，其字母为大写。 加密：支持所有类型，使用所选的数据源加密算法为对应数据源的数据进行加密。 置空：支持所有类型，将值设置为null。 随机脱敏：支持日期类型和数值类型随机脱敏，将日期或数值脱敏为指定区间范围之内或样本库中的值。新建样本库的请参考管理样本库章节
选择是否启用定时开关机功能。定时开关机功能和自动关机功能不可同时开启。 clusterMode String 集群模式：sharding(分片集群)。 namespace String 命名空间。 task ClusterTask object 任务信息。 publicEndpoint String 集群绑定的EIP。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
