正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业成功标识文件 标识文件名。 当作业成功时,在写入目录下生成标识文件。不输入文件名时不启用该功能。 finish.txt 使用包围符 文件格式为CSV格式时显示该参数。 使用包围符来括住字符串值。包围符内的字段分隔符被视为字符串值的一部分,目前只支持"作为包围符。: 否 自定义目录层次 支持用户自定义文件的目录层次。
如下: 将CDM集群1中的所有作业批量导出,将作业的JSON文件保存到本地。 由于安全原因,CDM导出作业时没有导出连接密码,连接密码全部使用“Add password here”替换。 在本地编辑JSON文件,将“Add password here”替换为对应连接的正确密码。
新建业务场景 管理所有业务场景,场景定义了规则间的逻辑关系,使用目录维护业务场景。 前提条件 已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控 > 业务场景管理”页面创建归属目录。基于规则创建业务场景,需要选择业务场景归属目录,请参见图1创建归属目录。
CDM迁移数据到DWS时如何选取分布列? 问题描述 CDM迁移数据到DWS时如何选取分布列? 解决方案 在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA,且CDM在DWS端自动创建一个新表时,在创建作业的字段映射界面,需要选择分布列,如图1所示。
迁移到DWS时出现value too long for type character varying怎么处理? 问题描述 在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA时,如果迁移作业失败,且执行日志中出现“value too long for
通过ETL Job节点可以从指定数据源中抽取数据,经过数据准备对数据预处理后,导入到目标数据源。 目标端是DWS的ETL Job节点,不支持使用委托进行调度,建议采用兼容性更佳的公共IAM账号方式进行调度,详见配置调度身份。 参数 用户可参考表1,表2和表3配置ETL Job节点的参数。
新建规则 管理所有业务规则,规则定义了指标间或者指标和数值间的关系,使用目录维护业务规则。 前提条件 已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控 > 规则管理”页面创建归属目录。基于指标创建业务规则,需要选择规则归属目录,请参见图1创建归属目录。
Studio为您提供的实时数据同步功能,方便您使用单表或整库同步方式,将源端数据库中部分或全部表的数据变化实时同步至目标数据库中,实现目标库实时保持和源库的数据对应。 实时处理集成作业功能当前在北京四、上海一、广州、新加坡已上线(其他region后续会逐步放开,敬请期待!),但需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。
单击“确认提交”提交审核。审核通过后,返回“数据标准”页面,在列表中可以查看已建好的数据标准且状态显示为“已发布”,已发布的数据标准才可被使用。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 选择审核人时,系统支持选择多个审核人
的区别在于认证方式和调用方法不同,推荐使用安全性更高的APP认证。 APP认证:将APP认证方式的API授权给应用后,使用应用的密钥对(AppKey和AppSecret)进行安全认证,支持通过SDK或API调用工具调用,安全级别高,推荐使用。 IAM认证:将IAM认证方式的API
正则表达式分隔半结构化文本 在创建表/文件迁移作业时,对简单CSV格式的文件,CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本,由于字段值也包含了分隔符,所以无法使用分隔符进行字段分隔,此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存储或
正则表达式分隔半结构化文本 在创建表/文件迁移作业时,对简单CSV格式的文件,CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本,由于字段值也包含了分隔符,所以无法使用分隔符进行字段分隔,此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存储或
数据迁移进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导
API编排典型配置 API编排的典型使用场景如下: 对返回消息进行映射或格式转换:通过API编排的方式能够灵活实现消息映射及格式转换。 数据请求依赖多个数据API:使用API编排后,可以降低调用次数,减少集成成本,提升调用效率。 约束与限制 仅3.0.6及以上版本的数据服务专享版集群支持API编排。
用于过滤输入路径下的一级或多级目录。 通配符使用input*/test* 正则表达式使用intput.*/test.* 文件过滤器 过滤类型为通配符或正则表达式时支持此参数。 用于过滤输入路径下的文件。 通配符使用*csv 正则表达式使用.*\.csv 时间过滤 用于过滤满足时间范围的文件。
选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 说明: 当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置
脚本开发功能提供如下能力: 提供在线脚本编辑器,支持进行SQL、Shell、Python等脚本在线代码开发和调测。 支持导入和导出脚本。 支持使用变量和函数。 提供编辑锁定能力,支持多人协同开发场景。 支持脚本的版本管理能力,支持生成保存版本和提交版本。 保存版本时,一分钟内多次保存
实例试用/购买成功后,可以转移到其他账号下吗? 不可以,实例试用/购买后不能转移到另一个账户。 如需授权其他用户使用,请参见授权用户使用DataArts Studio。 父主题: 咨询与计费
统一权限治理对数据连接Agent、数据源版本和用户权限等均有相应的要求。在使用前,您应先按照表1,检查并准备相关配置。 DLI权限管理仅涉及授权dlg_agency委托,不涉及检查集群版本与权限。 使用前检查checklist 表1 使用前检查checklist 检查项 是否必选 检查内容 配置指导
Studio实例的节点并发数上限可通过表1获取。其中的作业节点调度次数/天配额可通过DataArts Studio实例卡片上的“更多 > 配额使用量”入口查看,其中的“作业节点调度次数/天”总量即为当前实例配额。 表1 DataArts Studio实例并行节点数上限 DataArts