检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
inputDirectory”（抽取文件的路径）参数中如果输入的是多个文件路径，CDM使用这里配置的文件分隔符来区分各个文件，默认为“|”。 fromJobConfig.md5FileSuffix 否 String 校验CDM抽取的文件，是否与源文件一致。 父主题： 源端作业参数说明
的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。 表2 数据库账号权限 类型名称 权限要求 源数据库连接账号 数据库的CONNECT权限，模式的USAGE权限，表的SELECT权限，序列的SELE
事务模式迁移 CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理：如果
| 标识文件名 选择开启作业标识文件的功能时，需要指定启动作业的标识文件名。指定文件后，只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。 ok.txt 等待时间 选择开启作业标识文件的功能时，如果源路径下不存在启动作业的标识文件，作业挂机等待的时长，当超时后任务会失败。
文件格式为CSV格式时显示该参数。 文件中的字段分隔符。配置特殊字符需先url编码。 , 作业成功标识文件 标识文件名。 当作业成功时，在写入目录下生成标识文件。不输入文件名时不启用该功能。 finish.txt 使用包围符 文件格式为CSV格式时显示该参数。 使用包围符来括住字符串值。包围符内的字段分隔符
事务模式迁移 CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理：如果
包，可以跳过这部分内容。 如果您需要再创建新的CDM集群，请参考购买批量数据迁移增量包章节，完成购买数据集成增量包的操作。 集群规格选择“cdm.xlarge”。 集群所属的VPC与MRS所属的VPC一致，同时也要与云专线连通的VPC的一致。 其它参数可以自定义，或者保持默认。 创建CDH
作业。 如果选择覆盖，请在导入文件前，停止所有作业调度，否则调度中的作业会导致上传文件失败。 单击“上传文件”，选择准备好的数据文件。 可通过如下两种方式填写数据文件： (推荐使用) 通过“导出”功能，可将数据直接/或修改后批量导入系统。 通过“下载Excel模板”，将数据填写好，再导入至系统中。
云资源的标识与管理可通过标签实现。 使用场景 通常您的业务系统可能使用了华为云的多种云服务，您可以为这些云服务下不同的资源实例分别设置标签（对于DataArts Studio而言，标签作用于其实例上），各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。如果您的业务系统
件，选择不同的执行路径，可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的数据来源于EL表达式，通过EL表达式，根据具体的场景选择不同的EL表达式来
本章节以Postman工具为例，为您介绍如何使用API工具调用无认证方式的API，主要包含如下几步： 获取API信息：准备API关键信息，用于API调用。 调用API：通过Postman工具调用API。 前提条件 已完成无认证方式的API或API工作流的发布，在服务目录中可以查看已发布的API。 本章以P
发者”的预置角色，则会出现其他组件权限过大的风险。 为了解决此问题，项目管理员可以创建一个基于“开发者”预置角色的自定义角色“Developer_Test”，在“开发者”角色权限的基础上为其去除其他组件的增删改及操作权限，并赋予该数据运营工程师此角色，既能满足实际业务使用，也避免了权限过大的风险。
性能测试中，表数据规格为5000W行100列，HDFS二进制文件数据规格分别为3597W行100列、6667W行100列和10000W行100列。 多并发抽取/写入速率，定义为分别取作业抽取并发数为1、10、20、30、50时，最大的抽取/写入速率。 数据源抽取写入性能实测数据 常见数据源的性能实测结果分别如表1和表2所示。
编辑作业JSON 直接编辑作业的JSON文件，作用等同于修改作业的参数配置。 操作步骤 进入CDM主界面，单击左侧导航上的“集群管理”，选择集群后的“作业管理”。 单击“表/文件迁移”显示作业列表，可对单个作业执行如下操作： 修改作业参数：单击作业操作列的“编辑”可修改作业参数。 运
原子指标是计算逻辑的标准化定义，时间限定则是条件限制的标准化定义。为保障所有统计指标统一、标准、规范地构建，时间限定在业务板块内唯一，并唯一归属于一个来源逻辑表，计算逻辑也以该来源逻辑表模型的字段为基础进行定义。由于一个时间限定的定义可能来自于归属不同数据域的多个逻辑表，因此一个时间限定可能归属于多个数据域。
引擎等数据底座，帮助企业快速构建从数据接入到数据分析的端到端智能数据系统，消除数据孤岛，统一数据标准，加快数据变现，实现数字化转型。 您可以使用本文档提供的API对数据治理中心的各组件进行相关操作，如创建集群、创建连接等。支持的全部操作请参见API概览。 在调用数据治理中心API
单击“默认项设置”，可设置“作业测试运行使用的身份”配置项。 配置作业测试运行使用的身份。 公共委托或IAM账号：使用配置的公共委托或公共IAM账号身份执行作业。 个人账号：使用点击测试作业用户的身份执行作业。 如果没有配置工作空间委托或IAM账号，作业测试运行统一使用个人账号身份 如果是联邦账
如何处理API对应的数据表数据量较大时，获取数据总条数比较耗时的问题？ 问题场景 创建API时，已打开“返回总条数”开关。当API对应的数据表数据量较大时，获取数据总条数比较耗时。 图1 返回总条数 解决方案 在分页查询时，您可以通过参数（参数名use_total_num）控制是否计算并返回数据总条数。
SQL脚本执行结果页面展示最多1千条，且数据量少于3MB。超过1千条数据可以使用转储功能，转储最多支持1万条或3MB。 实例监控、补数据监控只能展示最近6个月的数据。 通知记录只能展示最近30天的数据。 下载中心的下载记录会每7天做老化处理，老化时下载中心记录和已转储的OBS数据会同时被删除。 数据架构 数据架构
Studio管理控制台。 在旧版首页的“角色管理”或新版首页的“实例配置>角色管理”页签，单击“新建”，弹出“创建自定义角色”对话框。 角色名称：标识自定义角色的唯一标识。建议您按照该角色的使用场景等进行命名，避免无意义的描述。 角色描述：补充对该角色的相关说明，如与预置角色的关键权限差异等。 角
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
