检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量管理CDM作业 操作场景 这里以表/文件迁移的作业为例进行介绍，指导用户批量管理CDM作业，提供以下操作： 作业分组管理 批量运行作业 批量删除作业 批量导出作业 批量导入作业 批量导出、导入作业的功能，适用以下场景： CDM集群间作业迁移：例如需要将作业从老版本集群迁移到新版本的集群。
基础操作符 EL表达式支持大部分Java提供的算术和逻辑操作符。 操作符列表 表1 基础操作符 操作符 描述 . 访问一个Bean属性或者一个映射条目 [] 访问一个数组或者链表的元素 () 组织一个子表达式以改变优先级 + 加 - 减或负 * 乘 / 或 div 除 % 或 mod
OBSUtil内嵌对象 OBSUtil内嵌对象提供了一系列针对OBS的操作方法，例如判断OBS文件或目录是否存在。 方法 表1 方法说明 方法 说明 示例 boolean isExistOBSPath(String obsPath) 判断OBS文件或目录（目录请以“/”结尾）是否
table 导入开始前 导入数据前，选择是否清除目的表的数据： 不清除：写入数据前不清除目标表中数据，数据追加写入。 清除全部数据：写入数据前会清除目标表中数据。 清除部分数据：需要配置“where条件”参数，CDM根据条件选择性删除目标表的数据。 清除部分数据 where条件 “导入
批写最大数据量 int 50000 DWS单次写入的最大条数，可在目的端配置中设置。 当缓存的数据达到“批写最大数据量”和“定时批写时间间隔”之一的条件时，触发数据写入。 单次写入条数增大可以减少请求DWS的次数，但可能导致单次请求时长增加，同时也可能导致缓存的数据增加进而影响内存使用。请综合考虑DWS规格和负载，
Studio各组件过程中开启了消息通知功能，则会产生消息通知服务费用，收费标准请参见SMN价格详情。 EIP服务：如果您为数据集成集群开通了公网IP，则会产生弹性公网IP服务费用，收费标准请参见EIP价格详情。 DEW服务：在数据集成或创建管理中心连接时，如果启用了KMS，则会产生密钥管理费用，收费标准请参见DEW价格详情。
端口。 已获取本地Elasticsearch数据库的服务器IP、端口、用户名和密码。 如果Elasticsearch服务器是在本地数据中心或第三方云上，需要确保Elasticsearch可通过公网IP访问，或者是已经建立好了企业内部数据中心到华为云的VPN通道或专线。 创建CDM集群并绑定EIP
当用户选择MongoDB连接迁移失败时，用户需查看MongoDB连接中用户的权限信息，确保对指定库具备ReadWrite权限。 父主题： 数据集成（CDM作业）
8192 数据缓存队列条数，默认为8192，当源表中单条数据过大时（如1MB），缓存过多数据会导致内存溢出，可以考虑减小该值。 debezium.max.queue.size.in.bytes int 0 数据缓存队列大小，默认为0，即表示缓存队列不考虑数据大小，只按照数据条数计算。在debezium
已完成权限策略配置，未配置请参考配置资源权限。 查看策略及详情 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击左侧导航树中的“权限报告”，进入权限报告页面。 选择MRS集群（Ranger连接） > 服务查看该服务的策略及策略详情。
TBL_2 导入前清空数据 选择目的端表中数据的处理方式。 是：任务启动前会清除目标表中数据。 否：导入前不清空目标表中的数据，如果选“否”且表中有数据，则数据会追加到已有的表中。 是 自动创表 只有当源端为关系数据库时，才有该参数。表示写入表数据时，用户选择的操作： 不自动创建：不自动建表。
Studio管理控制台。在DataArts Studio控制台首页，选择对应工作空间的“数据集成”模块，进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 单击集群名称，可查看集群的基本信息。 图2 CDM集群的配置信息
修改后，重启ECS的sshd，执行如下命令： restart sshd.service 检查sshd是否启动成功（下图为成功）： 父主题： 数据开发
调用创建资源的API报错“资源名不合法”。 解决方案 资源名称只能包含英文字母、数字、中文字符、下划线或中划线，且长度为1-32个字符。 父主题： 数据开发
format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间，更多表达式设置方式可以参考表达式转换。 父主题： 数据集成（CDM作业）
理解呢？ 在标准数据治理模型下，事实表中的维度信息，都来自于维度表。因此创建原子指标的时候，是通过事实表中来源于维度表的属性来关联维度表的。 如果需要基于维度信息生成原子指标，需要先通过维度表创建事实表，再通过原子指标关联事实表中的维度属性来创建。 父主题： 数据架构
没有生成新作业实例。 解决方案 配置作业失败异常告警通知，以及实例超时时间，当等待时间超过实例超时时间，系统将发送告警通知。 父主题： 数据开发
getNodeOutput("Rest_Client_4901"),"clusters[0].clusterId"))} 图3 Rest Client作业样例2 父主题： 数据开发进阶实践
如何将云下内网或第三方云上的私网与CDM连通？ 很多企业会把关键数据源建设在内网，例如数据库、文件服务器等。由于CDM运行在云上，如果要通过CDM迁移内网数据到云上的话，可以通过以下几种方式连通内网和CDM的网络： 如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通过公网互通时，
创建了Hive到DWS类型的连接，进行CDM传输任务失败。 解决方案 建议清空历史数据后再次尝试该任务。在使用CDM迁移作业的时候需要配置清空历史数据，然后再做迁移，可大大降低任务失败的概率。 父主题： 数据集成（CDM作业）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
