检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据源认证及其他功能配置 用户名 是 数据库的用户名,创建DWS集群时指定的用户名。 密码 是 数据库的访问密码,创建DWS集群时指定的密码。 数据集成配置 数据库名称 是 适用组件勾选数据集成后,呈现此参数。 配置为要连接的数据库名称。 单次请求行数 否 适用组件勾选数据集成后,呈现此参数。 指
于数据库实时迁移和数据库实时同步的云服务。DRS适合迁移OLTP->OLTP、OLTP->DWS的场景都可以由DRS来完成数据迁移。即主流数据库到数据库(含第三方数据库)的场景,使用DRS进行迁移。更多详情请参见数据复制服务。 目前支持的数据库链路有: 自建/他云MySQL->RDS
单击数据库(或数据库和schema、命名空间)后的“设置”,设置采集任务扫描的数据库(或数据库和schema、命名空间)范围。当不进行设置时,默认选择该数据连接下的所有数据库(或数据库和schema、命名空间)。 单击数据表后的“设置”,设置采集任务扫描的数据表范围。当不进行设置时,默认选择数据库(或数据库和schema、命名空间)下的所有数据表。
是 List<String> 依赖的作业名称列表,必须依赖已存在的作业。 dependPeriod 否 String 依赖周期: SAME_PERIOD :依赖被依赖作业的同周期任务的执行结果。 PRE_PERIOD :依赖被依赖作业的前一周期任务的执行结果。 默认值 : SAME_PERIOD
您需要先在数据安全组件中配置对应的队列(参考配置队列权限,)后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 数据库 是 默认选择SQL脚本中设置的数据库,支持修改。 MRS API连接方式下不支持选择数据库。 脚本参数 否 关联的SQL脚本如果使
支持的监控指标 功能说明 云监控服务(Cloud Eye)可以监控和查看云服务的运行状态、各个指标的使用情况,并对监控项创建告警规则。 当您创建了实时处理集成作业后,云监控服务会自动关联实时处理集成作业的监控指标,帮助您实时掌握作业的各项性能指标,精确掌握作业的运行情况。 本章节
若选择Python语句方式,数据开发模块将无法解析您输入Python语句中携带的参数。 若选择Python脚本方式,系统自动默认显示的Python版本为创建Python脚本时所选择的Python版本。 对于原有的作业,默认使用Python2。 Python节点运行的输出结果不能大于30M,大于30M会报错。 主机连接
于记忆、区分的连接名。 dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。
数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。 对于同一版本的数据开发作业,系统基于最新的作业调度实例生成数据血缘关系后,在冷却期(默认为48小时)内不会再次更新数据血缘关系。如需更新,需要等待冷却期结束或将数据开发作业再次提交版本后调度。 数据血缘
本示例从环境变量中获取。 Method:请求的方法名。根据API实际情况填写,示例代码使用“POST”作为样例。 url:请求的url,不包含QueryString及fragment部分。域名部分请使用API所在的分组绑定的您自己的独立域名。示例代码使用“http://c967
操作,只作为结束点的标识。 作业编排完成后,单击,测试运行作业。 如果作业运行正常,单击“调度配置”,配置作业的调度策略。 图10 调度配置 说明: 2022/02/09至2022/02/28,每天1点00分执行一次作业。 依赖属性:可以配置为依赖其他作业运行,本例不涉及,无需配置。
CDM支持的监控指标 功能说明 云监控服务(Cloud Eye)可以监控和查看云服务的运行状态、各个指标的使用情况,并对监控项创建告警规则。 当您创建了CDM集群后,云监控服务会自动关联CDM的监控指标,帮助您实时掌握CDM集群的各项性能指标,精确掌握CDM集群的运行情况。 本章
执行Python脚本报错:Agent need to be updated? 问题原因 创建的主机连接的CDM集群版本可能有点低。 解决方案 创建的主机连接需要使用2.8.6版本及以上的CDM集群。 父主题: 数据开发
数据开发节点运行中报TOKEN不合法? 问题描述 数据开发节点运行中报TOKEN不合法。 解决方案 请确认当前用户在IAM的权限管理中权限是否有变更、是否退出用户组,或者用户所在的用户组权限策略是否有变更? 如果有变更,请重新登录即可解决。 父主题: 数据开发
节点状态为成功,为什么日志显示运行失败? 问题描述 节点状态为成功,日志显示运行失败。 解决方案 强制成功操作会更新作业实例(和节点)状态为成功。 父主题: 数据开发
下载地址,获取到导出的zip文件。 图1 选择并导出作业 在弹出的“导出作业”界面,选择需要导出的作业范围和状态,单击“确定”,可以在下载中心查看导入结果。 图2 导出作业 导入作业 导入作业功能依赖于OBS服务,如无OBS服务,可从本地导入。 从OBS导入的作业文件,最大支持1
运行完成后,单击画布上方的保存按钮,保存作业的配置信息。 保存后,在右侧的版本里面,会自动生成一个保存版本,支持版本回滚。保存版本时,一分钟内多次保存只记录一次版本。对于中间数据比较重要时,可以通过“新增版本”按钮手动增加保存版本。 下载或转储脚本执行结果 脚本运行成功后,支持
单任务Flink Jar目前支持的MRS集群版本是MRS 3.2.0-LTS.1及以上版本。 运行程序参数 否 配置作业运行参数。当选择了MRS集群名后,该参数才显示。 该参数为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 注意: 系统支持Flink
常见问题 MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中,DWS为什么需要对主键null值进行过滤? Kafka到DLI实时同步中,作业运行失败,报“Array element access needs an index starting
后使用该新建用户创建MRS连接。 如需连接MRS 2.x版本的集群,请先创建2.x版本的CDM集群。CDM 1.8.x版本的集群无法连接MRS 2.x版本的集群。 如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件: DataArts