检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
注意,只有当CDM集群在关联了工作空间后,才能在所关联的工作空间中使用该CDM集群。 图2 关联工作空间 实时集成资源组关联工作空间 父主题: 购买并配置DataArts Studio
一致时,需配置路由规则及安全组规则以打通网络。配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 当CDM集群与其他云服务所在的区域一致、但VPC不一致时,可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对
直接修改该作业。 保持作业基本参数不变,单击“下一步”修改任务参数,如图1所示。 图1 定时任务配置 勾选“是否定时执行”,配置定时任务: “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样CDM每天凌晨自动执行全量迁移,但因为“重复文件处理方式”选择了“跳
程 通过CDM节点批量创建分表迁移作业 业务系统中,数据源往往会采用分表的形式,以减少单表大小,支持复杂的业务应用场景。在这种情况下,通过CDM进行数据集成时,需要针对每张表创建一个数据迁移作业。您可以参考本教程,通过数据开发模块的For Each节点和CDM节点,配合作业参数,实现批量创建分表迁移作业。
k_Python”。 图2 新建作业 进入到作业开发页面,拖动“MRS Spark Python”节点到画布中并单击,配置节点的属性。 图3 配置MRS Spark Python节点属性 参数设置说明: --master yarn --deploy-mode cluster ob
虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业
表数量配置在50张以内性能最佳。 图1 查看DRS任务表数量 同步流量查看 进入DRS任务监控,查看监控指标,以“写目标库频率”为主要评估指标,同时观察DRS任务是否有时延。 Migration在配置8CU的情况下可以支撑8000条/秒的同步速率。流量较大的表建议单独配置作业。 图2
虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业
再单击“新建作业”。 图6 新建作业 按照如下步骤完成作业参数的配置。 如图7所示,配置作业名为movies_obs2dws,配置源端作业参数,然后配置目的端作业参数。 在本示例中,目的端作业参数“导入开始前”配置为“清除全部数据”,表示每次作业运行都会先清空数据再导入。在实际业
重跑实例 task retryTask/restart(api) 节点暂停 task pauseJob 节点恢复 task resumeJob 节点手工重试 task redoJobs 节点跳过 task skipJob 节点强制成功 task forceJobSuccess 新建脚本
数据开发 数据开发概述 数据管理 脚本开发 作业开发 解决方案 运行历史 运维调度 配置管理 审批中心 下载中心 节点参考 EL表达式参考 简易变量集参考 使用教程
能越长,请耐心等待。 图6 逻辑表预览 配置目的端参数。 图7 Kafka目的端配置项 目标Topic名称规则。 配置源端MySQL库表与目的端Kafka Topic的映射规则 表6 目标Topic名称规则 同步场景 配置方式 整库 配置源端MySQL库表与目的端Kafka To
作业配置了周期调度,但是实例监控没有作业运行调度记录? 可能原因 作业配置了周期调度,但是实例监控没有作业运行调度记录。可能原因是作业未启动调度或者依赖作业未执行完成。 解决方案 在“运维调度 > 作业监控”界面确认作业的调度状态是否是调度中,只有调度中的作业到了调度周期后才会调度。
和表名,其中表匹配策略必须包含#{source_table_name}。 DWS参数配置。 其余DWS目的端参数说明请参考下表。 图6 DWS配置项 表7 DWS配置项 配置项 默认值 单位 配置说明 写入模式 UPSERT - UPSERT模式:批量更新入库模式 COPY模式:
注意,请求中加粗的斜体字段需要根据实际值填写: IAM endpoint为IAM服务的终端节点。 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。Endpoint您可以从终端节点及区域说明获取。 username为用户名,domainname为用户所属的账
创建一个数据开发模块空作业,作业名称为“job_MRS_Flink”。 图1 新建作业 进入到作业开发页面,拖动“MRS Flink”节点到画布中并单击,配置节点的属性。 图2 配置MRS Flink节点属性 参数设置说明: --Flink作业名称 wordcount --MRS集群名称 选择一个MRS集群 --运行程序参数
Studio权限的操作准备必要的IAM用户,然后参考本章节将该用户添加为工作空间成员并配置工作空间角色。 图1 权限体系 工作空间角色决定了该用户在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配,您也可以参考(可选)自定义工作空间角色自定义角色
开发 > 作业开发”,选择“新建作业”,新建一个名称为“job”的空作业。 进入作业开发页面,将DLI SQL节点拖至画布中,单击其图标并配置“节点属性”。 图2 节点属性 关键属性说明: SQL脚本:关联1中开发完成的SQL脚本“generate_trade_report”。
configurationStatus String 节点配置状态: In-Sync:配置已同步。 Applying:配置中。 Sync-Failure:配置失败。 paramsGroupId String 配置ID。 type String 配置服务类型,这里为cdm。 role String
创建DLF作业 然后进入到作业开发页面,拖动DLI SQL和CDM Job节点到画布中,连接并配置节点的属性。 图11 连接和配置节点属性 关键说明: dli_partition_count(DLI SQL节点):在节点属性中,关联使用DLI SQL脚本开发构建告警报表脚本中开发完成的DLI