检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通知管理 DataArts Studio使用消息通知服务(Simple Message Notification,简称SMN)依据用户的订阅需求主动推送通知消息,用户在作业运行异常或成功时能立即接收到通知。 管理通知 通知周期概览 终端订阅管理 父主题: 运维调度
企业模式角色操作 企业模式业务流程 管理员操作 开发者操作 部署者操作 运维者操作 父主题: (可选)升级企业模式工作空间
数据库部署在其他云 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在其他云厂商场景下的网络打通方案。 图1 网络示意图 约束限制
创建并管理CDM集群 创建CDM集群 解绑/绑定CDM集群的EIP 重启CDM集群 删除CDM集群 下载CDM集群日志 查看并修改CDM集群配置 管理集群标签 管理并查看CDM监控指标 父主题: 数据集成(CDM作业)
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置 父主题: 数据集成(CDM作业)
CDM有哪些安全防护? CDM是一个完全托管的服务,提供了以下安全防护能力保护用户数据安全。 实例隔离:CDM服务的用户只能使用自己创建的实例,实例和实例之间是相互隔离的,不可相互访问。 系统加固:CDM实例的操作系统进行了特别的安全加固,攻击者无法从Internet访问CDM实例的操作系统。
Client调用了MRS服务查询集群列表的API,然后执行Kafka Client发送消息。 使用场景:Kafka Client发送字符串消息,消息内容为集群列表中第一个集群的cluster Id。 关键配置:在Kafka Client中使用如下EL表达式获取Rest API返回消息体中的特定字段:#{JSONUtil
Client调用了MRS服务查询集群列表的API,然后执行Kafka Client发送消息。 使用场景:Kafka Client发送字符串消息,消息内容为集群列表中第一个集群的cluster Id。 关键配置:在Kafka Client中使用如下EL表达式获取Rest API返回消息体中的特定字段:#{JSONUtil
"approverName": "userName2" } ] } 响应示例 成功响应 HTTP状态码 204 失败响应 HTTP状态码 400 { "error_code":"DLF.6201", "error_msg":"The script
是否支持批量调度作业? 问题描述 CDM是否支持批量调度作业? 解决方案 支持。 访问DataArts Studio服务的数据开发模块。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”,新建作业。 拖动多个CDM Job节点至画布,然后再编排作业。 父主题: 数据集成(CDM作业)
更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单击“添加文件”,选择编辑完成的导入模板。 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。 单击“关闭”。 导出复合指标 可通过导出的方式将复合指标导出到本地。
更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单击“添加文件”,选择编辑完成的导入模板。 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。 单击“关闭”。 导出 可通过导出的方式将原子指标导出到本地。
查看工作空间内的数据资产 数据地图围绕数据搜索,服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用者和拥有者,提供方便快捷的数据搜索服务,拥有功能强大的血缘信息及影响分析。 搜索:在进行数据分析前,使用数据地图进行关键词搜索,帮助快速缩小范围,找到对应的数据。 详情:使用
概览 本章节汇总了基于Migration实时数据集成服务常见应用场景的操作指导,每个实践我们提供了详细的方案描述和操作指导,用于指导您快速实现数据库迁移和同步。 表1 Migration基础实践一览表 数据源分类 源端数据源 对应目的端数据源 相关文档 关系型数据 MySQL Hadoop:MRS
配置委托后,作业执行过程中,以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实例执行时间超过超时时间,将触发异常通知,发送消息给用户。 实例超时是否忽略等待时间
32GB 32 cdm.4xlarge 64核 128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。
workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 否 String 使用Token认证时该字段必选,用户Token的长度要求如下: 最小长度:0 最大长度:4096
Job内嵌对象 Job为作业对象,提供了获取作业中上一节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。 属性和方法 表1 属性说明 属性 类型 描述 name String 作业名称。 planTime java.util.Date 作业调度计划时间,即周期调度配置的时间,例如每天凌晨1:01调度作业。
user over ratelimit,limit:60,time:1 minute",如下图所示。 图1 报错信息 解决方案 由于MRS服务的接口限制了单个用户每分钟最多调用60次,因此只能通过降低调用频率来解决该问题。 父主题: 数据开发
workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 否 String 使用Token认证时该字段必选,用户Token的长度要求如下: 最小长度:0 最大长度:4096