检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio的Migration服务提供了实时数据同步功能,可将数据通过同步技术从一个数据源复制到其他数据源,并保持一致,实现关键业务数据的实时流动。 常用场景:实时分析,报表系统,数仓环境等。 同步特点:实时同步功能聚焦于表和数据,并满足多种灵活性的需求,例如多对一、一对多,动态增减同步表,不同库表名之间同步数据等。
Job:创建CloudStream作业,并启动作业 CloudTableManager节点:CloudTable表管理,参考创建和删除表。 OBSManager: OBS路径管理,包括创建和删除路径 RESTAPI: REST API请求 SMN: 发送短信或邮件 MRS Spark:执行MRS服务的Spark作业
配置网络资源。 选择已创建的源端、目的端数据连接及已配置好网络连接的资源组。 图3 选择数据连接及资源组 无可选数据连接时,可单击“新建”跳转至管理中心数据连接界面,单击“创建数据连接”创建数据连接,详情请参见配置DataArts Studio数据连接参数进行配置。 无可选资源组时,可
s Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 获取待调用API的调用地址、请求方法和入参信息。 在左侧导航栏中进入API管理,找到待调用的A
在左侧导航栏中进入应用管理,找到API授权的应用,并单击应用名称查看APP的完整信息,保存AppKey和AppSecret。 图1 保存AppKey和AppSecret信息 获取待调用API的调用地址、请求方法和入参信息。 在左侧导航栏中进入API管理,找到待调用的API,并单
在左侧导航栏中进入应用管理,找到API授权的应用,并单击应用名称查看APP的完整信息,保存AppKey和AppSecret。 图1 保存AppKey和AppSecret信息 获取待调用API的调用地址、请求方法和入参信息。 在左侧导航栏中进入API管理,找到待调用的API,并单
提升迁移效率与业务稳定性。 需要作为不同的用途或给多个业务部门使用。例如既需要用于数据迁移作业,又需要作为DataArts Studio管理中心连接代理时,建议各配置至少一个CDM集群。 待迁移任务库表较多,迁移量较大。此时可以使用多个CDM集群同时作业,提升迁移效率。 当前C
对于运行状态异常的实时集成作业,可以进行停止操作。 单击“停止”,系统弹出停止任务的提示框。 单击“确认”,停止该任务。 实时集成作业监控:恢复 对于运行状态异常的实时集成作业,可以进行恢复操作。 单击“恢复”。 系统提示“操作成功”,任务恢复成功。 实时集成作业监控:查看作业详细信息
接请参见如何配置对等连接章节。 注:如果配置了VPC对等连接,可能会出现对端VPC子网与CDM管理网重叠,从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移,或联系管理员在CDM后台为VPC对等连接添加特定路由。 当CDM集群与其他云服务所在的区域不一致时,则需
实时集成作业已正常运行一段时间(约5分钟)。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“运维调度
Access Key)。 说明: 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 - 密钥(SK) - OBS测试路径 “OBS支持”设置为“是”时,呈现此参数。 请填写完整的文件路
认证方式API或通过白名单授权IAM认证方式API),则无需再进行本章的相关操作。 约束与限制 对于数据服务共享版IAM认证方式的API,系统已默认记录了当前账号的白名单,不支持删除,因此共享版IAM认证方式的API无需进行授权即可进行调用。而专享版中使用IAM认证方式的API则必须先通过应用或白名单授权才能调用。
>”等各类特殊字符,长度为1~128个字符。 图名称 是 可以直接选择需要导入的图,也支持手动输入图名称。 如需新建GES图,请前往GES管理控制台进行新建。 元数据来源 是 元数据来源支持以下两种方式: 已有文件:从OBS桶中选择已有的xml格式元数据文件。 新建元数据:根据MRS
离散小时调度与作业最近依赖调度逻辑 数据开发当前支持两种调度依赖策略:传统周期调度依赖和自然周期调度依赖。 传统周期调度依赖的详细信息请参见传统周期调度。 自然周期调度依赖的详细信息请参见自然周期调度。 随着用户业务的演进,自然周期调度中,增加了许多新的调度规则,如离散小时调度,
已在“管理中心 > 数据连接”页面,完成数据源的配置。 约束与限制 API生成暂不支持Hive数据源的中文表和中文列场景。 新建API目录 API目录是按一定次序编排记录的API索引,是反映类别、指导使用、检索API的工具,帮助API开发者对API服务进行有效的分类和管理。 参考访问DataArts
已新建连接,详情请参见创建CDM与数据源之间的连接。 CDM集群与待迁移数据源可以正常通信。 操作步骤 进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理”。 选择“整库迁移 > 新建作业”,进入作业参数配置界面。 图1 创建整库迁移作业 配置源端作业参数,根据待迁移的数据库类型配置对应参数,如表1所示。
查看增量包”,查看已购买的增量包。 您可以在DataArts Studio实例卡片上,通过“更多 > 配额使用量”,查看当前实例的配额使用量。也支持可以在空间管理处,通过对应空间的“操作 > 配额使用量”,查看每个工作空间的配额使用量。 设置配额使用量阈值告警 购买规格增量包前,您可以设置配额使用量
hon脚本,系统自动默认显示Python版本,例如Python3。如果脚本未创建,请参考新建脚本和开发Python脚本先创建和开发脚本。 说明: 若选择Python语句方式,数据开发模块将无法解析您输入Python语句中携带的参数。 若选择Python脚本方式,系统自动默认显示的
s Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 获取待调用API的调用地址、请求方法和入参信息。 在左侧导航栏中进入API管理,找到待调用的A
02,该业务日期系统会自动传给作业计划时间,脚本时间变量DATE的表达式中,定义的时间为作业计划时间减去一天,即作业计划时间的前一天时间为补数据的时间范围(2023-02-27至2023-03-01)。 图4 补数据 表2 参数说明 参数 说明 补数据名称 系统自动生成一个补数据的任务名称,允许修改。