检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据的读取权限。 单击“保存”回到连接管理界面。 创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从Oracle导出数据到云搜索服务的任务。 图4 创建Oracle到云搜索服务的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择创建O
表达式:StringUtils.equals(value,"ABC") 从字符串中获取指定字符串的第一个索引,没有则返回整数-1。例如从“aabaabaa”中获取“ab”的第一个索引1。 表达式:StringUtils.indexOf(value,"ab") 从字符串中获取指定字符串的最后一个索引,没有则返
表达式:StringUtils.equals(value,"ABC") 从字符串中获取指定字符串的第一个索引,没有则返回整数-1。例如从“aabaabaa”中获取“ab”的第一个索引1。 表达式:StringUtils.indexOf(value,"ab") 从字符串中获取指定字符串的最后一个索引,没有则返
监控、数据资产管理、数据服务、数据安全等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 产品架构如图1所示。 图1 产品架构 如图所示,DataArts
MySQL到DMS Kafka参数调优 源端优化 MySQL抽取优化。 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental
工作空间从系统层面为管理者提供对使用DataArts Studio的用户(成员)权限、资源、DataArts Studio底层计算引擎配置的管理能力。 工作空间作为成员管理、角色和权限分配的基本单元,每个团队都可具有独立的工作空间。在工作空间管理中,管理员可将相关用户加入到工作空间,并赋予DataArts
CSV_FILE:CSV格式,用于迁移文件到数据表的场景。 JSON_FILE:JSON格式,一般都是用于迁移文件到数据表的场景。 BINARY_FILE:二进制格式,不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 当选择“BINARY_FILE”时,目的端也必须为文件系统。
主题结构同步到数据质量对应的目录下。 发布 在逻辑实体列表中,选择需要发布的逻辑实体,单击列表上方的“发布”或者单击“操作”列的“发布”,选择审核人,再单击“确认提交”提交审核,审核通过后完成发布。 企业模式下,进行发布时,可以选择发布到生产环境或开发环境。默认发布到生产环境,不勾选则无法发布。
AppKey:通过认证前准备获取。认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全,本示例从环境变量中获取。 AppSecret:通过认证前准备获取。认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配
关系型数据库数据源的访问地址,可填写为IP或域名。 如果为RDS或GaussDB等云上数据源,可以通过管理控制台获取访问地址: 根据注册的账号登录对应云服务的管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称,进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。 说明: 仅Gaus
支持以下三种投递策略将源端的数据按规则同步到Kafka Topic的特定Partition: 全部投递到Partition 0。 按库名+表名的hash值投递到不同Partition。 按表的主键值hash值投递到不同的Partition。 源端无主键情况下,目的端默认投递到partition 0。
表达式:StringUtils.equals(value,"ABC") 从字符串中获取指定字符串的第一个索引,没有则返回整数-1。例如从“aabaabaa”中获取“ab”的第一个索引1。 表达式:StringUtils.indexOf(value,"ab") 从字符串中获取指定字符串的最后一个索引,没有则返
服务的Endpoint您可以从终端节点Endpoint获取。 例如IAM服务在“华北-北京四”区域的Endpoint为“iam.cn-north-4.myhuaweicloud.com”。 resource-path 资源路径,也即API访问路径。从具体API的URI模块获取,例
支持以下三种投递策略将源端的数据按规则同步到Kafka Topic的特定Partition: 全部投递到Partition 0。 按库名+表名的hash值投递到不同Partition。 按表的主键值hash值投递到不同的Partition。 源端无主键情况下,目的端默认投递到partition 0。
该参数支持配置正则表达式,实现导出满足规则的所有数据库。例如:表名配置为user_[0-9]{1,2},会匹配 user_0 到 user_9,user_00 到 user_99 的表。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系
响作业调度的业务日期时间,确认修改吗?”,单击“确认”,进行偏移量修改。如果将作业的偏移量从0修改为1,从作业的调度计划时间看,某一天的实例可能会跳过;如果将作业的偏移量从0修改为-1,从作业的调度计划时间看,某一天的实例可能会重叠。 修改偏移量,仅修改当前目录下的作业偏移量,子目录里面的作业不会进行修改。
表达式:StringUtils.equals(value,"ABC") 从字符串中获取指定字符串的第一个索引,没有则返回整数-1。例如从“aabaabaa”中获取“ab”的第一个索引1。 表达式:StringUtils.indexOf(value,"ab") 从字符串中获取指定字符串的最后一个索引,没有则返
CSV_FILE:CSV格式,用于迁移文件到数据表的场景。 JSON_FILE:JSON格式,一般都是用于迁移文件到数据表的场景。 BINARY_FILE:二进制格式,不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 当选择“BINARY_FILE”时,目的端也必须为文件系统。
资源。 重跑策略 否 从上一个检查点重跑 重新启动 输入数据路径 否 设置输入数据路径,系统支持从HDFS或OBS的目录路径进行配置。 输出数据路径 否 设置输出数据路径,系统支持从HDFS或OBS的目录路径进行配置。 表2 配置高级参数 参数 是否必选 说明 作业状态轮询时间(秒)
源连接名称:选择创建MySQL连接中的“mysqllink”。 模式或表空间:选择从本地MySQL的哪个数据库导出数据。 目的端作业配置 目的连接名称:选择创建RDS连接中的“rds_link”。 模式或表空间:选择将数据导入到RDS的哪个数据库。 自动创表:选择“不存在时创建”,当RDS数据库