检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 Where子句 参数位置:在创建表/文件迁移作业时,如果源端为关系型数据库,那么在源端作业参数的高级属性下面可以看到“Where子句”参数。 参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age
会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 Where子句 参数位置:在创建表/文件迁移作业时,如果源端为关系型数据库,那么在源端作业参数的高级属性下面可以看到“Where子句”参数。 参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age
h:mm:ssZ。 name String 实例名称。 id String 实例ID。 flavor flavor object 节点的虚拟机规格,请参见flavor参数说明。 datastore Datastore object 集群信息,请参见datastore参数说明。 dbuser
Migration作业需要根据DRS的同步位点启动作业,做到数据的续传、不漏数。 请联系DRS运维人员获取到DRS任务同步的安全位点(一个binlog文件名),联系MySQL数据库运维根据安全位点查询出当前DRS已同步binlog的时间戳,根据这个时间戳启动Migration作业。 在启动M
”和“显示当前作业及其直接上下游”。 视图右上角支持按节点名称进行搜索,搜索出来的作业节点高亮显示。 单击下载按钮,可以下载作业的依赖关系文件。 鼠标滚轮可放大、缩小关系图。 鼠标按住空白处,可自由拖拽用以查看完整关系图。 鼠标光标悬停在作业节点上,该作业节点会被标记为绿色,上游
通过不同方式调用API 调用API方式简介 (推荐)通过SDK调用APP认证方式的API 通过API工具调用APP认证方式的API 通过API工具调用IAM认证方式的API 通过API工具调用无认证方式的API 通过浏览器调用无认证方式的API 父主题: 调用数据服务API
间-偏移量”。 TBL_X hive写入模式 选择hive的写入模式。 TRUNCATE+LOAD:TRUNCATE模式只清理分区下的数据文件,不删除分区。 LOAD:写入前不做任何处理。 LOAD_OVERWRITE:将生成一个临时目录,目录名为:表名_UUID,使用hive的load
为1~128个字符。 图片路径 是 需要识别的图片在OBS上的路径。 识别类型 是 可识别的图片类型, 当前仅支持通用文字识别。可支持扫描文件、电子文档、书籍、票据和表单等多种场景的文字识别。 识别结果存储目录 是 指定识别结果存储的OBS目录。 表2 高级参数 参数 是否必选 说明
持spel表达式。 例如: 认证响应体为: { "code" : 200, "data" : { "access_token" : "DSFSDFWE87WE9089W9EW9ER898WER9W89ER8", "expired":1000 } } 如果我们要获取access_token的值,并且满足Bearer
更新:如果表已存在,更新已有的表信息。如果表处于“已发布”状态,表更新后,您需要重新发布表,才能使更新后的表生效。 上传模板 选择所需导入的文件。所需导入的文件,可以通过以下方式获得。 下载关系建模导入模板并填写模板 在“导入配置”页签内,单击“下载指标定义导入模板”下载模板,然后根据业务需求填写好模板中的相关参数并保存。
体操作请参考新建资源。 入口类 是 指定加载的Jar包类名,如KafkaMessageStreaming。 默认:根据Jar包文件的Manifest文件指定。 指定:需要输入类名并确定类参数列表(参数间用空格分隔)。 说明: 当类属于某个包时,需携带包路径,例如:packagePath
目列表中查看项目和项目ID。 说明: 数据开发作业运行完以后,运行结果日志会存储在OBS桶路径下面,便于查看运行历史记录,文件格式为xxxxx.log的文件就是作业运行日志,xxxxx表示作业id。已经运行完的SQL结果,删除历史记录后,不会影响业务。 DLI脏数据OBS路径 用于指定DataArts
同Region不同租户通过企业路由器连通网络 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云,且与Migration资源
支持多种数据源链路组合,您可以将多种输入及输出数据源搭配组成同步链路进行数据同步。详情请参见支持的数据源。 复杂网络环境下的数据同步 支持云数据库、本地IDC、ECS自建数据库等多种环境下的数据同步。在配置同步任务前,您可以根据数据库所在网络环境,选择合适的同步解决方案来确保数据集成资源组与您将同步的数
节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试,避免自动重试重复写入数据导致数据不一致。 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。
更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单击“添加文件”,选择编辑完成的导入模板。 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。 单击“关闭”。 导出 可通过导出的方式将原子指标导出到本地。
返回“导入数据标准”对话框,选择上一步配置好的数据标准模板文件,然后单击“上传文件”。 如果上传的模板文件校验不通过,请修改正确后,再重新上传。 在导入对话框中,导入结果会在“上次导入”页面中显示。如果导入成功,单击“关闭”完成导入。如果导入失败,您可以查看失败原因,将模板文件修改正确后,再重新上传。 图6
更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单击“添加文件”,选择编辑完成的导入模板。 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。 单击“关闭”。 导出复合指标 可通过导出的方式将复合指标导出到本地。
32GB 32 cdm.4xlarge 64核 128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。
udtable集群的HBase/OpenTSDB表。 OBS:通道里的流式数据存储在DIS中,并周期性导入对象存储服务OBS;通道里的实时文件数据传输完成后,导入OBS。 说明: 转储至CloudTable,仅华北-北京一区域支持。 单击,在弹出的对话框中配置转储任务的参数(参数