检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略
超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前,选择是否清除目的表的数据:
Studio实例,单击实例卡片上的“进入控制台”,进入概览页面。 选择“空间管理”页签,在工作空间列表中,找到所需要的工作空间,单击工作空间的“数据开发”,系统跳转至数据开发页面。 构造原始表格student_score。新建临时Hive SQL脚本,选择Hive连接和数据库后,粘贴如下SQL语句并运行,运行成功后即可删除此脚本。
Studio实例,单击实例卡片上的“进入控制台”,进入概览页面。 选择“空间管理”页签,在工作空间列表中,找到所需要的工作空间,单击工作空间的“数据开发”,系统跳转至数据开发页面。 构造原始表格student_score。新建临时Hive SQL脚本,选择Hive连接和数据库后,粘贴如下SQL语句并运行,运行成功后即可删除此脚本。
超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略
DataArts Studio支持连接哪些数据源? DataArts Studio支持对接如DLI、DWS、MRS Hive等云服务,也支持对接如MySQL、Oracle等传统数据库,支持程度各有不同,详情请参见DataArts Studio支持的数据源章节。 DataArts
QL、ImpalaSQL、PYTHON、SparkPython其中之一时,这个参数是必选的。用户可以通过查询连接列表(待下线)接口获取当前系统中已经存在的连接。默认值为空。 database 否 String 执行SQL语句所关联的数据库,当type参数值为DLISQL、Spar
在类型过滤区域,选择“Table”,搜索结果显示属于Table类型的资产。 类型过滤条件按照名称排序,默认只显示前五种类型,单击“全部”,显示系统目前支持的所有资产类型。 资产详情 本文以查看技术资产中的数据表详情为例进行说明。 在技术资产搜索结果列表,单击任意数据表,进入数据表详情页面。
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? 问题描述 在使用CDM迁移数据到数据仓库服务(DWS)时,迁移作业失败,且执行日志中出现“value too long for type character varying”错误提示。 原因分析 这种情况一般是源表与目标
查看同步日志 Migration实时集成服务底层依托于Flink开发而来,同样对外开放了Flink的JobMamager和TaskManager日志,便于用户查看实时同步情况,并通过日志定位或排查异常问题。 前提条件 实时集成作业已启动、启动过。 实时集成作业已正常运行一段时间(约5分钟)。
步骤1:数据准备 使用DataArts Studio前的准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列
超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略
CDM迁移数据到DWS时如何选取分布列? 问题描述 CDM迁移数据到DWS时如何选取分布列? 解决方案 在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA,且CDM在DWS端自动创建一个新表时,在创建作业的字段映射界面,需要选择分布列,如图1所示。
迁移到DWS时出现value too long for type character varying怎么处理? 问题描述 在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA时,如果迁移作业失败,且执行日志中出现“value too long for
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。 这里以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程: 获取CDM作业的JSON
解锁作业 脚本/作业解锁涉及到数据开发的编辑锁定功能。 编辑锁定:用于避免多人协同开发脚本/作业时产生的冲突。新建或导入脚本/作业后,默认当前用户锁定脚本/作业,只有当前用户自己锁定的脚本/作业才可以直接编辑、保存或提交,通过“解锁”功能可解除锁定;处于解除锁定或他人锁定状态的脚
解锁脚本 脚本/作业解锁涉及到数据开发的编辑锁定功能。 编辑锁定:用于避免多人协同开发脚本/作业时产生的冲突。新建或导入脚本/作业后,默认当前用户锁定脚本/作业,只有当前用户自己锁定的脚本/作业才可以直接编辑、保存或提交,通过“解锁”功能可解除锁定;处于解除锁定或他人锁定状态的脚
DataArts Studio的会话超时时间是多少,是否支持修改? 会话超时时间指的是如果用户超过该时长未操作界面,会话将会失效,需要重新登录。 会话超时策略可以在IAM服务进行设置,如图所示。 会话超时策略默认开启,不能关闭,管理员可以设置会话超时的时长,会话超时时长默认为1个
后,可以通过“更多 > 查看日志”一键跳转到日志查看页面查看Flink作业日志。 说明: MRS集群版本为不支持时,界面不显示查看日志,则系统不支持通过一键跳转查看日志。 单击作业名称,在打开的页面中查看该作业的作业参数、作业属性、作业实例。 单击作业的某个节点,可以查看节点属性