正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择数据连接。 数据库 是 填写数据库名称,该数据库已创建好,建议不要使用默认数据库。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在
选择数据连接。 数据库 是 选择数据库名称,该数据库已创建好,建议不要使用默认数据库。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在
Oracel的RBS(rollbackspace 回滚时使用的表空间)较小,造成迁移任务没有完成,源库已更新,回滚超时。 建议与总结 调小每次查询的数据量。 通过修改数据库配置调大Oracle的RBS。 父主题: 数据集成
设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。
ER_REVERSE_DB: 关系建模逆向数据库 TRANSFORM_LOGIC_MODEL: 逻辑模型转物理模型 operation_id 否 String 批量操作id,在逻辑模型转物理表时,填写的是逻辑模型的model_id,在逆向数据库时,填写的是目标模型的model_id。
技术资产数量增量包用于扩充技术资产数量配额。 不同版本的DataArts Studio实例,默认提供了不同的技术资产数量规格限制。该规格是以数据目录中表和OBS文件的数量之和计算的。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。 当
技术资产同步状态,只读。 business_asset String 业务资产同步状态,只读。 meta_data_link String 资产关联状态,只读。 data_quality String 质量作业状态,只读。 dlf_task String 数据开发作业状态,只读。 materialization
默认选择SQL脚本中设置的数据连接,支持修改。 数据库 是 默认选择SQL脚本中设置的数据库,支持修改。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明: 需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。
Ranger数据连接参数说明 MRS Presto数据连接参数说明 Doris数据连接参数说明 OpenSource ClickHouse数据连接参数说明 RDS数据连接参数说明 ORACLE数据连接参数说明 DIS数据连接参数说明 主机连接参数说明 OBS数据连接参数说明 Apache HDFS数据连接参数说明
通过DataArts Studio平台将源数据上传或者接入到云上。 数据集成提供同构/异构数据源之间批量数据迁移的服务,支持自建和云上的文件系统,以及关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 数据集成 支持的数据源 创建CDM集群 创建CDM与数据源之间的连接 新建表/文件迁移作业
String 主题域分组中文名,只读,创建和更新时无需填写。 l2 String 主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。 summary_table_id String 汇总表ID,只读,填写String类型替代Long类型。
否 String 创建者。 l1 否 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 否 String 主题域中文名,只读,创建和更新时无需填写。 l3 否 String 业务对象中文名,只读,创建和更新时无需填写。 approval_time 否 String
SQL节点属性说明 参数名 是否必选 参数类型 说明 scriptName 是 String 脚本名称 database 否 String 数据库名称 MRS Hive中的数据库,默认default。 connectionName 否 String 连接名称 scriptArgs 否
常见问题 MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中,DWS为什么需要对主键null值进行过滤? Kafka到DLI实时同步中,作业运行失败,报“Array element access needs an index starting
如未建立,请参考配置DataArts Studio数据连接参数进行操作。 已在DLI中创建数据库,以“dli_db”数据库为例。 如未创建,请参考新建数据库进行操作。 已在“dli_db”数据库中创建数据表trade_log和trade_report。 如未创建,请参考新建数据表进行操作。
本。 数据连接 是 默认选择SQL脚本中设置的数据连接,支持修改。 模式 是 Hetu支持的数据源。用户可以在MRS Manager的Hetu组件中自行添加数据源。 数据库 是 默认选择SQL脚本中设置的数据库,支持修改。 资源队列 否 输入资源队列名称。 脚本参数 否 关联的S
数据源与目的数据源之间的网络带宽 100MB - 数据源和集成工具之间的网络连通性描述 本示例不涉及 - 数据库类迁移,调研表的个数,最大表的规模 本示例不涉及,本示例需要从OBS文件迁移到数据库 了解数据库迁移的作业规模,了解最大表的迁移时间是否可接受 文件类迁移,文件的个数,有没有单文件超过TB级文件
时间类型的宏定义,当前支持两种类型:dateformat和timestamp。 通过时间宏变量+定时执行作业,可以实现数据库增量同步和文件增量同步。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启
String 主题域分组中文名,只读,创建和更新时无需填写。 l2 String 主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。 summary_table_id String 汇总表ID,只读,填写String类型替代Long类型。
否 String 创建者。 l1 否 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 否 String 主题域中文名,只读,创建和更新时无需填写。 l3 否 String 业务对象中文名,只读,创建和更新时无需填写。 approval_time 否 String