检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源管理列表中,具体操作请参考新建资源。 Jar包参数 否 Jar包的参数。 运行程序参数 否 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。
DLI作为目的端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail 导入前清空数据
信使用二进制协议开关,即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错,可以关闭此开关;开源MySQL数据库支持useCursorFetch参数,无需对此参数进行设置。 数据源认证及其他功能配置 认证类型 是 访问集群的认证类型: SIMPLE:非安全模式选择Simple鉴权。
Studio支持对接所有华为云的数据湖与数据库云服务作为数据底座,例如MRS Hive、数据仓库服务DWS等,也支持对接企业传统数据仓库,例如Oracle、MySQL等。 DataArts Studio包含如下功能组件: 管理中心 提供DataArts Studio数据连接管理的能力,将DataArts
CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。
盖失败。软硬锁策略请参考配置软硬锁策略。 升级解决方案 在解决方案目录中,右键单击解决方案名称,选择“升级”,导入已上传到OBS中的解决方案文件。升级解决方案时,会停止其中正在运行的作业,系统将依据用户配置的升级重启策略,判断是否在升级完成后重新启动作业。 删除解决方案 在解决方
IP地址:资源组网段 执行完上述步骤后,MRS类型数据源还需要进行以下操作打通网络。 RDS(MySQL)、DMS Kafka、Oracle、RDS(PostgreSQL)、 RDS(SQL Server)、 MongoDB、DWS数据源,无需执行此操作。 表2 MRS类型数据源打通网络
可以自定义对当前数据集成资源组的描述。 规格 选择资源组的规格类型,即CU值、适用环境、创建作业的最大数量。 不同规格的资源组支持迁移的任务数或创建作业的最大数存在上限,您需要根据业务需要选择合适规格的资源组。单个作业(最少需要2 CU)最多支持创建50张表。 小规格:16CUs,创建作业的最
"460abeae-aad4-4456-8c35-5ec530506ae2", "node_name" : "DLI_SQL_6038", "node_type" : "dli_sql_node", "node_qualified_name" : "19431260.32e273
否 int 设置补数据作业的优先级。当系统资源不充足时,可以优先满足优先级较高的作业的计算资源,数字越大优先级越高,当前只支持对DLI SQL算子设置优先级。 is_stop_when_fail 否 Boolean 补数据作业失败时是否停止,true表示停止,false表示不停止。
dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 create_time String 创建时间,只读,格式遵循RFC3339,
dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 dw_name String 数据连接名称,只读,创建和更新时无需填写。 l1
用于存放数据表,数据库模式名称为“dgc”。 图5 创建数据库模式 创建一个DWS SQL脚本,以通过DWS SQL语句来创建数据表。 图6 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句,并单击“运行”来创建数据表。其中,movies_item、ratings_it
作业写入的字节。由系统生成,用户无需填写。 id Integer 作业ID。由系统生成,用户无需填写。 is_use_sql Boolean 用户是否使用sql。由系统根据源端抽取是否使用sql语句生成,用户无需填写。 update_rows Integer 增量作业更新行数,已废弃。 group_name
*/*\n\n[query parameter]:\na : 1\n[body parameter]:\n\n______________SQL information_______________\nSELECT \"bt_col1\" AS \"bt_col1\",\"bt_col2\"
Spark、MRS MapReduce和DLI Flink Job。 创建资源后,配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更,只需要修改资源引用的位置即可,不需要修改作业配置。关于资源的使用样例请参见开发一个DLI Spark作业。 约束限制 该功能依赖于OBS服务或MRS
试域名每天最多可以访问1000次。如果您不希望与其他API共享此规格,可以在APIG共享版控制台新建一个API分组(详情请参考创建API分组),然后在数据服务发布时选择对应API分组,独享每天最多访问1000次的规格。另外,您还可以为API分组绑定一个或多个独立域名(详情请参考绑
dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 create_time String 创建时间,只读,格式遵循RFC3339,
dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 String
dw_type 是 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 dw_name 否 String 数据连接名称,只读,创建和更新时无需填写。 l2_id