检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数参考如下: 图5 新建CDM作业作业配置 作业名称:自定义数据迁移的作业名称。例如,当前定义为:css_to_dli。 源端作业配置,具体参考如下: 表2 源端作业配置 参数名 参数值 源连接名称 选择1.a中已创建的数据源名称。 索引 选择CSS集群中创建的Elasticse
true:表示在展示模式名称时,包含 DLI 的名称作为前缀。 false:表示在展示模式名称时,不包含 DLI 的名称。 例如如果配置为true,并且有一个DLI名称为 hive,那么在执行show schemas时,输出为hive.default的格式。 如果配置为false,输出为default的格式。
在列表页面的右上方单击可以自定义显示列,并设置表格内容显示规则、操作列显示规则。 在列表页面上方的搜索区域,您可以名称和标签筛选需要的弹性资源池。 单击展开弹性资源池基本信息卡片,查看弹性资源池详细信息。 支持查看以下信息:弹性资源池名称、弹性资源池创建用户、创建时间、弹性资源池VPC网段、弹性资源池是否启用IPv
数参考如下: 图5 CDM数据迁移作业配置 作业名称:自定义数据迁移的作业名称。例如,当前定义为:rds_to_dli。 源端作业配置,具体参考如下: 表2 源端作业配置 参数名 参数值 源连接名称 选择1.a中已创建的数据源名称。 使用SQL语句 “使用SQL语句”选择“是”时
query; 参数描述 表1 INSERT INTO参数 参数 描述 tableIndentifier 需要执行INSERT命令的Hudi表的名称。 select query 查询语句。 注意事项 写入模式:Hudi对于设置了主键的表支持三种写入模式,用户可以设置参数hoodie.sql
true:表示在展示模式名称时,包含 DLI 的名称作为前缀。 false:表示在展示模式名称时,不包含 DLI 的名称。 例如如果配置为true,并且有一个DLI名称为 hive,那么在执行show schemas时,输出为hive.default的格式。 如果配置为false,输出为default的格式。
新建CDM作业作业配置 作业名称:自定义数据迁移的作业名称。例如,当前定义为:hive_to_dli。 源端作业配置,具体参考如下: 表2 源端作业配置 参数名 参数值 源连接名称 选择1.a中已创建的数据源名称。 数据库名称 选择MRS Hive待迁移的数据库名称。例如当前待迁移的表数据数据库为“default”。
true:表示在展示模式名称时,包含 DLI 的名称作为前缀。 false:表示在展示模式名称时,不包含 DLI 的名称。 例如如果配置为true,并且有一个DLI名称为 hive,那么在执行show schemas时,输出为hive.default的格式。 如果配置为false,输出为default的格式。
DWS数据源配置 参数 值 名称 自定义DWS数据源名称。例如当前配置为:source_dws。 数据库服务器 单击输入框旁边的“选择”按钮,选择当前已创建的DWS集群名称。 端口 DWS数据库的端口,默认为:8000。 数据库名称 当前需要迁移的DWS数据库名称。当前示例为DWS集群
true:表示在展示模式名称时,包含 DLI 的名称作为前缀。 false:表示在展示模式名称时,不包含 DLI 的名称。 例如如果配置为true,并且有一个DLI名称为 hive,那么在执行show schemas时,输出为hive.default的格式。 如果配置为false,输出为default的格式。
true:表示在展示模式名称时,包含 DLI 的名称作为前缀。 false:表示在展示模式名称时,不包含 DLI 的名称。 例如如果配置为true,并且有一个DLI名称为 hive,那么在执行show schemas时,输出为hive.default的格式。 如果配置为false,输出为default的格式。
入作业。 修改Flink作业名称和描述信息 用户可以根据需要修改作业名称和描述。 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。 在需要修改名称和描述的作业对应的“操作”列中,单击“更多 > 名称和描述修改”,弹出“属性修改”页面。修改作业名称和描述。
新建CDM作业作业配置 作业名称:自定义数据迁移的作业名称。例如,当前定义为:test。 源端作业配置,具体参考如下: 表2 源端作业配置 参数名 参数值 源连接名称 选择1.a中已创建的数据源名称。 Topics 选择MRS Kafka待迁移的Topic名称,支持单个或多个Topic。当前示例为:kafkatopic。
格式:obs://bucketName/tblPath bucketName即桶名称。 tblPath是目录名称。目录后不需要指定文件名。 更多建表时的属性名与属性值请参考表2。 file_format为csv时表的属性名与属性值请参考表2和表3。 当OBS的目录下文件夹与文件同名时,创建OBS表指向的路径会优先指向文件而非文件夹。
数说明如表2所示。 表2 参数说明 参数名称 参数说明 配置样例 计费模式 选择弹性资源池计费模式。 按需计费 区域 选择弹性资源池所在区域。 华东-上海二 项目 每个区域默认对应一个项目,由系统预置。 系统默认项目 名称 弹性资源池名称。 dli_resource_pool 规格
OpenSource SQL”:用户通过编辑SQL语句来启动作业。 名称 作业名称,只能由字母、中文、数字、中划线和下划线组成,并且长度为1~57字节。 说明: 作业名称必须是唯一的。 描述 作业的相关描述,长度为0~512字节。 模板名称 用户可以选择样例模板或自定义的作业模板。关于模板的详细信息,请参见管理Flink作业模板。
DLI控制台并未展示弹性资源池的ID。查询DLI队列或弹性资源池的资源账单,包含以下三步操作: 在DLI云服务控制台获取资源名称。 根据DLI资源名称,在“我的资源”页面根据资源名称查看资源ID。(资源名称不唯一,因此建议使用名称查询指定的资源ID后再查看账单。) 根据上报账单的资源ID在费用中心查看资源账单。 详细操作如下所述:
该API用于查询指定集群的信息,包括名称、描述以及绑定的计算资源数。 当前接口已废弃,不推荐使用。 URI URI格式: GET /v2.0/{project_id}/clusters/{cluster_name} 参数说明 表1 URI参数 名称 是否必选 说明 project_id
需要跳转至指定页面。您可以查看任何状态下的作业。作业列表默认按创建时间降序排列。 表1 作业管理参数 参数 参数说明 队列 作业所属队列的名称。 执行引擎 SQL作业支持Spark和HetuEngine两种引擎。 Spark:显示执行引擎为“Spark”的作业。 HetuEngi
queue 是 DLI服务的队列名称。 dli_test database 是 数据目录名称。默认使用dli数据目录。 如果使用Lakeformation元数据,填写具体的数据目录名称。 dli schema 是 提交作业使用的DLI的数据库名称。 tpch 步骤3:测试使用DBT提交作业至DLI