检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否必选 参数类型 描述 elastic_resource_pool_name 是 String 新建的弹性资源池名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。长度限制:1~128个字符。 说明: 若名称中包含大写字母,将会自动转换为小写字母。 description
项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 name 是 String 连接名称。 名称只能包含数字、英文字母、下划线。不能为空。 输入长度不能超过64个字符。 dest_vpc_id 是 String 对应服务的vpc的ID。具体请参考《虚拟私有云API参考》。
填写Kafka认证信息,详细参数说明请参考表2。 表2 参数说明 参数 参数说明 类型 选择Kafka_SSL。 认证信息名称 所创建的跨源认证信息名称。 名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 输入长度不能超过128个字符。 Truststore路径 上传SSL Truststore文件的OBS路径。
请参考表2。 表2 参数说明 参数 参数说明 类型 选择kerberos。 认证信息名称 所创建的跨源认证信息名称。 名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 输入长度不能超过128个字符。 建议名称中包含MRS安全集群的名称,便于区分不同集群的安全认证信息。
添加分区(只支持OBS表) 功能描述 创建OBS分区表成功后,OBS表实际还没有生成分区信息。生成分区信息主要有以下两种场景: 给OBS分区表插入对应的分区数据,数据插入成功后OBS表才会生成分区元数据信息,后续则可以根据对应分区列进行查询等操作。 手工拷贝分区目录和数据到OBS
table_name 格式 无。 说明 表名称,支持字符串类型和“$”符号,名称长度不能超过128字节。 父主题: 标示符
db_name 格式 无。 说明 数据库名称,仅支持字符串类型,名称长度不能超过128字节。 父主题: 标示符
table_comment 格式 无。 说明 对表的描述,仅支持字符串类型,描述长度不能超过256字节。 父主题: 标示符
col_comment 格式 无。 说明 对列(字段)的描述,仅支持字符串类型,描述长度不能超过256字节。 父主题: 标示符
db_comment 格式 无。 说明 对数据库的描述,仅支持字符串类型,描述长度不能超过256字节。 父主题: 标示符
示例4:创建DLI非分区表,并自定义列字段数据类型 示例说明:创建名为table2的DLI非分区表,您可以根据业务需求自定义列子段的原生数据类型: 与文字字符有关可以使用STRING、CHAR或者VARCHAR。 与时间有关的可以使用TIMESTAMP、DATE。 与整数有关的可以使用INT
在“创建程序包”对话框,配置以下参数。 包类型:选择“JAR”。 OBS路径:程序包所在的OBS路径。 分组设置和组名称根据情况选择设置,方便后续识别和管理程序包。 单击“确定”,完成创建程序包。 创建UDF函数。 登录DLI管理控制台,单击“SQL编辑器”,执行引擎选择“spark”,选择已创建的SQL队列和数据库。
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 table_name 是 String 新增表名称。 表名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 表名称大小写不敏感且不能为空。 表名称支持包含“$”符号。例如:$test。 输入长度不能超过128个字符。
DESCRIBE 语法 DESCRIBE [EXTENDED| FORMATTED] table_name DESCRIBE [EXTENDED| FORMATTED] table_name PARTITION (partition_spec) 描述 查看指定表的元数据信息。该语
SHOW TABLES 语法 SHOW TABLES [ (FROM | IN) schema ] [ LIKE pattern [ESCAPE escapeChar] ] 描述 这个表达式用于列出指定schema下的所有表。如果没有指定schema,则默认使用当前所在的schema。
作业”,随后在右侧界面的右上角点击”创建作业”。 首先配置队列,Spark版本选择 3.3.1 及之后的版本。 可以选择配置作业名称,便于识别和筛选。 配置”应用程序”,路径指向上一步上传至OBS的Spark jar包。 配置委托。选择提交DLI作业所需的委托。自定义委托请参考创建DLI自定义委托
) 或 USE CATALOG ...在 SQL 客户端中。 Hive 和 Flink SQL 具有不同的语法,例如不同的保留关键字和文字。确保视图的查询与 Flink 语法兼容。 示例 使用Spark SQL创建Hive语法OBS表,并插入10条数据。模拟数据源。 CREATE
示例4:创建OBS非分区表,并自定义列字段数据类型 示例说明:创建名为table2的OBS非分区表,您可以根据业务需求自定义列字段的原生数据类型: 与文字字符有关可以使用STRING、CHAR或者VARCHAR。 与时间有关的可以使用TIMESTAMP、DATE。 与整数有关的可以使用INT
qualifier)。 用户只需在表结构中声明查询中使用的的列簇和列限定符。除了ROW类型的列,剩下的原子数据类型字段(比如,STRING, BIGINT)将被识别为HBase的rowkey,一张表中只能声明一个rowkey。rowkey字段的名字可以是任意的,如果是保留关键字,需要用反引号进行转义。
qualifier)。 用户只需在表结构中声明查询中使用的的列簇和列限定符。除了ROW类型的列,剩下的原子数据类型字段(比如,STRING, BIGINT)将被识别为HBase的rowkey,一张表中只能声明一个rowkey。rowkey字段的名字可以是任意的,如果是保留关键字,需要用反引号进行转义。