检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
字符类型 名称 描述 VARCHAR(n) 变长字符串,n指字节长度。 CHAR(n) 定长字符串,不足补空格。n是指字节长度,如不带精度n,默认为1。 VARBINARY 变长二进制数据。需要带上前缀X,如:X'65683F',暂不支持指定长度的二进制字符串。 JSON 取值可以是a
UPDATE参数 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 column
ndian'。 更多细节可查阅 字节序。 数据类型映射 下表详细说明了这种格式支持的 SQL 类型,包括用于编码和解码的序列化类和反序列化类的详细信息。 表2 数据类型映射 Flink SQL 类型 值 CHAR / VARCHAR / STRING UTF-8(默认)编码的文本字符串。编码字符集可以通过
L进行转换将产生一个SQLNULL,而不是JSON 'null'。不过,在从包含NULL的数组或Map进行转换时,生成的JSON将包含NULL。 在从ROW转换为JSON时,结果是一个JSON数组,而不是一个JSON对象。这是因为对于SQL中的行,位置比名称更重要。 支持从BOO
创建并提交SQL作业 场景描述 本章节指导用户通过API提交SQL作业创建数据库和表,并查询数据。 涉及接口 创建弹性资源池 创建队列 提交SQL作业(推荐) 操作步骤 创建弹性资源池elastic_pool_dli 接口相关信息 URI格式:POST /v3/{project_
怎样查看DLI的执行SQL记录? 场景概述 执行SQL作业过程中需要查看对应的记录。 操作步骤 登录DLI管理控制台。 在左侧导航栏单击“作业管理”>“SQL作业”进入SQL作业管理页面。 输入作业ID或者执行的语句可以筛选所要查看的作业。 父主题: SQL作业开发类
SQL函数和操作符 逻辑运算符 比较函数和运算符 条件表达式 Lambda 表达式 转换函数 数学函数和运算符 Bitwise函数 十进制函数和操作符 字符串函数和运算符 正则表达式函数 二进制函数和运算符 Json函数和运算符 日期、时间函数及运算符 聚合函数 窗口函数 数组函数和运算符
ug时用到。 FORMATTED:使用表格形式显示所有表的元数据。 参数说明 表1 参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 table_name Database中的表名,由字母、数字和下划线
根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka和ecs的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka或ecs的地址 >
该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS HBase,
解析异常,则会将该字段值设置为null。 debezium-json.timestamp-format.standard 否 'SQL' String 声明输入和输出的时间戳格式。当前支持的格式为'SQL' 以及 'ISO-8601': 可选参数 'SQL' 将会以 "yyyy-MM-dd
an、binary类型支持设置默认值。 Hudi表必须指定primaryKey与preCombineField。 在指定路径下创建表时,如果路径下已存在Hudi表,则建表时不需要指定列,且不能修改表的原有属性。 权限需求 由DLI提供的元数据服务 SQL权限: database table
该字段值设置为null。 json.timestamp-format.standard 否 'SQL' String 声明输入和输出的 TIMESTAMP 和 TIMESTAMP_LTZ 的格式。当前支持的格式为'SQL' 以及 'ISO-8601': 可选参数 'SQL' 将会以
OBS路径:程序包所在的OBS路径。 分组设置和组名称根据情况选择设置,方便后续识别和管理程序包。 单击“确定”,完成创建程序包。 创建UDF函数。 登录DLI管理控制台,单击“SQL编辑器”,执行引擎选择“spark”,选择已创建的SQL队列和数据库。 图11 选择队列和数据库 在SQL编辑区域输入下列
参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 job_id 是 String 作业ID。可通过提交SQL作业(推荐)获取。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选
compaction命令时,禁止将hoodie.run.compact.only.inline设置成false,该值需要设置成true。 错误示例: 配置参数 hoodie.run.compact.only.inline=false 随后执行SQL run compaction on dsrTable; 如果还
SQL作业类 SQL作业开发类 SQL作业运维类
OBS路径:程序包所在的OBS路径。 分组设置和组名称根据情况选择设置,方便后续识别和管理程序包。 单击“确定”,完成创建程序包。 图11 创建程序包 创建DLI的UDTF函数。 登录DLI管理控制台,单击“SQL编辑器”,执行引擎选择“spark”,选择已创建的SQL队列和数据库。 图12 选择队列和数据库
参考Kafka和Print创建flink opensource sql作业,输入以下作业运行脚本,提交运行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。
newTableName 参数描述 表1 RENAME参数描述 参数 描述 tableName 表名。 newTableName 新表名。 所需权限 SQL权限 表2 ALTER TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFo