检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
t 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 job_id 是 String 作业ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 data_path
IN db_name Database名称,仅当需要显示指定Database的所有Table时配置。 注意事项 IN db_Name为可选配置。 示例 SHOW TABLES IN hudidb; 权限需求 由DLI提供的元数据服务 SQL权限: database table L
PARTITIONS [catalog_name.][db_name.]table_name [PARTITION (partitionSpecs)]; 描述 这个表达式用于列出指定的的所有分区。 示例 SHOW PARTITIONS test PARTITION(hr = '12'
的解析异常,则会将该字段值设置为null。 debezium-json.timestamp-format.standard 否 'SQL' String 声明输入和输出的时间戳格式。当前支持的格式为'SQL'和'ISO-8601'。 可选参数 'SQL' 将会以 "yyyy-MM-dd
SQL函数和操作符 逻辑运算符 比较函数和运算符 条件表达式 Lambda 表达式 转换函数 数学函数和运算符 Bitwise函数 十进制函数和操作符 字符串函数和运算符 正则表达式函数 二进制函数和运算符 Json函数和运算符 日期、时间函数及运算符 聚合函数 窗口函数 数组函数和运算符
在安全组规则中的端口。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1
解析异常,则会将该字段值设置为null。 debezium-json.timestamp-format.standard 否 'SQL' String 声明输入和输出的时间戳格式。当前支持的格式为'SQL' 以及 'ISO-8601': 可选参数 'SQL' 将会以 "yyyy-MM-dd
directfetchthreshold 否 1000 请您根据业务情况判断返回结果数是否超过设置的阈值。 默认阈值1000。 dli-jdbc-1.x 创建Statement对象,设置相关参数并提交Spark SQL到DLI服务。 Statement statement = conn.createStatement();
ug时用到。 FORMATTED:使用表格形式显示所有表的元数据。 参数说明 表1 参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 table_name Database中的表名,由字母、数字和下划线
an、binary类型支持设置默认值。 Hudi表必须指定primaryKey与preCombineField。 在指定路径下创建表时,如果路径下已存在Hudi表,则建表时不需要指定列,且不能修改表的原有属性。 权限需求 由DLI提供的元数据服务 SQL权限: database table
参考Kafka和Print创建flink opensource sql作业,输入以下作业运行脚本,提交运行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。
维表配置,数据拉取最大重试次数,默认为3。 pwd_auth_name 否 DLI侧创建的Password类型的跨源认证名称。 数据类型映射 表2 数据类型映射 MySQL类型 PostgreSQL类型 Flink SQL类型 TINYINT - TINYINT SMALLINT TINYINT UNSIGNED
SQL作业相关 数据库相关 表相关 作业相关 父主题: Java SDK
怎样查看DLI SQL日志? 场景概述 日常运维时需要查看DLI SQL日志。 操作步骤 在DataArts Studio控制台获取DataArts Studio执行DLI作业的job id。 图1 查看日志 图2 查找job id 在DLI控制台,选择“作业管理”>“SQL作业”。 在SQL作业管理页面,输入对应的job
使用DLI提交SQL作业 创建并提交SQL作业 导出SQL作业结果 配置SQL防御规则 设置SQL作业优先级 查询SQL作业日志 管理SQL作业 创建并管理SQL作业模板
on partitioned table `777dd`.`test_delta_parts1` 解决方案:在console页面设置中添加参数spark.sql.forcePartitionPredicatesOnPartitionedTable.enabled值为false。 show
该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 若使用MRS HBase,请
UPDATE参数 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 column
L进行转换将产生一个SQLNULL,而不是JSON 'null'。不过,在从包含NULL的数组或Map进行转换时,生成的JSON将包含NULL。 在从ROW转换为JSON时,结果是一个JSON数组,而不是一个JSON对象。这是因为对于SQL中的行,位置比名称更重要。 支持从BOO
col_type:新增列类型,必须指定。 nullable:新增列是否可以为空,可以缺省。 comment:新增列comment,可以缺省。 所需权限 SQL权限 表2 ALTER TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFo