检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JSON对象和JSON数组无法转换为VARCHAR: SELECT CAST(JSON '{"a": 1, "b": 2}' AS VARCHAR); -- ERROR!
是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。
bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 using 参数delta,定义和创建Delta table table_comment 表的描述信息。
bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 select query 查询语句。
OBS桶 选择OBS桶用于保存用户作业日志信息、checkpoint等信息。如果选择的OBS桶是未授权状态,需要单击“OBS授权”。 保存作业日志 设置是否将作业运行时的日志信息保存到OBS。日志信息的保存路径为:“桶名/jobs/logs/作业id开头的目录”。
bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 column 待更新的目标列。 EXPRESSION 需在目标表中更新的源表列值的表达式。 boolExpression 过滤条件表达式。
示例 从Kafka中读取编码格式为csv,对象为kafkaSource的表。
是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。
是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。
`obs://bucket_name/tbl_path`; 显示表详细信息: DESCRIBE DETAIL [database_name.]table_name|DELTA.
bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 boolExpression 删除项的过滤条件 所需权限 SQL权限 表2 DELETE所需权限列表 权限描述 表的DELETE权限 细粒度权限:dli:table:delete。
Hive 方言支持的 DDL 语句,Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的DLI Lakehouse表。 使用Hive语法创建OBS表 defalut方言: with 属性中需要设置hive.is-external为true。
单击“授权”,授权对象选择“用户授权”,用户名选择需要授权的用户名,勾选对应需要操作的权限。如“查询表”、“插入”等根据需要勾选。 单击“确定”完成权限授权。 授权完成后,再使用已授权的用户登录DLI控制台,查看是否能正常查询到对应表。 父主题: DLI数据库和表类
obs_path Obs路径,表示Delta表的存储位置。
数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
obs_path Obs路径,表示Delta表的存储位置。
生命周期设置后,DLI表和OBS表支持数据备份,OBS表的备份目录需要手工设置。且备份目录应选择在并行文件系统上,备份目录必须和原表目录在同一个桶上,备份目录不能与原表相同目录或者子目录同名。
更新Flink opensource sql作业 jobs updateStreamSqlJob 批量删除Flink作业 jobs deleteStreamJobs 停止Flink作业 jobs stopStreamJobs 提交Flink作业 jobs submitStreamJobs
语法格式 SQL 方言可以通过 table.sql-dialect 属性指定 1 set table.sql-dialect=hive; 注意事项 Hive方言只能用于操作Hive对象,并要求当前Catalog是一个HiveCatalog 。
DLI.0002: FileNotFoundException: getFileStatus on obs://xxx: status [404] 解决方案 请排查在同一时间点是否还有另外作业对当前报错作业操作的表信息有删除操作。