检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hudi options(primaryKey = 'id', preCombineField = 'comb') LOCATION 'obs://bucket/path/h0'; create table s0(id int, comb int, name string, price
tables.表名”,指定的表的数据将被共享。 “databases.数据库名.tables.表名.columns.列名”,指定的列将被共享。 “jobs.flink.flink作业ID”,指定的作业将被共享。 “groups.程序包组名”,指定的程序包组将被共享。 “resources.程序包名”,指定程序包将被共享。
正则表达式函数 概述 所有的正则表达式函数都使用Java样式的语法。但以下情况除外: 使用多行模式(通过(?m)标志启用)时,只有\ n被识别为行终止符。 此外,不支持(?d)标志,因此不能使用。 大小写区分模式(通过(?i)标志启用)时,总是以unicode的模式去实现。同时,
location:obs://bucket/user/hive/warehouse/show_schema.db/show_table1 InputFormat:org
totalprice double, orderdate date ) WITH (format = 'ORC', location='obs://bucket/user',orc_compress='ZLIB',external=true, "auto.purge"=false);
"last_access_time": 1579520179000, "locations": [ "obs://test/partition" ] }, {
DWS结果表 功能描述 DLI将Flink作业的输出数据输出到数据仓库服务(DWS)中。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。
查询结果。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/jobs/{job_id}/preview 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String
15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。 Hive 方言支持的 DDL 语句,Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的DLI Lakehouse表。 使用Hive语法创建OBS表 defalut方言:
数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 regex_expression 数据库下的表名称。 注意事项 无。 示例 参考创建OBS表或者创建DLI表中的示例描述创建对应的表。 查看当前所在数据库中的所有表与视图。 1 SHOW TABLES; 查看testdb数据库下所有以test开头的表。
创建包年/包月资源:BSS Administrator 创建标签:TMS FullAccess、EPS EPS FullAccess 使用OBS存储:OBS OperateAccess 创建委托:Security Administrator DLI ReadOnlyAccess 数据湖探索只读权限。
结果表中的功能。 dli-spark-demo:开发Spark作业时的样例代码参考。具体如下: “dli-spark-demo-obs”读取和写入OBS数据。 “dli-spark-demo-redis”读取和写入Redis数据。 dli-pyspark-demo:使用Pytho
re.jks文件需要先放到OBS桶中,然后填入ak和sk以及jks文件的具体位置。最后在“es.net.ssl.keystore.pass”填入进入文件的密钥。 .option("es.net.ssl.truststore.location", "obs://桶名/path/truststore
parquet options(path=’obs://bucket/path/parquet_dataset/*.parquet’); # CTAS创建hudi表 create table hudi_tbl using hudi location 'obs://bucket/path/hudi_tbl/'
调用说明 数据湖探索提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见构造请求。 DLI API中除特殊说明外,通常为同步操作,即响应消息中的“is_success”为请求是否执行成功。 若AP
参数名称 是否必选 参数类型 说明 jobs 是 Array of Objects 作业信息列表。具体请参考表3。 msg_confirm_topic 否 String 消息确认topic。 message_id 是 String 消息id。 表3 jobs参数说明 参数名称 是否必选 参数类型
" partitioned by(start_year, class)\n" + " location 'obs://bucket_name/path/deltaTest1012'"; spark.sql(sql_create); String
库,随后点击右上角的执行按钮,提交作业。 注意:由DLI提供元数据服务时,暂不支持创建Hudi内表,即必须配置 LOCATION 指向 OBS 路径。 CREATE TABLE hudi_table (id int, comb long, name string, dt date)
创建Flink自定义作业。 接口相关信息 URI格式:POST /v1.0/{project_id}/streaming/flink-jobs {project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见创建数据库(废弃)。 请求示例 描述:在项目ID为48cc2
Flink1.7版本停止服务(EOS)公告 公告说明 华为云于2022年12月31 00:00(北京时间)将DLI Flink 1.7版本停止服务(EOS)。 影响 DLI Flink 1.7版本停止服务(EOS)后,不再提供该软件版本相关的任何技术服务支持。建议您在执行作业时选