检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
tablelocation Hudi表的存储路径 示例 run archivelog on h1; run archivelog on "obs://bucket/path/h1"; 注意事项 首先需要执行clean命令，在clean命令清理了历史的数据文件后，Timeline上与
parquet options(path=’obs://bucket/path/parquet_dataset/*.parquet’); # CTAS创建hudi表 create table hudi_tbl using hudi location 'obs://bucket/path/hudi_tbl/'
再开发不同的作业访问数据源以实现DLI跨源分析。 本节操作介绍DLI支持的数据源对应的开发方式。 使用须知 Flink作业访问DIS，OBS和SMN数据源，无需创建跨源连接，可以直接访问。 推荐使用增强型跨源连接打通DLI与数据源之间的网络。 跨源分析开发方式 表1提供DLI支持的数据源对应的开发方式。
<scope>provided</scope> </dependency> 使用方式 将写好的自定义函数打成JAR包，并上传到OBS上。 在DLI管理控制台的左侧导航栏中，单击数据管理>“程序包管理”，然后单击创建，并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中，单击作业管理>“Flin
参数名称 是否必选 参数类型 说明 jobs 是 Array of Objects 作业信息列表。具体请参考表3。 msg_confirm_topic 否 String 消息确认topic。 message_id 是 String 消息id。 表3 jobs参数说明 参数名称 是否必选 参数类型
" partitioned by(start_year, class)\n" + " location 'obs://bucket_name/path/deltaTest1012'"; spark.sql(sql_create); String
BUCKETS] ] [ROW FORMAT row_format] [STORED AS file_format] [LOCATION 'obs_path'] [TBLPROPERTIES (orc_table_property = value [, ...] ) ] ③ CREATE
库，随后点击右上角的执行按钮，提交作业。 注意：由DLI提供元数据服务时，暂不支持创建Hudi内表，即必须配置 LOCATION 指向 OBS 路径。 CREATE TABLE hudi_table (id int, comb long, name string, dt date)
创建Flink自定义作业。 接口相关信息 URI格式：POST /v1.0/{project_id}/streaming/flink-jobs {project_id}信息请从获取项目ID获取。 请求参数说明详情，请参见创建数据库（废弃）。 请求示例 描述：在项目ID为48cc2
property_name = expression [, ...] ) ]② [[STORED AS file_format]① [LOCATION 'obs_path']① [TBLPROPERTIES (orc_table_property = value [, ...] ) ] ]① AS
该场景作业需要运行在DLI的独享队列上，因此要与HBase建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 若使用MRS HBase，请在增强型
=> 'obs://bucket/path/hudi_mor/dt=2021-08-28/.*?log.*?'); call show_logfile_records(table => 'hudi_mor', log_file_path_pattern => 'obs://bu
说明 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。 支持统计SQL作业的CPU消耗 支持在控制台查看“CPU累计使用量”。
Livy工具，通过Livy工具提供的交互式会话能力调测Spark作业。 推荐使用使用Livy提交Spark Jar作业。 DLI 表(OBS表 / DLI 表 )数据支持删除某行数据吗？ DLI 表(OBS表 / DLI 表 )数据暂不支持删除某行数据。 父主题： SQL作业开发类
时同步元数据至由DLI提供的元数据服务。（具体参数详见Flink参数一节） 请将作业中sink表的path参数修改为希望保存hudi表的obs路径。 -- 临时表作为source，通过datagen mock数据 create table orderSource ( order_id
job_ids.add(jobId); job_ids.add(jobId2); GetFlinkJobsMetricsBody body = new GetFlinkJobsMetricsBody(); body.jobIds(job_ids); QueryF
因此在DLI上要与OpenTSDB建立增强型跨源连接，且用户可以根据实际所需设置相应的安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 create table tsdbSink
BasicCredentials。 仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后，请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Flink1.15版本使用委托授权访问临时凭证： 在创建作业时，请配置作业使用Flink1
需要为yyyy-MM-dd HH:mm:ss 注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。 该命令不会删除当前版本数据。 示例 删除dliTable表在2021-09-25 23:59:59之前生
--指定分区， 支持多级分区 location 'obs://bucket/path/data_partition' --指定路径，使用DLI提供的元数据服务时只支持创建OBS表 options( type='mor',
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
