检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤2：在LakeFormation管理控制台创建Catalog 数据目录（Catalog）是元数据管理对象，它可以包含多个数据库。您可以在LakeFormation中创建并管理多个Catalog，用于不同外部集群的元数据隔离。 登录LakeFormation管理控制台。
注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。
使用由DLI提供的元数据服务时，本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功，查看任务结果，查看任务日志确认有无异常。 父主题： Hudi DML语法说明
OBS桶：选择保存作业日志的OBS桶，根据提示进行OBS桶权限授权。 开启Checkpoint：勾选。 Flink作业编辑框中输入具体的作业SQL，本示例作业参考如下。SQL中加粗的参数需要根据实际情况修改。
OBS桶：选择保存作业日志的OBS桶，根据提示进行OBS桶权限授权。 开启Checkpoint：勾选。 Flink作业编辑框中输入具体的作业SQL，本示例作业参考如下。SQL中加粗的参数需要根据实际情况修改。
", sk) sparkSession.conf.set("fs.obs.endpoint", enpoint) sparkSession.conf.set("fs.obs.connecton.ssl.enabled", "false") 通过SQL API访问 创建DLI跨源访问
在准备工作中生成的keystore.jks文件需要先放到OBS桶中，然后填入ak和sk以及jks文件的具体位置。最后在“es.net.ssl.keystore.pass”填入进入文件的密钥。
location_path OBS路径，指定该路径Hudi表会创建为外表。 options_list Hudi table属性列表。
使用须知 Flink作业访问DIS，OBS和SMN数据源，无需创建跨源连接，可以直接访问。 推荐使用增强型跨源连接打通DLI与数据源之间的网络。 跨源分析开发方式 表1提供DLI支持的数据源对应的开发方式。
" class string\n" + ") USING DELTA\n" + " partitioned by(start_year, class)\n" + " location 'obs
在DLI管理控制台的左侧导航栏中，单击数据管理>“程序包管理”，然后单击创建，并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中，单击作业管理>“Flink作业”，在需要编辑作业对应的“操作”列中，单击“编辑”，进入作业编辑页面。
请求消息 请求样例 表2 请求参数说明 参数名称 是否必选 参数类型 说明 jobs 是 Array of Objects 作业信息列表。具体请参考表3。 msg_confirm_topic 否 String 消息确认topic。
接口相关信息 URI格式：POST /v1.0/{project_id}/streaming/jobs/run {project_id}信息请从获取项目ID获取。 请求参数说明详情，请参见批量运行作业。
"auto.purge"='false'时，仅清除元数据，数据文件会移入OBS回收站。默认值为“false”，且不建议用户修改此属性，避免数据删除后无法恢复。
注意：由DLI提供元数据服务时，暂不支持创建Hudi内表，即必须配置 LOCATION 指向 OBS 路径。
column [, column ...]])] ]① [COMMENT 'table_comment'] [ WITH ( property_name = expression [, ...] ) ]② [[STORED AS file_format]① [LOCATION 'obs_path
OBS桶：选择保存作业日志的OBS桶，根据提示进行OBS桶权限授权。 开启Checkpoint：勾选。 Flink作业编辑框中输入具体的作业SQL，本示例作业参考如下。SQL中加粗的参数需要根据实际情况修改。
call show_logfile_records(table => 'hudi_mor', log_file_path_pattern => 'obs://bucket/path/hudi_mor/dt=2021-08-28/.*?log.*?'
主要参数的填写说明： 包类型：JAR OBS路径：Flink Jar所在的OBS路径。 分组名称：自定义分组或选择已有的分组名称。
DLI 表(OBS表 / DLI 表 )数据支持删除某行数据吗？ DLI 表(OBS表 / DLI 表 )数据暂不支持删除某行数据。 父主题： SQL作业开发类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
