检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS表、DLI表、CloudTable表 不同表类型表示不同的数据存储位置。 OBS表表示数据存储在OBS服务的桶中。 DLI表表示数据存储在本服务内部的表中。 CloudTable表表示数据储存在CloudTable服务的表中。
25 15:10:00,0003,Cindy,330108 202103241606060001,appShop,2021-03-24 16:06:06,200.00,180.00,2021-03-24 16:10:06,0001,Alice,330106 读取sink表中配置的obs
提升OBS committer小文件写性能 提升对象存储服务（OBS）在处理小文件写入时的性能，提高数据传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性，当shuffle文件不需要时清理Executor。
勾选“保存作业日志”，选择一个OBS桶。如果该桶未授权，需要单击“立即授权”进行授权。配置该参数，可以在作业异常失败后，将作业日志保存到用户的OBS桶下，方便用户定位故障原因。 图3 保存作业日志 勾选“作业异常告警”，选择1中创建的“SMN主题”。
本示例将演示DLI直接对存储在OBS中的TPC-H数据集进行查询的操作，DLI已经预先生成了100M的TPC-H-2.18的标准数据集，已将数据集上传到了OBS的tpch文件夹中，并且赋予了只读访问权限，方便用户进行查询操作。
提升OBS committer小文件写性能 提升对象存储服务（OBS）在处理小文件写入时的性能，提高数据传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性，当shuffle文件不需要时清理Executor。
用户可以直接使用SQL从这些服务中读写数据，如DIS、OBS、CloudTable、MRS、RDS、SMN、DCS等。
DLI:*:*:jobs:jobs.flink.1 DLI服务，任意region，任意账号ID下，作业Id为1的flink作业。
示例URL：POST https://{endpoint}/v1.0/48cc2c48765f481480c7db940d6409d1/jobs/submit-job {endpoint}信息请从地区和终端节点获取。
=> 'hudi_table1', op => 'run'); call run_compaction(table => 'hudi_table1', op => 'run', timestamp => 'xxx'); call run_compaction(path => 'obs
在OBS管理控制台页面通过配置桶的生命周期规则，可以实现定时删除OBS桶中的对象或者定时转换对象的存储类别。 具体操作请参考通过配置生命周期规则。 SQL编辑器页面可以批量执行SQL语句。 作业编辑窗口常用语法采用不同颜色突出显示。 支持单行注释和多行注释。
图2 导出作业 选择保存作业的OBS桶。单击“下一步”。 选择待导出的作业。 默认导出所有作业，也可以勾选“自定义导出”选择需要导出的作业。 单击“确认导出”，完成导出作业。 导入作业 用户可以将保存在OBS桶中的Flink作业配置文件导入至DLI的Flink作业管理中。
注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。
创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。
如果ADD PARTITION时未指定分区保存路径，分区目录将从OBS上删除，数据会移到.Trash/Current文件夹。
location_path OBS路径，指定该路径Hudi 表会创建为外表。 options_list Hudi table属性列表。 表2 CREATE TABLE Options描述 参数 描述 primaryKey 主键名，多个字段用逗号分隔，该字段为必填字段。
`obs://bucket_name0/db0/delta_table0` add columns(new_col string); 系统响应 通过运行DESCRIBE命令，可显示新添加的列。 父主题： Schema演进语法说明
parallelism == 1 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。
单击“控制台”页面上方“费用与成本”，在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“自动续费项”页签查询已经开通自动续费的资源。 可对“手动续费项”、“到期转按需项”、“到期不续费项”页签的资源开通自动续费。
DLI的作业日志 在创建DLI作业时，可以在作业编辑页面，通过保存作业日志功能，将作业运行时的日志信息保存到OBS。 查询作业日志信息，参考查看DLI SQL日志。 作业日志为日常的服务运维提供了重要保障，包括跟踪资源使用情况、检测作业运行安全性、追踪资源消耗、检测错误等。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
