检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
勾选“保存作业日志”,选择一个OBS桶。如果该桶未授权,需要单击“立即授权”进行授权。配置该参数,可以在作业异常失败后,将作业日志保存到用户的OBS桶下,方便用户定位故障原因。 图3 保存作业日志 勾选“作业异常告警”,选择1中创建的“SMN主题”。
示例URL:POST https://{endpoint}/v1.0/48cc2c48765f481480c7db940d6409d1/jobs/submit-job {endpoint}信息请从地区和终端节点获取。
注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
本示例将演示DLI直接对存储在OBS中的TPC-H数据集进行查询的操作,DLI已经预先生成了100M的TPC-H-2.18的标准数据集,已将数据集上传到了OBS的tpch文件夹中,并且赋予了只读访问权限,方便用户进行查询操作。
=> 'hudi_table1', op => 'run'); call run_compaction(table => 'hudi_table1', op => 'run', timestamp => 'xxx'); call run_compaction(path => 'obs
图2 导出作业 选择保存作业的OBS桶。单击“下一步”。 选择待导出的作业。 默认导出所有作业,也可以勾选“自定义导出”选择需要导出的作业。 单击“确认导出”,完成导出作业。 导入作业 用户可以将保存在OBS桶中的Flink作业配置文件导入至DLI的Flink作业管理中。
location_path OBS路径,指定该路径Hudi 表会创建为外表。 options_list Hudi table属性列表。 表2 CREATE TABLE Options描述 参数 描述 primaryKey 主键名,多个字段用逗号分隔,该字段为必填字段。
创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
`obs://bucket_name0/db0/delta_table0` add columns(new_col string); 系统响应 通过运行DESCRIBE命令,可显示新添加的列。 父主题: Schema演进语法说明
例如,如果使用Hive数据源,这将取决于数据在OBS上的布局。这种采样方法不能保证独立的抽样概率。 SELECT * FROM users TABLESAMPLE SYSTEM (75); 父主题: DQL 语法
parallelism == 1 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
添加Flink作业标签 标签是用户自定义的、用于标识云资源的键值对,它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 DLI支持对Flink作业添加标签。如果想对Flink作业添加如项目名称、业务类别、背景信息等相关信息的标识,用户可以通过添加标签来实现。如果用户在其他云服务中使用了标签
`obs://bucket0/db0/table0`;
注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
run_clustering(table => 'hudi_table1', predicate => '(ts >= 1006L and ts < 1008L) or ts >= 1009L', order => 'ts'); call run_clustering(path => 'obs
策略内容:依次选择“允许”,“数据湖探索”,“dli:jobs:list_all”。 单击“确认”,创建策略。 图3 创建策略 在“用户组”页面,找到需要授权的用户所属的用户组,单击用户组名称,进入用户组“权限管理”页面,单击“配置权限”。
增强型跨源连接标签管理 操作场景 标签是用户自定义的、用于标识云资源的键值对,它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 如果用户在其他云服务中使用了标签,建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 如您的组织已经设定DLI的相关标签策略
弹性资源池标签管理 标签管理 标签是用户自定义的、用于标识云资源的键值对,它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 如果用户在其他云服务中使用了标签,建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 DLI支持以下两类标签: 资源标签
如果对象表是分区表时,insert overwrite会删除对应分区的数据而非所有数据。 insert into后面的table关键字为可选,以兼容hive语法。
队列标签管理 标签管理 标签是用户自定义的、用于标识云资源的键值对,它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 如果用户在其他云服务中使用了标签,建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 DLI支持以下两类标签: 资源标签: