检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例如,如果使用Hive数据源,这将取决于数据在OBS上的布局。这种采样方法不能保证独立的抽样概率。 SELECT * FROM users TABLESAMPLE SYSTEM (75); 父主题: DQL 语法
into testhbase values('95274','abc','Hongkong')"); 查询数据 1 sparkSession.sql("select * from testhbase").show(); 提交Spark作业 将写好的代码文件生成jar包,上传至OBS
run_clustering(table => 'hudi_table1', predicate => '(ts >= 1006L and ts < 1008L) or ts >= 1009L', order => 'ts'); call run_clustering(path => 'obs
策略内容:依次选择“允许”,“数据湖探索”,“dli:jobs:list_all”。 单击“确认”,创建策略。 图3 创建策略 在“用户组”页面,找到需要授权的用户所属的用户组,单击用户组名称,进入用户组“权限管理”页面,单击“配置权限”。
`obs://bucket0/db0/table0`;
前提条件 无 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
certificate 否 无 String Elasticsearch集群的证书在obs中的位置。 例如:obs://bucket/path/CloudSearchService.cer 仅在开启安全模式,且开启https,且未使用其他跨源认证的场景下下需要配置该参数。
certificate 否 无 String Elasticsearch集群的证书在OBS中的位置。 仅在开启安全模式,且开启https下需要配置该参数。 请先在CSS管理控制台下载证书后将证书上传至OBS,该参数配置的是OBS地址。
登录MRS集群的Manager,下载用户凭据“系统设置 > 用户管理”,单击用户名后的“更多 > 下载认证凭据”,并上传到OBS中。
(table => 'h1', mode=>'dry_run'); call clean_file(table => 'h1', mode=>'query'); call clean_file(table => 'h1', mode=>'undo', backup_path=>'obs
默认false,false表示统计指定目录的信息,true表示统计指定目录的子目录的信息 否 sort 默认true,true表示根据storage_size排序结果,false表示根据文件数量排序结果 否 示例 call show_fs_path_detail(path=>'obs
LastAccessTime: 0 Location: obs
注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。
示例: Flink 实时消费用户订单数据的 Kafka 源表,通过Redis维表将商品ID关联维表获取商品分类,并计算不同类别的商品销售金额,将计算结果写入 RDS(Relational Database Service,如 MySQL) 结果表中。
使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
示例 create table if not exists parquet_table0 (id int,name string,price double) using parquet location 'obs://bucket_name0/db0/parquet_table0'
结果在作业桶上的路径可以通过ShowSqlJobStatus接口返回值中的result_path来获取。结果的全量数据会自动导出到作业桶。
请确保已授权OBS桶的操作权限给DLI服务,用于保存用户作业的SQL执行计划。 SQL执行计划保存在DLI作业桶中付费存储,系统不会主动删除,建议您配置桶生命周期,通过配置指定规则来实现定时删除或迁移桶中不再使用的SQL执行计划。了解配置DLI作业桶。
创建DLI自定义委托权限 常见新建委托场景:允许DLI读写OBS将日志转储、允许DLI在访问DEW获取数据访问凭证、允许访问Catalog获取元数据等场景。
表1 支持类别 类别 详情 支持表类型 结果表 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。