检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需和“username”参数同时配置。 certificate 否 无 String Elasticsearch集群的证书在obs中的位置。 例如:obs://bucket/path/CloudSearchService.cer 仅在开启安全模式,且开启https,且未使用其他跨源认证的场景下下需要配置该参数。
否 无 String Elasticsearch集群的证书在OBS中的位置。 仅在开启安全模式,且开启https下需要配置该参数。 请先在CSS管理控制台下载证书后将证书上传至OBS,该参数配置的是OBS地址。 例如:obs://bucket/path/CloudSearchService
Location: obs://bucket/user/hive/warehouse/fruit Table Type:
mode=>'query'); call clean_file(table => 'h1', mode=>'undo', backup_path=>'obs://bucket/hudi/h1/.hoodie/.cleanbackup/hoodie_repair_backup_20230527');
默认true,true表示根据storage_size排序结果,false表示根据文件数量排序结果 否 示例 call show_fs_path_detail(path=>'obs://bucket/path/hudi_mor/dt=2021-08-28', is_sub=>false, sort=>true); 返回结果
在估算存储费用时,请特别注意,DLI采用压缩存储,通常能压缩到原文件大小的 1/5 。DLI存储按照压缩后的大小计费。 如果数据存储在OBS服务中,则DLI服务不收取存储费用,对应的费用由OBS服务收取。 扫描量计费 按照用户每个作业的数据扫描量(单位为“GB”)收取计算费用。 当前仅适用于在默认def
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭
步操作。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1.0/{project_id}/jobs/submit-job 参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,
所属队列:选择步骤二:添加队列到弹性资源池中弹性资源池添加的队列“general_test”。 保存作业日志:勾选。 OBS桶:选择保存作业日志的OBS桶,根据提示进行OBS桶权限授权。 开启Checkpoint:勾选。 Flink作业编辑框中输入具体的作业SQL,本示例作业参考如下。具体加粗的参数需要根据实际情况修改。
json_string STRING 需要解析的JSON对象,使用字符串表示。 json_path STRING 解析JSON的路径表达式,使用字符串表示。 目前path支持如下表达式参考下表表3。 表3 json_path参数支持的表达式 表达式 说明 $ 根对象 [] 数组下标 * 数组通配符 .
果到本地。 查看结果:查看作业运行结果。 导出结果:将作业运行结果导出至用户创建的OBS桶中。 EXPORT作业除上述操作外,还包括: 立即下载 归档日志:将作业日志保存到系统创建的DLI临时OBS数据桶中。 说明: default队列下运行的作业或者该作业为同步作业时不支持归档日志操作。
json_string STRING 需要解析的JSON对象,使用字符串表示。 json_path STRING 解析JSON的路径表达式,使用字符串表示。 目前path支持如下表达式参考下表表3。 表3 json_path参数支持的表达式 表达式 说明 $ 根对象 [] 数组下标 * 数组通配符 .
Checkpoint和Savepoint生成机制及格式一致,因而,也可以通过Flink作业列表“操作”列中的“更多”>“导入保存点”,导入OBS中最新成功的Checkpoint,并从中恢复。 图3 停止作业 图4 恢复保存点 父主题: Flink作业性能调优类
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式 create table jbdcSource ( attr_name attr_type
'properties.connector.kerberos.krb5' = 'obs://xx/krb5.conf', --krb5_conf路径 'properties.connector.kerberos.keytab' = 'obs://xx/user.keytab' --keytab路径
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 create table
详细请参见导出查询结果。 URI URI格式: GET/v1.0/{project_id}/queues/{queue_name}/jobs/{job_id}?page-size=size¤t-page=page_number 参数说明 表1 URI 参数 名称 是否必选
scope。 单击“OK”完成应用配置。 使用方式 将写好的自定义函数打成JAR包,并上传到OBS上。 在DLI管理控制台的左侧导航栏中,单击数据管理>“程序包管理”,然后点击创建,并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flin
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭