检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
时,在connector中设置账号、密码等属性。 Flink Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。 用户获取Flink作业委托临时凭证 DLI提供了一个通用接口,可用于获取用户在启动F
String keytab配置文件obs路径。 truststore_location String truststore配置文件obs路径。 keystore_location String keystore配置文件obs路径。 owner String 所属用户名。 请求示例 无 响应示例
实现高可靠性能的操作方法。 操作步骤 用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。 图1 创建主题 图2 添加订阅 登录DLI控制台,创建Flink作业,编写作业
删除分区:删除分区表中的分区。 显示所有分区:显示分区表中的所有分区。 只适用于“用户授权”的权限包括: 显示表:显示当前表。 OBS表具体权限说明请参考表2。 图4 OBS表用户授权 图5 OBS表项目授权 表2 参数配置 参数 描述 授权对象 选择“用户授权”或“项目授权”。 用户名/项目 选择“用
表创建时间。是单位为“毫秒”的时间戳。 data_type 否 String 所列OBS表数据的类型,目前支持:parquet、ORC、CSV、JSON格式。只有OBS表有该参数,DLI表没有该参数。 data_location 是 String 数据存储的地方,分OBS表、DLI表,View。 last_access_time
= 'obs://xx/krb5.conf', 'properties.connector.kerberos.keytab' = 'obs://xx/user.keytab', 'properties.ssl.truststore.location' = 'obs://xx/truststore
单击“用户组”,输入查询到的用户组查询,单击用户组名称,在“授权记录”中查看当前用户的权限。 确认当前用户所属用户组下的权限是否包含OBS写入的权限,比如“OBS OperateAccess”。如果没有OBS写入权限,则给对应的用户组进行授权。 授权完成后,等待5到10分钟等待权限生效。再次运行失败的Flink
SQL作业编辑界面,配置如下参数。 图5 创建Flink SQL作业 所属队列:选择步骤二:添加队列到弹性资源池中弹性资源池添加的队列“general_test”。 保存作业日志:勾选。 OBS桶:选择保存作业日志的OBS桶,根据提示进行OBS桶权限授权。 开启Checkpoint:勾选。 Flink作业编
DLI对接云审计服务 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DLI操作列表详见云审计服务支持的D
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 paths 是 Array of Strings 用户OBS对象路径列表,OBS对象路径为OBS对象URL。 group 是 String 所属资源分组名。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 paths 是 Array of Strings 用户OBS对象路径列表,OBS对象路径为OBS对象URL。 group 是 String 所属资源分组名。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明
SQL作业开发类 SQL作业使用咨询 如何合并小文件 DLI如何访问OBS桶中的数据 创建OBS表时怎样指定OBS路径 关联OBS桶中嵌套的JSON格式数据如何创建表 count函数如何进行聚合 怎样将一个区域中的DLI表数据同步到另一个区域中? SQL作业如何指定表的部分字段进行表数据的插入
用户安全集群的证书路径,目前只支持OBS路径,cer类型文件。 datasource_type 是 String 数据源类型,目前支持CSS,KRB,passwd,Kafka_SSL。 krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String
用户安全集群的证书路径,目前只支持OBS路径,cer类型文件。 datasource_type 是 String 数据源类型,目前支持CSS,KRB,passwd,Kafka_SSL。 krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String
Java SDK 让您无需关心请求细节即可快速使用数据湖探索服务。本节操作介绍如何获取并使用Java SDK 。 使用须知 要使用DLI Java SDK 访问指定服务的 API ,您需要确认已在DLI控制台开通当前服务并完成服务授权。 Java SDK 支持 Java JDK 1.8
控制台只展示最新的运行日志,更多日志信息请查看保存日志的OBS桶。 在日志中搜索依赖包信息。 在日志中搜索“Classpath:”即可查看相关依赖包信息。 Flink 1.15 不再支持DLI程序包管理的功能,依赖包、依赖文件等请在编辑作业时直接选择上传的OBS路径。 父主题: Flink Opensource
Flink作业相关API(废弃) 查询作业监控信息(废弃) OBS授权给DLI服务 父主题: 历史API
搜索等场景。 云搜索服务(Cloud Search Service,简称CSS)为DLI提供托管的分布式搜索引擎服务,完全兼容开源Elasticsearch搜索引擎,支持结构化、非结构化文本的多条件检索、统计、报表。 云搜索服务的更多信息,请参见《云搜索服务用户指南》。 更多具体
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 paths 是 Array of strings 用户OBS对象路径列表,OBS对象路径为OBS对象URL。 group 是 String 所属资源分组名。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明
join表时没有添加on条件,造成笛卡尔积查询,导致队列资源爆满,作业运行失败怎么办? 问题现象 运行的SQL语句中存在join表,但是join没有添加on条件,多表关联造成笛卡尔积查询,最终导致队列资源占满,该队列上的作业运行失败。 例如,如下问题SQL语句,存在三个表的left