检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能描述 创建输入流 CloudTable HBase输入流 创建输入流 DIS输入流 DMS输入流 创建输入流 MRS Kafka输入流 开源Kafka输入流 OBS输入流 创建输出流 CloudTable HBase输出流 创建输出流 CloudTable OpenTSDB输出流
功能描述 创建输入流 CloudTable HBase输入流 创建输入流 DIS输入流 DMS输入流 创建输入流 MRS Kafka输入流 开源Kafka输入流 OBS输入流 创建输出流 CloudTable HBase输出流 创建输出流 CloudTable OpenTSDB输出流
创建输入流 CloudTable HBase输入流 DIS输入流 DMS输入流 MRS Kafka输入流 开源Kafka输入流 OBS输入流 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
创建输入流 CloudTable HBase输入流 DIS输入流 DMS输入流 EdgeHub输入流(EOS) MRS Kafka输入流 开源Kafka输入流 OBS输入流 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
内置函数 具体使用请参考开源社区文档:内置函数。 比较函数 逻辑函数 算术函数 字符串函数 时间函数 条件函数 类型转换函数 集合函数 JSON函数 值构建函数 值获取函数 分组函数 Hash函数 聚合函数 表值函数 父主题: 函数
huaweicloud-sdk-java-v3 Java SDK使用指导 Java SDK视频指导 Python huaweicloud-sdk-python-v3 Python SDK使用指导 Python SDK视频指导 PHP huaweicloud-sdk-php-v3 PHP SDK使用指导
DWS输出流(通过JDBC方式) DWS输出流(通过OBS转储方式) EdgeHub输出流(EOS) MRS HBase输出流 MRS Kafka输出流 开源Kafka输出流 文件系统输出流(推荐) OBS输出流 RDS输出流 SMN输出流 父主题: Flink SQL语法参考(不再演进,推荐使用Flink
<version>x.x.x</version> </dependency> 配置华为maven镜像源的具体方法可参考:华为开源镜像站>选择“华为SDK”>单击“HuaweiCloud SDK”。 方式二:在DLI管理控制台下载JDBC驱动文件 登录DLI管理控制台。
DIS输出流 DMS输出流 DWS输出流(通过JDBC方式) DWS输出流(通过OBS转储方式) MRS HBase输出流 MRS Kafka输出流 开源Kafka输出流 文件系统输出流(推荐) OBS输出流 RDS输出流 SMN输出流 父主题: Flink SQL语法参考(不再演进,推荐使用Flink
用户组。 跨源认证用户授权 登录DLI管理控制台。 单击“跨源管理 > 跨源认证”。 选择要进行授权的跨源认证,单击操作列“权限管理”进入开源认证的用户权限信息页面。 单击页面右上角“授权”可对当前的跨源认证新增用户授权。 图1 跨源认证用户授权 表1 用户授权参数说明 参数名称
圈。数据湖探索的流生态分为云服务生态和开源生态: 云服务生态:数据湖探索在Flink SQL中支持与其他服务的连通。用户可以直接使用SQL从这些服务中读写数据。如DIS、OBS、CloudTable、MRS、RDS、SMN、DCS等。 开源生态:通过增强型跨源连接建立与其他VPC
SDK与API的对应关系 OBS授权 表1 OBS授权相关API&SDK的对应关系表 Class Method Java Method Python Method API Authorize OBS授权 authorizeBucket - POST /v1.0/{project_i
Spark SQL语法参考(即将下线) 批作业SQL常用配置项说明 批作业SQL语法概览 Spark开源命令支持说明 数据库 创建OBS表 创建DLI表 删除表 查看表 修改表 分区表相关 导入数据 插入数据 清空数据 导出查询结果 多版本备份恢复数据 表生命周期管理 跨源连接HBase表
自研SDK的使用方法。相关开发包请从华为云DLI 开发工具包(SDK)获取。 Java SDK操作指导请参考Java SDK Python SDK操作指导请参考Python SDK DLI SDK调用接口使用https进行访问,有服务端使用证书。
'postgresql://ip:port/database' 说明: 将数据库连接地址设置为DWS数据库地址,即可创建DWS维表。DWS数据库版本大于8.1.0后,无法用开源的postgresql驱动连接,需要用gaussdb驱动进行连接。 table_name 是 用于查询数据的数据库表名。 db_columns
'postgresql://ip:port/database' 说明: 将数据库连接地址设置为DWS数据库地址,即可创建DWS维表。DWS数据库版本大于8.1.0后,无法用开源的postgresql驱动连接,需要用gaussdb驱动进行连接。 table_name 是 用于查询数据的数据库表名。 db_columns
运行失败且超过1分钟(日志转储周期1分钟),会在application_xx下生成运行日志。 另外,由于DLI服务端已经内置了Flink的依赖包,并且基于开源社区版本做了安全加固。为了避免依赖包兼容性问题或日志输出及转储问题,打包时请注意排除以下文件: 系统内置的依赖包,或者在Maven或者Sb
内置依赖包。 约束与限制 程序包支持删除,但不支持删除程序包组。 支持上传的程序包类型: JAR:用户jar文件。 PyFile:用户Python文件。 File:用户文件。 ModelFile:用户AI模型文件。 程序包管理页面 表1 程序包管理参数 参数 参数说明 分组名称
读取和写入OBS数据。 “dli-spark-demo-redis”读取和写入Redis数据。 dli-pyspark-demo:使用Python语言开发Spark作业。例如,样例包中的样例代码实现创建Redis表的功能。 父主题: DLI产品咨询类
module_name 否 String 资源模块名 module_type 否 String 资源模块类型。 jar:用户jar文件; pyFile:用户python文件; file:用户文件。 表4 details参数说明 参数名称 是否必选 参数类型 说明 create_time 否 Long