检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
data_type 否 String 所列OBS表数据的类型,目前支持:parquet、ORC、CSV、JSON、Avro格式。 说明: 只有OBS表有该参数。 data_location 是 String 数据存储位置,分为DLI和OBS。 last_access_time 是 Long
模型及配置文件等需存储在用户的OBS中,路径格式为"obs://your_ak:your_sk@obs.your_obs_region.xxx.com:443/your_model_path"。例如:模型存放在OBS上,桶名为dl_model,文件名为model.h5,则路径填写为"obs://your_ak:your_sk@obs
用户安全集群的证书路径,目前只支持OBS路径,cer类型文件。 datasource_type 是 String 数据源类型,目前支持CSS,KRB,passwd,Kafka_SSL。 krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String
用户安全集群的证书路径,目前只支持OBS路径,cer类型文件。 datasource_type 是 String 数据源类型,目前支持CSS,KRB,passwd,Kafka_SSL。 krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String
集群正在创建中,当前不可用。 AVAILABLE 集群可用。 SUSPENDED 由于长时间未使用,集群当前处于挂起状态,可通过创建批处理作业接口,重新激活集群。 RECOVERING 集群处于挂起恢复状态,当状态变为AVAILABLE时可再次使用。 示例 请求样例: None 成功响应样例:
file:用户文件 modelfile:用户AI模型文件 obs_jar_paths:对应资源包的OBS路径,参数构成为:{bucketName}.{obs域名}/{jarPath}/{jarName}。 例如:"https://bucketname.obs.cn-north-1.myhuaweicloud
DWS输出流(通过JDBC方式) 功能描述 DLI将Flink作业的输出数据输出到数据仓库服务(DWS)中。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。
DWS输出流(通过JDBC方式) 功能描述 DLI将Flink作业的输出数据输出到数据仓库服务(DWS)中。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。
10作业程序开发的样例代码可以参考使用Flink Jar写入数据到OBS开发指南。 2020年12月之后创建的新队列才能使用Flink 1.10依赖包。 表5 Flink 1.10依赖包 依赖包名称 bcpkix-jdk15on-1.60.jar esdk-obs-java-3.20.6.1.jar java-xmlbuilder-1
否 Boolean 判断是否为管理用户,false表示不是管理用户,true表示是管理用户。 object 否 String 该用户有权限的对象: “databases.数据库名.tables.表名”,用户在当前表上的权限。 “databases.数据库名.tables.表名.columns
DDS输出流 DIS输出流 DMS输出流 DWS输出流(通过JDBC方式) DWS输出流(通过OBS转储方式) 创建输出流 MRS HBase输出流 MRS Kafka输出流 开源Kafka输出流 OBS输出流 RDS输出流 创建输出流 SMN输出流 文件系统输出流(推荐) 创建中间流 创建中间流
DDS输出流 DIS输出流 DMS输出流 DWS输出流(通过JDBC方式) DWS输出流(通过OBS转储方式) 创建输出流 MRS HBase输出流 MRS Kafka输出流 开源Kafka输出流 OBS输出流 RDS输出流 创建输出流 SMN输出流 文件系统输出流(推荐) 创建中间流 创建中间流
RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider not found at org.apache.hadoop.conf.Configuration
krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String keytab配置文件obs路径。 truststore_location 否 String truststore配置文件obs路径。 truststore_password 否 String
DWS源表 功能描述 DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 若需要获取key的值,则可以通过在flink中设置主键获取,主键字段即对应redis的key。 若定义主键,则
sparkSession.conf.set("fs.obs.access.key", ak) sparkSession.conf.set("fs.obs.secret.key", sk) sparkSession.conf.set("fs.obs.endpoint", enpoint) sparkSession
参考操作步骤说明,编写UDF函数代码。 2 编写UDF函数代码 3 调试,编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDF函数。
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 若需要获取key的值,则可以通过在flink中设置主键获取,主键字段即对应redis的key。 若定义主键,则
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。