检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI是否存在Apache Spark 命令注入漏洞(CVE-2022-33891)? 不存在。 DLI没有启动spark.acls.enable配置项,所以不涉及Apache Spark 命令注入漏洞(CVE-2022-33891)。 该漏洞主要影响在启用了ACL(访问控制列表
根据提示输入对应信息,单击“确定”。 在弹出的提示页面单击“立即下载”。下载成功后,打开凭证文件,获取AK/SK信息。 左侧导航栏单击“API凭证”,在“项目列表”中获取“项目ID”即为project_id值,对应的“项目”即为region的值。 Token认证方式样例代码 代码样例
通过不同的接口与Kyuubi进行交互。 是 mysql thrift_binary kyuubi.engine.dli.schema.show.name 用于指定当用户执行show schemas或show databases语句时,Kyuubi引擎如何展示数据源接口的模式名称。
OpenTSDB结果表 功能描述 OpenTSDB是基于HBase分布式的 ,可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性,可用于系统监控和测量、物联网数据、金融数据和科学实验结果数据的收集监控。
例如,当前Livy工具安装路径为“/opt/livy”,则当前需要上传的jar包名称如下: /opt/livy/rsc-jars/livy-api-0.7.2.0107.jar /opt/livy/rsc-jars/livy-rsc-0.7.2.0107.jar /opt/livy/repl_2
SQL相关的数据库、表、分区、导入及导出数据、自定义函数、内置函数等语法说明和样例指导。 Spark Jar 相关API 提供Spark Jar相关API的使用说明。 Spark 作业SDK参考 提供执行Spark批处理作业的接口样例说明。
OBS 2.0支持 DLI Spark作业 DLI在开源Spark基础上进行了大量的性能优化与服务化改造,兼容Apache Spark生态和接口,执行批处理任务。 DLI还支持使用Spark作业访问DLI元数据,具体请参考《数据湖探索开发指南》。 发布区域:全部 使用DLI提交Spark
s.security.protocol' = 'SASL_SSL'、'properties.sasl.mechanism' = 'GSSAPI或者PLAIN'、'properties.sasl.jaas.config' = 'org.apache.kafka.common.security
s.security.protocol' = 'SASL_SSL'、'properties.sasl.mechanism' = 'GSSAPI或者PLAIN'、'properties.sasl.jaas.config' = 'org.apache.kafka.common.security
如果使用SASL_PLAINTEXT类型,且使用Kerberos认证,则需要同时配置以下参数: 'properties.sasl.mechanism' = 'GSSAPI' 'properties.security.protocol' = 'SASL_PLAINTEXT' 具体的建表操作指导请参考DLI 语法参考。
'properties.security.protocol' = 'SASL_SSL'、 'properties.sasl.mechanism' = 'GSSAPI或者PLAIN'、 'properties.sasl.jaas.config' = 'org.apache.kafka.common.security
推断而来的。显式地定义 CSV schema 暂不支持。 Flink 的 CSV Format 数据使用 jackson databind API 去解析 CSV 字符串。 表2 数据类型映射 Flink SQL 类型 CSV 类型 CHAR / VARCHAR / STRING string
AM的Endpoint及消息体中的区域名称。 请求内容示例如下。 下面示例代码中的斜体字需要替换为实际内容,详情请参考《统一身份认证服务API参考》。 { "auth": { "identity": { "methods": [ "password"
ZK_IP2:ZK_PORT2"。 说明: 访问MRS集群,只支持创建增强型跨源连接并且需要配置主机信息,管理控制台操作请参考增强型跨源连接,相关API信息请参考创建增强型跨源连接。 TableName 指定在HBase集群中已创建的表名。 RowKey 指定作为rowkey的dli关联表
之中自动推导得到。不支持显式地定义 JSON schema。 在 Flink 中,JSON Format 使用 jackson databind API 去解析和生成 JSON。 下表列出了 Flink 中的数据类型与 JSON 中的数据类型的映射关系。 表2 数据类型映射 Flink SQL类型
ORDER BY ORDER BY ORDER BY子句用于按一个或多个输出表达式对结果集排序。 ORDER BY expression [ ASC | DESC ] [ NULLS { FIRST | LAST } ] [, ...] 每个expression可以由输出列组成,也可以是按位置选择输出列的序号。
对于Flink Jar作业,您需要在代码中开启Checkpoint,同时如果有自定义的状态需要保存,您还需要实现ListCheckpointed接口,并为每个算子设置唯一ID。然后在作业配置中,勾选“从Checkpoint恢复”,并准确配置Checkpoint路径。 图2 开启Checkpoint
Spark作业编辑页面,选择自定义镜像 图3 Spark作业镜像授权操作 图4 在DLI Flink jar作业编辑页面,选择自定义镜像 在使用API时,在作业参数中指定image参数,即可使用自定义镜像运行作业。Spark作业请参考《创建批处理作业》,Flink jar作业请参考《创建Flink
Jar使用DEW获取访问凭证读写OBS的操作指导。 用户获取Flink作业委托临时凭证 DLI提供了一个通用接口,可用于获取用户在启动Flink作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。
提供跨源访问CSS、DWS、HBase、OpenTSDB、RDS、Redis、Mongo等样例代码和开发指导。 增强型跨源API参考 提供增强型跨源相关API接口指导。