检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark作业不支持访问sftp，建议将文件数据上传到OBS，再通过Spark作业进行读取和分析。 上传数据到OBS桶：通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。 Spark读取OBS文件数据，详见使用Spark Jar作业读取和查询OBS数据。 配置S
可以使用OBS跨区域复制功能实现，步骤如下： 将区域一中的DLI表数据导出到自定义的OBS桶中。 具体请参考《数据湖探索用户指南》。 通过OBS跨区域复制功能将数据复制至区域二的OBS桶中。 具体请参考跨区域复制。 根据需要导入或使用对应的数据。 父主题： SQL作业开发类
Overwrite) .save() 表1 redis操作参数 参数 描述 host 需要连接的redis集群的IP。 获取方式为：登录华为云官网，之后搜索redis，进入“分布式缓存服务”,接着选择“缓存管理”，根据主机名称需要的IP，可选择其中任意一个IP进行复制即可（其中也包含了port信息），请参考图1。
> 权限 > 用户”。 单击“更多 > 下载认证凭据”，保存后解压得到Truststore文件。 上传认证凭证到OBS桶。 关于如何创建OBS桶并上传数据，请参考《对象存储服务快速入门》。 创建跨源认证。 登录DLI管理控制台。 选择“跨源管理 > 跨源认证”。 单击“创建”。
用户”。 单击“更多 > 下载认证凭据”，保存后解压得到用户的keytab文件与krb5.conf文件。 上传认证凭证到OBS桶。 关于如何创建OBS桶并上传数据，请参考《对象存储服务快速入门》。 创建跨源认证。 登录DLI管理控制台。 选择“跨源管理 > 跨源认证”。 单击“创建”。
css resources 否 Array of Objects JSON对象列表，填写用户已上传到队列的类型为JSON的资源包名和类型。具体请见表4。 groups 否 Array of Objects JSON对象列表，填写用户组类型资源，格式详见请求示例。如果“resources
关信息的标识，用户可以通过添加标签来实现。如果用户在其他云服务中使用了标签，建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 DLI支持以下两类标签： 资源标签：在DLI中创建的非全局的标签。 预定义标签：在标签管理服务（简称TMS）中创建的预定义标签，属于全局标签。
如果配置为true，在执行INSERT等幂等类型的操作时（例如insert into，load data、update），可能会导致数据一致性问题。即driver故障后作业重试，导致driver故障前已插入的数据被重复写入。 spark.sql.optimizer.dynamicPartitionPruning
分区（版本）。 最新分区（版本）由 'streaming-source.partition-order' 选项定义。 这是在Flink 流应用作业中将 Hive 表用作维度表的最常见用例。 注意事项 使用Temporal join关联维表的最新分区，仅在Flink STREAMING模式下支持。
手动停止了Flink作业，再次启动时怎样从指定Checkpoint恢复？ 问题现象 在创建Flink作业时开启了Checkpoint，指定了Checkpoint保存的OBS桶。手工停止Flink作业后，再次启动该Flink作业怎样从指定Checkpoint恢复。 解决方案 由于Flink Checkpoint
createQueue(DLIClient client) throws DLIException { //通过调用DLIClient对象的createQueue方法创建队列 String qName = "queueName"; int cu = 16;
务，它大大简化系统耦合，能够根据用户的需求，向订阅终端主动推送消息。可用于连接云服务、向多个协议推送消息以及集成在产生或使用通知的任何其他应用程序等场景。SMN的更多信息，请参见《消息通知服务用户指南》。 语法格式 create table smnSink ( attr_name
后导入DIS通道，进行后续处理的场景。 数据接入服务（Data Ingestion Service，简称DIS）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪
导出查询结果 功能介绍 该API用于将SQL语句的查询结果导出到OBS对象存储中，只支持导出“QUERY”类型作业的查询结果。 该API为异步操作。 目前只支持导出数据到OBS中，且导出的路径必须指定到文件夹级别。OBS路径中不支持逗号，且其中的桶名不能以正则格式“.[0-9]+(
of Strings OBS桶名列表。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 消息内容。 请求示例 授权OBS桶bucket1的操
spark-defaults.conf 修改DLI Livy工具配置文件 上传指定的DLI Livy工具jar资源包到OBS桶路径下。 登录OBS控制台，在指定的OBS桶下创建一个存放Livy工具jar包的资源目录。例如：“obs://bucket/livy/jars/”。 进入3.a中DLI
DLI中的Spark组件与MRS中的Spark组件有什么区别？ DLI和MRS都支持Spark组件，但在服务模式、接口方式、应用场景和性能特性上存在一些差异。 DLI服务的Spark组件是全托管式服务，用户对Spark组件不感知，仅仅可以使用该服务，且接口为封装式接口。 DLI的
anner需要知道数据类型、精度和小数位数；从 JVM 角度来看，Planner 在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的类型推导提取，通过反射从函数的类及其求值方法中派生数据类型。然而以反射方式提取数据类型并不总是成功的，比如UDTF中常见的Row类型。
窗口表值函数（table-valued function, 缩写TVF）把表的数据划分到窗口中： 滚动窗口 滑动窗口 累积窗口 逻辑上，每个元素可以应用于一个或多个窗口，这取决于所使用的窗口表值函数的类型。例如：滑动窗口可以把单个元素分配给多个窗口。 窗口表值函数 是 Flink 定义的多态表函数（Polymorphic
0001 参数校验错误。 400 DLI.0002 对象不存在。 400 DLI.0003 SQL权限校验未通过。 400 DLI.0004 SQL语法解析错误。 400 DLI.0005 SQL语义解析错误。 400 DLI.0006 对象已存在错误。 400 DLI.0007 不支持该操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
