检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 paths 是 Array of Strings 用户OB
192.168.0.23 node-masterxxx2.com 获取MRS主机信息请参考怎样获取MRS主机信息? 单击“确定”，完成主机信息的修改。 怎样获取MRS主机信息? 方法一：在管理控制台查看MRS主机信息 获取MRS集群主机名与IP地址，以MRS3.x集群为例，步骤如下：
对于获取用户Token接口，如果调用后返回状态码为“201”，则表示请求成功。 响应消息头 对应请求消息头，响应同样也有消息头，如“Content-Type”。 对于获取用户Token接口，接口，返回如图1所示的消息头，其中“x-subject-token”就是需要获取的用户T
sparkSession.sql("select * from css_table") jdbcDF.show() 操作结果 提交Spark作业 将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spa
空间，并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤： 步骤1：获取消费数据。获取账户的实际消费数据。 步骤2：分析账户消费结构并优化。在DLI上分析账户消费结构，找出开支较大的资源或用户，并给出降底成本的优化措施。
内置依赖包。 约束与限制 程序包支持删除，但不支持删除程序包组。 支持上传的程序包类型： JAR：用户jar文件。 PyFile：用户Python文件。 File：用户文件。 ModelFile：用户AI模型文件。 程序包管理页面 表1 程序包管理参数 参数 参数说明 分组名称
CSS安全集群配置 准备工作 当前CSS服务提供的Elasticsearch 6.5.4或以上集群版本为用户增加了安全模式功能，开启安全模式后，将会为用户提供身份验证、授权以及加密等功能。DLI服务对接CSS安全集群时，需要先进行以下准备工作。 选择CSS Elasticsearch
sparkSession.sparkContext().addFile("obs://桶名/地址/truststore.jks"); // 获取当前工作目录的路径 String pathUser = System.getProperty("user.dir");
String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数说明 参数名称 是否必选 参数类型 说明 kind 否 String 指定文件类型。包括以下文件类型： jar：用户jar文件。 pyFile：用户python文件。 file：用户文件。 modelFile：用户AI模型文件。
Token的有效期为24小时，需要使用一个Token鉴权时，可以先缓存起来，避免频繁调用。 Token可通过调用获取用户Token接口获取，调用本服务API需要project级别的Token，即调用获取用户Token接口时，请求body中auth.scope的取值需要选择project，如下所示。
有影响，jar需要升级scala版本编译。 PySpark支持python版本变更 说明： PySpark支持python版本变更。 Spark2.4.x：PySpark支持python版本范围2.6+版本到3.7+版本。 Spark3.3.x：PySpark支持Python版本范围3.6及以上版本。 升级引擎版本后是否对作业有影响：
r-20131024-2017.jar zstd-jni-1.4.4-11.jar Flink 1.15依赖包 请在Flink作业的日志中获取Flink 1.15相关依赖包信息： 查看Flink日志。 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击作业名称，选择“运行日志”。
JobManager提示 "Timeout expired while fetching topic metadata" ，说明Flink作业在尝试获取Kafka主题的元数据时超时了。 此时您需要先检查Flink作业和Kafka的网络连通性，确保执行Flink作业所在的队列可以访问Kafka所在的VPC网络。
outputFunction(S, R)) 返回从数组减少的单个值。将按顺序为数组中的每个元素调用inputFunction。除了获取元素之外，inputFunction还获取当前状态，最初为initialState，然后返回新状态。将调用outputFunction将最终状态转换为结果值。它可能是恒等函数（i->
参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 object 是 String 授权对象，和赋权API中的“object”对应。 "jobs.flink
dateadd dateadd函数用于按照指定的单位datepart和幅度delta修改date的值。 如需要获取当前日期基础上指定变动幅度的日期，可结合current_date或getdate函数共同使用。 命令格式 dateadd(string date, bigint delta
故障处理 运行Spark作业，作业运行失败，作业日志中提示No respond错误 问题现象 运行Spark作业，作业运行失败，作业日志中提示No respond错误 解决方案 重新创建Spark作业，创建作业时需要在“Spark参数（--conf）”中添加配置：“spark.sql
date_sub date_sub函数按照days幅度递减startdate日期的天数。 如需要获取当前日期基础上指定变动幅度的日期，可结合current_date或getdate函数共同使用。 请注意date_sub函数与date_add函数逻辑反。 命令格式 date_sub(string
date_add date_add函数用于计算按照days幅度递增startdate日期的天数。 如需要获取当前日期基础上指定变动幅度的日期，可结合current_date或getdate函数共同使用。 请注意date_add函数与date_sub函数逻辑反。 命令格式 date_add(string
场景： 不支持子查询 x -> 2 + (SELECT 3) 不支持聚合函数 x -> max(y) 示例 通过transform()函数获取数组元素的平方： SELECT numbers, transform(numbers, n -> n * n) as squared_numbers
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
