检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Driver中的文件路径与Executor中获取的路径位置是不一致的,所以不能将Driver中获取到的路径作为参数传给Executor去执行。 Executor获取文件路径的时候,仍然需要使用SparkFiles.get(“filename”)的方式获取。
获取Token 当您使用Token认证方式完成认证鉴权时,需要获取用户Token并在JDBC连接参数中配置Token信息,获取Token的详细步骤如下。
可以通过在conf文件中,设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3,指定计算集群环境为Python3环境。 目前,新建集群环境均已默认为Python3环境。 父主题: Spark作业开发类
查询作业执行进度信息 功能介绍 该API用于获取作业执行进度信息,如果作业正在执行,可以获取到子作业的信息,如果作业刚开始或者已经结束,则无法获取到子作业信息。 调试 您可以在API Explorer中调试该接口。
是 application/json Content-Length 请求body长度,单位为Byte。 POST/PUT请求必填。 GET不能包含。 3495 X-Project-ID project id,项目编号。在多项目场景中使用,用于不同项目获取token。
Flink Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。 用户获取Flink作业委托临时凭证 DLI提供了一个通用接口,可用于获取用户在启动Flink作业时设置的委托的临时凭证。
Accept 是 默认值application/json。 Content-Type 是 指定类型为application/json。 charset 是 指定编码格式为utf8。 请求参数如表3所示。
userDefined源表 功能描述 您可通过编写代码实现从云生态或者开源生态获取数据,再把获取到的数据作为Flink作业的输入数据。 前提条件 自定义source类需要继承类RichParallelSourceFunction,并指定数据类型为Row。
图1 获取SDK代码示例
ID获取。
获取方式请参考获取项目ID。 请求参数 表2 请求参数 参数 是否必选 参数类型 说明 type 是 String 类型。 SQL:SQL模板。 SPARK:Spark模板。 name 是 String 模板名称。 body 是 String 模板内容。
获取方式请参考获取项目ID。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 var_name 是 String 全局变量名,名称只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能超过128字符。
ID获取。
获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 queue_type 否 String 队列的类型,有如下三种类型: sql:查询SQL队列类型的队列。 general:查询通用队列类型的队列。 all:查询所有类型的队列。
获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 keyword 否 String 用于过滤SQL模板的关键字。 请求参数 无 响应参数 表3 响应参数说明 名称 参数类型 说明 is_success Boolean 是否成功。
使用DLI分析账单消费数据 应用场景 本文主要介绍如何使用华为云DLI上的实际消费数据(文中涉及账户的信息已脱敏),在DLI的大数据分析平台上进行分析,找出费用优化的空间,并给出使用DLI过程中降低成本的一些优化措施。
样例: 192.168.0.22 node-masterxxx1.com 192.168.0.23 node-masterxxx2.com 获取MRS主机信息请参考怎样获取MRS主机信息? 单击“确定”,完成主机信息的修改。 怎样获取MRS主机信息?
对于获取用户Token接口,接口,返回如图1所示的消息头,其中“x-subject-token”就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。
mapper = new ObjectMapper(); String result = "{}"; try { result = mapper.writeValueAsString(hashMap);
mapper = new ObjectMapper(); String result = "{}"; try { result = mapper.writeValueAsString(hashMap);