检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Driver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的路径作为参数传给Executor去执行。 Executor获取文件路径的时候，仍然需要使用SparkFiles.get(“filename”)的方式获取。 SparkFiles.get()方法需要spark初始化以后才能调用。
userDefined源表 功能描述 您可通过编写代码实现从云生态或者开源生态获取数据，再把获取到的数据作为Flink作业的输入数据。 前提条件 自定义source类需要继承类RichParallelSourceFunction，并指定数据类型为Row。 例如自定义类MySource：public
入门实践 我们整理了从队列网络连通、不同类型的作业分析、数据迁移场景的常用开发指南和最佳实践内容，帮助您更好的使用DLI进行大数据分析和处理。 表1 DLI常用开发指南与最佳实践 场景 操作指导 描述 Spark SQL作业开发 使用Spark SQL作业分析OBS数据 介绍使用Spark
游戏公司不同部门日常通过游戏数据分析平台，分析每日新增日志获取所需指标，通过数据来辅助决策。例如：运营部门通过平台获取新增玩家、活跃玩家、留存率、流失率、付费率等，了解游戏当前状态及后续响应活动措施；投放部门通过平台获取新增玩家、活跃玩家的渠道来源，来决定下一周期重点投放哪些平台。
SDK V3 写作说明 本文介绍了DLI服务提供的V3版本的SDK，列举了最新版本SDK的获取地址。 SDK列表 表1提供了DLI云服务支持的SDK列表，您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 视频指导
参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 请求参数 表2 请求参数 参数 是否必选 参数类型 说明 type 是 String 类型。 SQL：SQL模板。 SPARK：Spark模板。
server disconnected before a response was received. 问题原因 由于CPU使用率过高，导致网络闪断。 解决方案 在SQL语句中配置发送失败重试：connector.properties.retries=5 create table kafka_sink(
-1，可以从地区和终端节点中获取。 scope参数定义了Token的作用域，下面示例中IAM获取的Token仅能访问project下的资源。您还可以设置Token的作用域为某个账号下所有资源或账号的某个project下的资源，详细定义请参见IAM获取用户Token。 1 2
URI格式：POST /v3/{project_id}/elastic-resource-pools {project_id}信息请从获取项目ID获取。 请求参数说明详情，请参见创建弹性资源池。 请求示例 描述：在项目ID为48cc2c48765f481480c7db940d640
参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 var_name 是 String 全局变量名，名称只
project_id 是 项目编号，用于资源隔离。获取方式请参考获取项目ID。 请求消息 创建集群除公共请求消息头参数以外，还有特殊的请求消息头参数，具体如表2所示。 表2 Header说明 名称 是否必选 说明 X-Auth-Token 是 从IAM服务获取的用户Token。 Accept 是
参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 queue_type 否 String 队列的类型，有如下三种类型：
0/{project_id}/sqls 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 keyword 否 String 用于过滤SQL模板的关键字。
作业异常怎么办？ 问题现象 Jobmanager与Taskmanager心跳超时，导致Flink作业异常。 图1 异常信息 根因分析 检查网络是否发生闪断，分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码，确认是否有内存泄漏。 图2 Full GC 处理步骤 如果频繁Full
参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 name 是 String 连接名称。 名称只能包含数字、英文字母、下划线。不能为空。
对于获取用户Token接口，如果调用后返回状态码为“201”，则表示请求成功。 响应消息头 对应请求消息头，响应同样也有消息头，如“Content-Type”。 对于获取用户Token接口，接口，返回如图1所示的消息头，其中“x-subject-token”就是需要获取的用户T
应的Kafka名称，进入到Kafka的基本信息页面。 在“连接信息”中获取该Kafka的“内网连接地址”，在“基本信息”的“网络”中获取该实例的“虚拟私有云”和“子网”信息，方便后续操作步骤使用。 单击“网络”中的安全组名称，在“入方向规则”中添加放通队列网段的规则。例如，本示例队列网段为“10
空间，并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤： 步骤1：获取消费数据。获取账户的实际消费数据。 步骤2：分析账户消费结构并优化。在DLI上分析账户消费结构，找出开支较大的资源或用户，并给出降底成本的优化措施。
MySQL实例内网地址，进行网络连通性测试。 在RDS控制台“实例管理”页面，单击对应实例名称，查看“连接信息”>“内网地址”，即可获取对应信息。 测试结果显示可达，则DLI队列与MySQL实例的网络已经联通。 图7 测试结果 如果测试结果不可达，请参考创建跨源成功但测试网络连通性失败怎么办？进行排查。
在我的凭证下，您可以查看账号ID和用户ID。通常在调用API的鉴权过程中，您需要用到账号、用户和密码等信息。 区域 从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
