检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图2 配置工程路径 单击“Add External JARs”，选择SDK下载的jar包，单击OK。 图3 选择SDK jar包 父主题： Java SDK环境配置
如何添加IP域名映射，请参见《数据湖探索用户指南》中修改主机信息章节。 Kafka是线下集群，需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。
如何添加IP域名映射，请参见《数据湖探索用户指南》中修改主机信息章节。 Kafka是线下集群，需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。
如果通过公网地址连接，请指定为集群“公网访问地址”或“公网访问域名”，如果通过内网地址连接，请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接，请指定为“弹性负载均衡地址”。 dbadmin：创建集群时设置的默认管理员用户名。 -W：默认管理员用户的密码。
Endpoint 指定承载REST服务端点的服务器域名或IP。 不同服务不同区域的Endpoint不同，您可以从地区和终端节点中查询所有服务的终端节点。
通常在Spark作业执行注册viewManager时，会校验该数据库在metastore是否存在，如果该数据库存在则会导致Spark作业执行失败。
QUERY作业和异步DDL作业除上述操作外，还包括： 下载到本地：异步DDL和QUERY语句支持将结果下载到本地。具体操作请见导出作业结果到本地。 查看结果：查看作业运行结果。 导出结果：将作业运行结果导出至用户创建的OBS桶中。
图2 查看运行日志 下载最新“jobmanager.log”文件，搜索“RUNNING to FAILED”关键字，通过上下文的错误栈，确认失败原因。
OBS对象、OBS/DWS数据源（外表）、日志转储、使用savepoint、开启checkpoint，DLI Spark作业下载OBS对象、读写OBS外表。
数据清理委托权限配置 允许DLI读写OBS将日志转储 自定义 DLI Flink作业下载OBS对象、OBS/DWS数据源（外表）、日志转储、使用savepoint、开启checkpoint，DLI Spark作业下载OBS对象、读写OBS外表。
查看项目ID步骤如下： 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上，在下拉列表中单击“我的凭证”。 在“我的凭证”页面的项目列表中查看项目ID。例如project_id:"5a3314075bfa49b9ae360f4ecd333695"。
登录Manager界面，选择“系统 > 权限 > 用户”，选择新建用户，选择“更多 > 下载认证凭据”，保存后解压得到用户的keytab文件与krb5.conf文件。 创建MRS HBase表 创建DLI表关联MRS HBase表之前确保HBase的表是存在的。
客户验证的方式如下： 通过OBS下载数据文件。 通过文本编辑器打开数据文件，发现数据量缺失。 根据该验证方式，初步定位是因为文件数据量较大，文本编辑器无法全部读取。 通过执行查询语句，查询OBS数据进一步进行确认，查询结果确认数据量正确。 因此，该问题为验证方式不正确造成。
1 SparkSession sparkSession = SparkSession.builder().appName("datasource-css").getOrCreate(); 拷贝证书。
图4 Spark Jar作业归档日志文件夹名示例 进入归档日志文件目录，在归档日志文件目录下，下载“gc.log.*”日志。 打开已下载的“gc.log.*”日志，搜索“Full GC”关键字，查看日志中是否有时间连续，并且频繁出现“Full GC”的日志信息。
下载对应的消费明细数据。 步骤2：分析账户消费结构并优化 在DLI上进行消费明细分析。 将1下载的消费明细数据上传到已建好的OBS桶中。 在数据湖探索服务中创建表。 登录DLI控制台，左侧导航栏单击“SQL编辑器”，执行引擎选择“spark”，选择执行的队列和数据库。
如果通过公网地址连接，请指定为集群“公网访问地址”或“公网访问域名”，如果通过内网地址连接，请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接，请指定为“弹性负载均衡地址”。 dbadmin：创建集群时设置的默认管理员用户名。 -W：默认管理员用户的密码。
操作步骤 下载数据源的认证凭证。 登录MRS Manager界面。 选择“系统 > 权限 > 用户”。 单击“更多 > 下载认证凭据”，保存后解压得到用户的keytab文件与krb5.conf文件。 上传认证凭证到OBS桶。
下载OBS Browser+。下载地址请参考《对象存储服务工具指南》。 安装OBS Browser+。安装步骤请参考《对象存储服务工具指南》。 登录OBS Browser+。OBS Browser+支持AK方式登录，以及授权码登录两种登录方式。
作业编辑页面 对于依赖的这个Python第三方库的压缩包有一定的结构要求，例如，PySpark程序依赖了模块moduleA（import moduleA），那么其压缩包要求满足如下结构： 图2 压缩包结构要求 即在压缩包内有一层以模块名命名的文件夹，然后才是对应类的Python文件，通常下载下来的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
