检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
per文件目录权限不足？ 问题 创建一个新的Flink用户，提交任务，ZooKeeper目录无权限导致提交Flink任务失败，日志中报如下错误： NoAuth for /flink/application_1499222480199_0013 回答 由于在Flink配置文件中“high-availability
Existing Projects into Workspace > Next >Browse”。 显示“浏览文件夹”对话框。 选择文件夹“impala-examples”。Windows下要求该文件夹的完整路径不包含空格。 单击“Finish”。 导入成功后，com.huawei.bigdata
out.println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印，该如何查看此调试日志？避免与运行日志混在一起打印，如何将业务日志单独输出至指定文件？ 回答 Flink所有的运行日志打印都会打印至Yarn
服务，其UI页面就是通过读取解析这些日志文件获得的。在启动HistoryServer进程时，内存大小就已经定了。因此当日志文件很大时，加载解析这些文件就可能会造成内存不足，driver gc等问题。 所以为了在小内存模式下能加载较大日志文件，需要对大应用开启日志滚动功能。一般情况下，长时间运行的应用建议打开该功能。
服务，其UI页面就是通过读取解析这些日志文件获得的。在启动HistoryServer进程时，内存大小就已经定了。因此当日志文件很大时，加载解析这些文件就可能会造成内存不足，driver gc等问题。 所以为了在小内存模式下能加载较大日志文件，需要对大应用开启日志滚动功能。一般情况下，长时间运行的应用建议打开该功能。
HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件之后的添加操作。HDFS保证一个文件在一个
API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。 Shell 提供shell命令完成HDFS文件系统的基本操作。 HTTP
读取文件的过程如图1所示。 图1 读取文件过程 读取文件步骤的详细描述如下所示： Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。 Driver根据具体的Block数据量，决定一个并行度，创建多个Task去读取这些文件Block。
out.println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印，该如何查看此调试日志？避免与运行日志混在一起打印，如何将业务日志单独输出至指定文件？ 回答 Flink所有的运行日志打印都会打印至Yarn
如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 问题 创建一个新的Flink用户，提交任务，ZooKeeper目录无权限导致提交Flink任务失败，日志中报如下错误： NoAuth for /flink_base/flink/application_1499222480199_0013
“JDBCExample.java”中，实现该功能的模块如下： 读取HiveServer客户端property文件，其中“hiveclient.properties”文件在“hive-jdbc-example/src/main/resources”目录下。 Properties clientInfo
“JDBCExample.java”中，实现该功能的模块如下： 读取HiveServer客户端property文件，其中“hiveclient.properties”文件在“hive-jdbc-example/src/main/resources”目录下。 Properties clientInfo
Keeper失败。 回答 可能原因为IBM的JDK和普通JDK的jaas.conf文件格式不一样。 在使用IBM JDK时，建议使用如下jaas.conf文件模板，其中“useKeytab”中的文件路径必须以“file://”开头，后面为绝对路径。 Client { com.ibm
“JDBCExample.java”中，实现该功能的模块如下： 读取HiveServer客户端property文件，其中“hiveclient.properties”文件在“hive-jdbc-example\src\main\resources”目录下。 Properties clientInfo
Projects into Workspace > Next >Browse”。 显示“浏览文件夹”对话框。 选择文件夹“hive-examples”，如图1所示。Windows下要求该文件夹的完整路径不包含空格。 图1 导入样例工程到Eclipse中 单击“Finish”。 导入成功后，com
“JDBCExample.java”中，实现该功能的模块如下： 读取HiveServer客户端property文件，其中“hiveclient.properties”文件在“hive-jdbc-example\src\main\resources”目录下。 Properties clientInfo
初始化操作。过程为： 加载HDFS服务配置文件。 实例化Filesystem。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hadoop-examples”工程的“conf”目录。 表1 配置文件 文件名称 作用 core-site.xml 配置HDFS详细参数。
导入DWS表数据至ClickHouse ClickHouse支持CSV、JSON等格式文件的数据导入导出操作。本章节主要介绍怎么把DWS数据仓库服务中的表数据导出到CSV文件，再把CSV文件数据导入到ClickHouse表中。 前提条件 ClickHouse集群和实例状态正常。
本章节主要介绍开发Doris UDF程序时应遵循的规则和建议。 Doris UDF开发规则 UDF中方法调用必须是线程安全的。 UDF实现中禁止读取外部大文件到内存中，如果文件过大可能会导致内存耗尽。 需避免大量递归调用，否则容易造成栈溢出或oom。 需避免不断创建对象或数组，否则容易造成内存耗尽。 Java
如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装JDK并已设置java相关环境变量。 在Windows中调测程序 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 通过IntelliJ
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
