检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
performing GSS wrap”信息 回答 问题原因： 在IBM JDK下建立的JDBC connection时间超过登录用户的认证超时时间（默认一天），导致认证失败。 IBM JDK的机制跟Oracle JDK的机制不同，IBM JDK在认证登录后的使用过程中做了时间检查却没有检测外部的
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/user
IntelliJ IDEA中远程提交拓扑执行Main时报错：Command line is too long 问题 IntelliJ IDEA中远程提交拓扑，执行Main方法时IntelliJ IDEA报如下错 ： Command line is too long. Shorten
如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 问题 创建一个新的Flink用户，提交任务，ZooKeeper目录无权限导致提交Flink任务失败，日志中报如下错误： NoAuth for /flink_base/flink/application_1499222480199_0013
如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印，该如何查看此调试日志？避免与运行日志混在一起打印，如何将业务日志单独输出至指定文件？ 回答 Flink所有的运行
Spark Structured Streaming样例程序（Scala） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com
Spark应用名在使用yarn-cluster模式提交时不生效 问题 Spark应用名在使用yarn-cluster模式提交时不生效，在使用yarn-client模式提交时生效，如图1所示，第一个应用是使用yarn-client模式提交的，正确显示代码里设置的应用名Spark P
performing GSS wrap”信息 回答 问题原因： 在IBM JDK下建立的JDBC connection时间超过登录用户的认证超时时间（默认一天），导致认证失败。 IBM JDK的机制跟Oracle JDK的机制不同，IBM JDK在认证登录后的使用过程中做了时间检查却没有检测外部的
ARM环境python pipeline运行报139错误码规避方案 问题 在TaiShan服务器上，使用python插件的pipeline报错显示139错误。具体报错如下： subprocess exited with status 139 回答 该python程序既使用了libcrypto
inux环境中编包并运行Spark程序。 运行Python样例代码无需通过Maven打包。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/example/” ）下。 运行任务 登录Spark客户端节点，执行如下命令： source 客户端安装目录/bigdata_env
使用Spark执行Hudi样例程序（Python） 使用python写Hudi表 下面代码片段仅为演示，具体代码参见：sparknormal-examples.SparkOnHudiPythonExample.hudi_python_write_example。 插入数据： #insert
如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 问题 创建一个新的Flink用户，提交任务，ZooKeeper目录无权限导致提交Flink任务失败，日志中报如下错误： NoAuth for /flink_base/flink/application_1499222480199_0013
topics”与“tasks.max”配置的参数值的最小值。 处理步骤 登录FusionInsight Manager，选择“集群 > 服务 > CDL”，单击“CDLService UI”右侧的超链接进入CDLService WebUI界面，在数据同步任务作业列表界面选择该作业所在行的“更多
Spark SQL ROLLUP和CUBE使用的注意事项 问题 假设有表src(d1, d2, m)，其数据如下： 1 a 1 1 b 1 2 b 2 对于语句select d1, sum(d1) from src group by d1, d2 with rollup其结果如下：
Spark SQL在不同DB都可以显示临时表 问题 切换数据库之后，为什么还能看到之前数据库的临时表？ 创建一个DataSource的临时表，例如以下建表语句。 create temporary table ds_parquet using org.apache.spark.sql
基于某些业务要求，要求开发MapReduce应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“,”。 log1.txt：周六网民停留日志 LiuYang
cipher.list”配置项的值，否则以HTTPS访问不了Yarn。单击“保存”，在“保存配置”中单击“确定”，保存完成后选择“更多＞重启服务”重启该服务。 MapReduce的配置项hadoop.ssl.enabled.protocols和ssl.server.exclude.cipher
keytab文件上传到客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user
避免客户端由于无限等待服务端的返回而挂起。使用方式如下： 在执行“DriverManager.getConnection”方法获取JDBC连接前，添加“DriverManager.setLoginTimeout(n)”方法来设置超时时长，其中n表示等待服务返回的超时时长，单位为秒
Spark Structured Streaming样例程序（Scala） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
