检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时，发现连接不上MRS集群，而在Linux环境下（和安装了MRS集群的机器是同一个网络）却运行正常。 回答 由于Kerberos认证需要使用UDP协议，而防火墙做了特殊处理关掉了需要使用的UDP端口，导致应用程序在
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现，它底层使用了Spark SQL来处理SQL语句，从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口，用户可以通过JDBC连接JDBCServer
Spark同步HBase数据到CarbonData（Java） 以下为Spark同步HBase数据到CarbonData的Java示例。 下面代码片段仅为演示。 具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。
如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题 问题 Flink任务配置State Backend为RocksDB时，运行报如下错误： Caused by: java.lang.UnsatisfiedLinkError: /srv/BigData
如何处理blob.storage.directory配置/home目录时启动yarn-session失败 问题 当用户设置“blob.storage.directory”为“/home”时，用户没有权限在“/home”下创建“blobStore-UUID”的文件，导致yarn-session
如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题 问题 Flink任务配置State Backend为RocksDB时，运行报如下错误： Caused by: java.lang.UnsatisfiedLinkError: /srv/BigData
调用REST接口访问HBase应用安全认证 场景说明 HBase服务安装时可选部署RESTServer实例，可通过访问HBase REST服务的形式调用HBase相关操作，包括对Namespace、table的操作等。访问HBase REST服务同样需要进行Kerberos认证。
MapReduce统计样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发MapReduce应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间
如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 问题 创建一个新的Flink用户，提交任务，ZooKeeper目录无权限导致提交Flink任务失败，日志中报如下错误： NoAuth for /flink_base/flink/application_1499222480199
Spark应用名在使用yarn-cluster模式提交时不生效 问题 Spark应用名在使用yarn-cluster模式提交时不生效，在使用yarn-client模式提交时生效，如图1所示，第一个应用是使用yarn-client模式提交的，正确显示代码里设置的应用名Spark Pi
第三方jar包跨平台（x86、TaiShan）支持 问题 用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本，如何让spark2x支持其正常运行。 回答 第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案： 进入到服务端spark2x
使用Spark执行Hudi样例程序（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieWriteClientExample 创建客户端对象来操作Hudi： String tablePath = args[0
如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印，该如何查看此调试日志？避免与运行日志混在一起打印，如何将业务日志单独输出至指定文件？ 回答 Flink所有的运行日志打印都会打印至
通过ThriftServer实例向HBase表中写入数据 功能简介 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，分别使用put和putMultiple进行写数据操作。 代码样例 方法调用
通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 功能简介 通过HSBroker连接方式实现，使用用户名和密码连接到HetuEngine，组装对应的SQL发送到HetuEngine执行。 public class JDBCExampleBroker {
向动态分区表中插入数据时，在重试的task中出现"Failed to CREATE_FILE"异常 问题 向动态分区表中插入数据时，shuffle过程中大面积shuffle文件损坏（磁盘掉线、节点故障等）后，为什么会在重试的task中出现"Failed to CREATE_FILE
建表语句分区列为timestamp时，使用非标准格式的时间指定分区查询表统计失败 问题 建表语句分区列为timestamp时，使用非标准格式的时间指定分区查询表统计失败以及show partitions table结果编码不对。 执行desc formatted test_hive_orc_snappy_internal_table
执行analyze table语句，因资源不足出现任务卡住 问题 使用spark-sql执行analyze table语句，任务一直卡住，打印的信息如下： spark-sql> analyze table hivetable2 compute statistics; Query ID
为什么Spark Streaming应用创建输入流，但该输入流无输出逻辑时，应用从checkpoint恢复启动失败 问题 Spark Streaming应用创建1个输入流，但该输入流无输出逻辑。应用从checkpoint恢复启动失败，报错如下： 17/04/24 10:13:57
Spark2x导出带有相同字段名的表，结果导出失败 问题 在Spark2x的spark-shell上执行如下语句失败： val acctId = List(("49562", "Amal", "Derry"), ("00000", "Fred", "Xanadu")) val rddLeft
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
