检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息 问题 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息 回答 问题原因： 在IBM JDK下建立的JDBC connection时间超过登
使用Spark执行Hudi样例程序（Python） 使用python写Hudi表 下面代码片段仅为演示，具体代码参见：sparknormal-examples.SparkOnHudiPythonExample.hudi_python_write_example。 插入数据： #insert
如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 问题 创建一个新的Flink用户，提交任务，ZooKeeper目录无权限导致提交Flink任务失败，日志中报如下错误： NoAuth for /flink_base/flink/application_1499222480199_0013
WebUI界面，在数据同步任务作业列表界面选择该作业所在行的“更多 > 停止”，等待任务停止完成后选择“更多 > 编辑”。 修改Thirdk Kafka的“tasks.max”参数值与“source.topics”配置的Topic数一致，并单击“保存”。 在数据同步任务作业列表界面选择该任务所在行的“启动”，重新启动该任务。
如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印，该如何查看此调试日志？避免与运行日志混在一起打印，如何将业务日志单独输出至指定文件？ 回答 Flink所有的运行
为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 问题 FusionInsight版本中，在客户端采用yarn-client模式运行Spark应用，然后从Yarn的页面打开该应用的Web UI界面，出现下面的错误： 从YARN ResourceManager的日志看到：
连接前，添加“DriverManager.setLoginTimeout(n)”方法来设置超时时长，其中n表示等待服务返回的超时时长，单位为秒，类型为Int，默认为“0”（表示永不超时）。 def executeSql(url: String, sqls: Array[String]):
builder() .appName("KafkaWordCount") .getOrCreate(); //创建表示来自kafka的输入行流的DataSet。 Dataset<String> lines = spark .readStream()
SparkSession.builder.appName("KafkaWordCount").getOrCreate() # 创建表示来自kafka的input lines stream的DataFrame # 安全模式要修改spark/conf/jaas.conf和jaas-zk
运行SparkStreamingKafka样例工程时报“类不存在”问题 问题 通过spark-submit脚本提交KafkaWordCount（org.apache.spark.examples.streaming.KafkaWordCount）任务时，日志中报Kafka相关的类
} ] } } 结果分析： 通过这个接口，可以查询当前集群中已完成的MapReduce任务，并且可以得到表1 表1 常用信息 参数 参数描述 submitTime 任务提交时间 startTime 任务开始执行时间 finishTime 任务执行完成时间
连接前，添加“DriverManager.setLoginTimeout(n)”方法来设置超时时长，其中n表示等待服务返回的超时时长，单位为秒，类型为Int，默认为“0”（表示永不超时）。 def executeSql(url: String, sqls: Array[String]):
SparkSession.builder.appName("SecurityKafkaWordCount").getOrCreate() # 创建表示来自kafka的input lines stream的DataFrame # 安全模式要修改spark/conf/jaas.conf和jaas-zk
运行SparkStreamingKafka样例工程时报“类不存在”问题 问题 通过spark-submit脚本提交KafkaWordCount（org.apache.spark.examples.streaming.KafkaWordCount）任务时，日志中报Kafka相关的类
使用Spark执行Hudi样例程序（Scala） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。 插入数据： def insertData(spark: SparkSession
使用Spark执行Hudi样例程序（Python） 下面代码片段仅为演示，具体代码参见：HudiPythonExample.py。 插入数据： #insert inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringList(dataGen
使用Spark执行Hudi样例程序（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieWriteClientExample。 创建客户端对象来操作Hudi： String tablePath = args[0];
IntelliJ IDEA中远程提交拓扑执行Main时报错：Command line is too long 问题 IntelliJ IDEA中远程提交拓扑，执行Main方法时IntelliJ IDEA报如下错 ： Command line is too long. Shorten
运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 问题现象 已经拥有Topic访问权限，但是运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata for
apreduce/input/ 创建HBase表并插入数据。 在Linux系统HBase客户端执行source bigdata_env，并使用命令hbase shell。 在HBase shell交互窗口创建数据表table1，该表有一个列族cf，使用命令create 'table1'
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
