检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer.sh”时，默认使用此API。 旧Producer API 指kafka.producer.Producer中定义的接口，在使用“kafka-console-producer
Flink DataStream样例程序（Scala） 功能介绍 实时统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印出来。 DataStream FlinkStreamScalaExample代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata
+-------+-----------------+------+--+ EXCEPT、INTERSECT 语法简介 EXCEPT返回两个结果集的差（即从左查询中返回右查询没有找到的所有非重复值）。 INTERSECT返回两个结果集的交集（即两个查询都返回的所有非重复值）。 例如，Hive中有两张表“
+-------+-----------------+------+--+ EXCEPT、INTERSECT EXCEPT返回两个结果集的差（即从左查询中返回右查询没有找到的所有非重复值）。 INTERSECT返回两个结果集的交集（即两个查询都返回的所有非重复值）。 例如，Hive中有两张表“
修改所有Master节点上的“/opt/Bigdata/om-0.0.1/sbin/addRealm.sh”脚本中的add_cross_realm_princ方法中的local cross_realm_account_pwd="${DEFAULT_CROSS_REALM_PWD}"为local
的字段需要使用反引号括起来，例如：hello,world修改为`hello,world`。 字段中的"需要被替换成转义字符\"，例如："world"修改为\"world\"。 字段中的'需要被替换成转义字符\'，例如：'world' 修改为\'world\'。 如果输入的值为时间
某些组件或者业务程序写入的文件大小 distcp 从源集群读文件后写入新集群，默认是使用的MapReduce任务中的dfs.blocksize，默认128M。 在distcp写完文件后，会基于块的物理大小做校验，因为该文件在新旧集群中block.size不一致，因此拆分大小不一致，导致校验失败。 如以上文件，在旧集群是17
extraLibraryPath”。 不添加表1中配置项时，使用方式与原有方式一致，程序可正常执行，只是在不同模式下需切换配置。 配置参数 参数入口： 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，在搜索框中输入参数名称。 表1 参数介绍
extraLibraryPath”。 不添加表1中配置项时，使用方式与原有方式一致，程序可正常执行，只是在不同模式下需切换配置。 配置参数 参数入口： 在Manager系统中，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，在搜索框中输入参数名称。 表1 参数介绍 参数
登录华为云管理控制台界面，在“现有集群”列表中单击需要卸载补丁的集群名称，单击“补丁管理”页签，找到需要卸载的补丁，单击“卸载”，等待补丁卸载成功后，需要按照该章节顺序依次执行相关操作。 当“状态”显示为“卸载失败”时，在“失败任务”中查看错误提示信息，查找相应日志来定位处理。
登录华为云管理控制台界面，在“现有集群”列表中单击需要卸载补丁的集群名称，单击“补丁管理”页签，找到需要卸载的补丁，单击“卸载”，等待补丁卸载成功后，需要按照该章节顺序依次执行相关操作。 当“状态”显示为“卸载失败”时，在“失败任务”中查看错误提示信息，查找相应日志来定位处理。
登录华为云管理控制台界面，在“现有集群”列表中单击需要卸载补丁的集群名称，单击“补丁管理”页签，找到需要卸载的补丁，单击“卸载”，等待补丁卸载成功后，需要按照该章节顺序依次执行相关操作。 当“状态”显示为“卸载失败”时，在“失败任务”中查看错误提示信息，查找相应日志来定位处理。
Flink DataStream样例程序（Scala） 功能介绍 实时统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印出来。 代码样例 下面代码片段仅为演示，完整代码参见FlinkStreamScalaExample样例工程下的com.huawei.bigdata.flink
Flink DataStream样例程序（Scala） 功能介绍 实时统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印出来。 DataStream FlinkStreamScalaExample代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata
制。 冷存储中的数据常用于归档，会很少访问。如果冷存储中的数据被大量频繁请求访问，请检查冷热数据边界（COLD_BOUNDARY）配置是否正确。如果频繁查询的大量数据在冷存储中将会限制查询的性能。 如果冷存储中存储的一行数据中的某个字段更新，则更新的字段存储在热存储中。如果指定H
申请的HDFS资源需要在try/finally中释放，而不能只在try语句之外释放，否则会导致异常情况下的资源泄漏。 HDFS文件操作API概述 Hadoop中关于文件操作类基本上全部是在“org.apache.hadoop.fs”包中，这些API能够支持的操作包含：打开文件，读写
Flink DataStream样例程序（Scala） 功能介绍 实时统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印出来。 DataStream FlinkStreamScalaExample代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata
为什么ZooKeeper Server出现java.io.IOException: Len的错误日志 问题 在父目录中创建大量的znode之后，当ZooKeeper客户端尝试在单个请求中获取该父目录中的所有子节点时，将返回失败。 客户端日志，如下所示： 2017-07-11 13:17:19,610
为什么ZooKeeper Server出现java.io.IOException: Len的错误日志 问题 在父目录中创建大量的znode之后，当ZooKeeper客户端尝试在单个请求中获取该父目录中的所有子节点时，将返回失败。 客户端日志，如下所示： 2017-07-11 13:17:19,610
改善数据分块不均匀的情况，多次验证发现配置为质数或者奇数效果比较好。 在Driver端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数 描述 默认值 spark.sql.shuffle.partitions shuffle操作时，shuffle数据的分块数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
