检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例程序，不仅需要添加--jars参数，还需要配置其他，否则会报“ClassNotFoundException”错误，yarn-client和yarn-cluster模式下稍有不同。 yarn-client模式下 在除--jars参数外，在客户端“spark-defaults.conf”配置文件中，将“spark
将签名信息添加到消息头，从而通过身份认证。 AK(Access Key ID)：访问密钥ID。与私有访问密钥关联的唯一标识符；访问密钥ID和私有访问密钥一起使用，对请求进行加密签名。 SK(Secret Access Key)：与访问密钥ID结合使用的密钥，对请求进行加密签名，可标识发送方，并防止请求被修改。
例程序，不仅需要添加--jars参数，还需要配置其他，否则会报“ClassNotFoundException”错误，yarn-client和yarn-cluster模式下稍有不同。 yarn-client模式下 在除--jars参数外，在客户端“spark-defaults.conf”配置文件中，将“spark
打印审计日志，会消耗一定操作系统性能，经过分析仅影响不到1%。 打印审计日志，会占用一定磁盘空间。该日志打印量不大，MB级别，且默认配置有老化机制和检测磁盘剩余空间机制，不会占满磁盘。 定位方法 在DataNode进程可能发生重启的所有节点，分别执行以下操作。 以root用户登录节点，执行service
r新建连接则需要重新认证，否则就会执行失败。因此，若长期执行应用过程中需要新建连接，用户需要在“url”中添加user.principal和user.keytab认证信息，以保证每次建立连接时认证成功，例如，“url”中需要加上“user.principal=sparkuser;user
r新建连接则需要重新认证，否则就会执行失败。因此，若长期执行应用过程中需要新建连接，用户需要在“url”中添加user.principal和user.keytab认证信息，以保证每次建立连接时认证成功，例如，“url”中需要加上“user.principal=sparkuser;user
Kakfa消费者读取单条记录过长问题 问题背景与现象 和“Kafka生产者写入单条记录过长问题”相对应的，在写入数据后，用户开发一个应用，以消费者调用新接口（org.apache.kafka.clients.consumer.*）到Kafka上读取数据，但读取失败，报异常大致如下：
例程序，不仅需要添加--jars参数，还需要配置其他，否则会报“ClassNotFoundException”错误，yarn-client和yarn-cluster模式下稍有不同。 yarn-client模式下 在除--jars参数外，在客户端“spark-defaults.conf”配置文件中，将“spark
例程序，不仅需要添加--jars参数，还需要配置其他，否则会报“ClassNotFoundException”错误，yarn-client和yarn-cluster模式下稍有不同。 yarn-client模式下 在除--jars参数外，在客户端“spark-defaults.conf”配置文件中，将“spark
ager的WebUI页面。 KafkaManager的WebUI支持查看以下信息： Kafka集群列表 Kafka集群Broker节点列表和Metric监控 Kafka集群副本监控 Kafka集群Consumer监控 在KafkaManager的任何子页面单击左上角KafkaMa
到Oracle官方网站获取与JDK版本对应的JCE（Java Cryptography Extension）文件。JCE文件解压后包含“local_policy.jar”和“US_export_policy.jar”。拷贝jar包到如下路径。 Linux：JDK安装目录/jre/lib/security Win
HBase访问多个ZooKeeper样例程序 功能简介 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper，其中HBase客户端访问FusionInsight ZooKeeper，客户应用访问第三方ZooKeeper。 代码样例
停日志） audit： “/var/log/Bigdata/loader/audit”（审计日志） 日志归档规则： Loader的运行日志和审计日志，启动了自动压缩归档功能，默认情况下，当日志大小超过10MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>
停日志） audit： “/var/log/Bigdata/loader/audit”（审计日志） 日志归档规则： Loader的运行日志和审计日志，启动了自动压缩归档功能，默认情况下，当日志大小超过10MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>
在python-examples/pyCLI_sec.py和python-examples/pyline.py的conf数组中的“hadoop.hadoop.com”修改为hadoop.实际域名。实际域名可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信 > 本端域” 查看。
configuration. ....... 原因分析 经分析因为在写数据到Kafka时，Kafka客户端会先比较配置项“max.request.size ”值和本次写入数据大小，若写入数据大小超过此配置项“max.request.size ”的缺省值，则抛出上述异常。 解决办法 在初始化Kafka生产者实例时，设置此配置项“max
e过程中无需传递数据，直接在节点本地做Map Join后就能得到结果，性能显著提升。 HDFS数据同分布特性，使得需要做关联和汇总计算的两个文件FileA和FileB，通过指定同一个分布ID，使其所有的Block分布在一起，不再需要跨节点读取数据就能完成计算，极大提高MapReduce
参考修改集群服务配置参数章节，进入ZooKeeper服务“全部配置”页面。不断尝试调大ZooKeeper配置文件“zoo.cfg”中的“syncLimit”和“initLimit”两参数值，直到ZooKeeperServer正常。 表1 参数说明 参数 描述 默认值 syncLimit follo
r新建连接则需要重新认证，否则就会执行失败。因此，若长期执行应用过程中需要新建连接，用户需要在“url”中添加user.principal和user.keytab认证信息，以保证每次建立连接时认证成功，例如，“url”中需要加上“user.principal=sparkuser;user
> 权限 > 域和互信”，查看“本端域”参数值获取。 zookeeper.sasl.client：如果MRS集群是安全模式，该值设置为“true”，否则设置为“false”，设置为“false”的情况下，“zookeeper.sasl.clientconfig”和“zookeeper
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
