检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分析Hive组件的“jdbc-examples”样例工程，不存在类似问题，是因为该工程的classpath路径下，存在core-site.xml配置文件，此配置文件上设置“hadoop.security.authentication”为“kerberos”。 解决办法 属于用户使用不当。对于本业务
动释放“/system/balancer.id”文件，可再次正常执行Balance。 但在上述场景中，由于第一次的Balance操作是被异常停止的，所以第二次进行Balance操作时，“/system/balancer.id”文件仍然存在，则会触发append /system/balancer
只能用在key-value对上，然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey(): Map[K, Long] 对每个key出现的次数做统计。 foreach(func: (T) => Unit): Unit 在数据集的每一个元素上，运行函数func。 countByValue()(implicit
只能用在key-value对上，然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey(): Map[K, Long] 对每个key出现的次数做统计。 foreach(func: (T) => Unit): Unit 在数据集的每一个元素上，运行函数func。 countByValue()(implicit
ZooKeeper通过访问控制列表（ACL）来对znode进行访问控制。ZooKeeper客户端为znode指定ACL，ZooKeeper服务器根据ACL列表判定某个请求znode的客户端是否有对应操作的权限。ACL设置涉及如下四个方面。 查看ZooKeeper中znode的ACL。
只能用在key-value对上，然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey(): Map[K, Long] 对每个key出现的次数做统计。 foreach(func: (T) => Unit): Unit 在数据集的每一个元素上，运行函数func。 countByValue()(implicit
只能用在key-value对上，然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey(): Map[K, Long] 对每个key出现的次数做统计。 foreach(func: (T) => Unit): Unit 在数据集的每一个元素上，运行函数func。 countByValue()(implicit
配置Hive元数据存储至RDS 本章节指导用户将现有集群的Hive元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据，且元数据不随集群的删除而删除，也能够避免集群迁移时Hive元数据的迁移。 创建并配置RDS实例 登录RDS管理控制台，购买RDS实例，具体操作请参考购买实例。
PARTITION时指定了分区保存路径，那么在DROP PARTITION执行后，分区所在文件夹和数据不会被删除。如果ADD PARTITION时未指定分区保存路径，分区目录将从HDFS上删除，数据会移到.Trash/Current文件夹。 ALTER TABLE table_name DROP [IF
对权限进行检查。 当表是parquet表时，元数据信息包括文件的Split信息。Split信息需要调用HDFS的接口去读取，当表包含的文件数量很多时，串行读取Split信息变得缓慢，影响性能。故对此做了优化，当表包含的文件大于一定阈值（即spark.sql.sources.parallelSplitDiscovery
因为MRS操作系统用户组个数限制，导致Hive不能创建超过32个角色，开启此功能后，Hive将支持创建超过32个角色。 开启本功能并对表库等授权后，对表库目录具有相同权限的角色将会用“|”合并。查询ACL权限时，将显示合并后的结果，与开启该功能前的显示会有区别。此操作不可逆，请充分考虑实际应用场景，再决定是否做出调整。
Web UI没有显示损坏数据的信息。 当此错误被修复后，HDFS Web UI没有及时移除损坏数据的相关信息。 回答 DataNode只有在执行文件操作发生错误时，才会去检查磁盘是否正常，若发现数据损坏，则将此错误上报至NameNode，此时NameNode才会在HDFS Web UI显示数据损坏信息。
使用Flume客户端加密工具 安装Flume客户端后，配置文件的部分参数可能需要填写加密的字符，Flume客户端中提供了加密工具。 安装Flume客户端。 登录安装Flume客户端的节点，并切换到客户端安装目录。例如“/opt/FlumeClient”。 切换到以下目录 cd f
的Kerberos用户，认证后执行分析任务示例在“hive-examples/python3-examples/pyCLI_sec.py”文件中。 导入hive类 from pyhive import hive 创建JDBC连接。 connection = hive.Connec
x的过程中，修改了openssl的文件目录权限，导致LdapServer服务无法正常启动，从而引起登录认证失败。 处理步骤 以root用户登录集群的Master节点。 执行chmod 755 /usr/bin/openssl命令，修改/usr/bin/openssl的文件目录权限为755。 执行su
为什么在往HDFS写数据时报“java.net.SocketException: No buffer space available”异常？ 这个问题发生在往HDFS写文件时。查看客户端和DataNode的错误日志。 客户端日志如下： 图1 客户端日志 DataNode日志如下： 2017-07-24 20:43:39
t写入小数据量时可能触发更新数据的小文件合并，使在Mor表的读优化视图中能查到部分更新数据。 当update的数据对应的base文件是小文件时，insert中的数据和update中的数据会被合在一起和base文件直接做合并产生新的base文件，而不是写log。 分区设置操作 Hu
数据存储文件生成索引信息。 用Flink状态索引，Flink写入后，不支持Spark继续写入。 Flink在写Hudi的MOR表只会生成log文件，后续通过compaction操作，将log文件转为parquet文件。Spark在更新Hudi表时严重依赖parquet文件是否存在
删除“/sys/fs/cgroup/cpuset/hadoop-yarn/”路径下container文件夹（如果存在）。 删除“/sys/fs/cgroup/cpuset/hadoop-yarn/”路径下cpuset.cpus文件中设置的所有CPU。 操作步骤 登录Manager系统。选择“集群 > 待操作集群的名称
jar，请从软件发布包中Software文件夹下“FusionInsight_Spark2x_8.1.0.1.tar.gz”压缩包中的“jars”目录中获取。 用户应用程序的编译依赖包根据代码不同而不同，需用户根据自己编写的代码进行加载。 将运行程序的依赖Jar包上传至需要运行此应
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
