检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
install。 如下内容表示安装setuptools的47.3.1版本成功。 Finished processing dependencies for setuptools==47.3.1 若提示setuptools的47.3.1版本安装不成功,则需要检查环境是否有问题或是Python自身原因导致的。
ARM环境python pipeline运行报139错误码 问题 在TaiShan服务器上,使用python插件的pipeline报错显示139错误。具体报错如下: subprocess exited with status 139 回答 该python程序既使用了libcrypto
自定义排序器 编写自定义排序类继承BulkInsertPartitioner,在写入Hudi时加入配置: .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例: public class
查询HBase全局二级索引信息 场景介绍 用户可以使用全局二级索引工具批量查看某个数据表相关索引的定义及状态。 查询HBase全局二级索引信息 在HBase客户端执行以下命令可查看索引的定义及状态: hbase org.apache.hadoop.hbase.hindex.global
批量构建HBase全局二级索引数据 场景介绍 在用户的表中预先存在大量数据的情况下,可基于MapReaduce任务,批量构建已有数据的索引数据。 批量构建全局二级索引数据 只有处于INACTIVE状态的索引才能进行批量构建,如需重建索引数据,请先修改索引状态。 数据表中存在大量数
配置用户租约隔离访问指定节点的HiveServer Hive用户租约隔离即可以限定指定用户访问指定节点上的HiveServer服务,实现对用户访问HiveServer服务的资源隔离。 操作步骤 以对用户hiveuser设置租约隔离为例,选取Hive当前已有的或者新添加一个或者多个
当一个NodeManager处于unhealthy的状态10分钟时,新应用程序失败 问题 当一个NM(NodeManager)处于unhealthy的状态10分钟时,新应用程序失败。 回答 当nodeSelectPolicy为SEQUENCE,且第一个连接到RM的NM不可用时,RM会在“yarn
使用Ranger时适配第三方JDK 配置场景 当使用Ranger作为spark sql的权限管理服务时,访问RangerAdmin需要使用集群中的证书。如果用户未使用集群中的JDK或者JRE,而是使用第三方JDK时,会出现访问RangerAdmin失败,进而spark应用程序启动失败的问题。
为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同? 问题 为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同? 回答 转义字符以反斜线"\"开头,后跟一个或几个字符。如果输入记录包含类似\t,\b,\n,\r,\f,\',\",\
如何清理由于建表失败残留在ZooKeeper的table-lock节点下的表名 问题 安全模式下,由于建表失败,在ZooKeeper的table-lock节点(默认路径/hbase/table-lock)下残留有新建的表名,请问该如何清理? 回答 操作步骤如下: 在安装好客户端的
MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常 问题 HBase bulkload任务有210000个map和10000个reduce,MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常。 For more
16T的文本数据转成4T Parquet数据失败 问题 使用默认配置时,16T的文本数据转成4T Parquet数据失败,报如下错误信息。 Job aborted due to stage failure: Task 2866 in stage 11.0 failed 4 times
用add jar方式创建function,执行drop function时出现问题 问题 问题一: 用户没有drop function的权限,能够drop成功。具体场景如下: 在FusionInsight Manager页面上添加user1用户,给予用户admin权限,执行下列操作:
MRS_hbase 集群类型 提供几种集群类型: 分析集群 流式集群 混合集群 自定义 自定义 版本类型 提供以下版本类型: 普通版 LTS版 普通版 集群版本 MRS目前支持的版本。 MRS 3.1.0 组件选择 MRS集群配套的组件,MRS不同版本集群支持的组件版本请参见MRS组件版本一览表。
dc=com”和“cn=krbadmin,ou=Users,dc=hadoop,dc=com”的密码,以提升系统运维安全性。 该章节仅适用于MRS 3.1.0版本。MRS 3.1.0之后版本请参考修改OMS服务配置章节。 对系统的影响 修改密码后需要重启KrbServer服务。 修改密码后需要确认LDAP管理账户“cn=krbkdc
ou=Users,dc=hadoop,dc=com 该章节仅适用于MRS 2.x及之前版本和MRS 3.1.0版本,MRS 3.1.0之后版本请参考修改OMS服务配置章节。 针对MRS 3.1.0版本集群: 修改上述用户密码将同步修改OMS LDAP管理员或用户密码。 旧版本集群升级到新版本后
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析,用户将鼠标置于Tasks的彩色小方框上,无法显示彩色小框的title说明,如图1所示。正常的显示界面如图2所示。
如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印,该如何查看此调试日志?避免与运行日志混在一起打印,如何将业务日志单独输出至指定文件? 回答 Flink所有的运行
执行analyze table语句,因资源不足出现任务卡住 问题 使用spark-sql执行analyze table语句,任务一直卡住,打印的信息如下: spark-sql> analyze table hivetable2 compute statistics; Query ID
为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 问题 FusionInsight版本中,在客户端采用yarn-client模式运行Spark应用,然后从Yarn的页面打开该应用的Web UI界面,出现下面的错误: 从YARN ResourceManager的日志看到: