检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
升级Master节点规格需要关机吗? 问: 在MRS集群中升级Master节点规格时需要手动关机吗? 答: 随着用户业务的增长,Core节点的扩容,CPU使用率变高,而Master节点规格已经不满足用户需求时,则需要升级Master节点规格。 MRS服务集群的Master节点规格升级时会自动触发关
检查HBase全局二级索引数据一致性 场景介绍 可使用全局二级索引工具检查用户数据和索引数据的一致性,如果索引数据与用户数据不一致,该工具可用于重新构建索引数据。 检查全局二级索引数据一致性 在HBase客户端执行以下命令可检查数据一致性,如果不一致,将重新构建索引数据。一致性检
Oozie作业设计器使用介绍 访问Hue WebUI,请参考访问Hue WebUI界面。 在左侧导航栏单击,选择“Workflow”。 在作业设计器,支持用户创建MapReduce、Java、Streaming、Fs、Ssh、Shell和DistCp作业。 编辑器使用介绍 访问Hue WebUI,请参考访问Hue
S, auto_tgts); if(args.length >= 2) { //用户更改了默认的keytab文件名,这里需要将新的keytab文件名通过参数传入 conf.put(Config.ST
Loader进程gc日志 sqoopInstanceCheck.log Loader实例健康检查日志 审计日志 default.audit Loader操作审计日志(例如:作业的增删改查、用户的登录)。 tomcat日志 catalina.out tomcat的运行日志 catalina
SQL中使用substr(),substring(),strleft()等函数截取中文字符时,不能把中文当做1个字符长度来处理,导致报编码问题。 处理步骤 登录Impala客户端安装节点,执行以下命令。 cd 客户端安装目录 source bigdata_env 执行以下命令创建表。 impala-shell
Launcher一次容许的最大值2KB(2048 Bytes),需要调大默认的输出参数值,调整该参数不会对集群性能造成影响。 处理步骤 登录Manager页面,选择“集群 > 服务 > Oozie > 配置 > 全部配置 > 自定义”,在“oozie-site.xml”的配置项中添加参数“oozie
java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.SparkHivetoHbase') # 创建类实例并调用方法 spark._jvm.SparkHivetoHbase().hivetohbase(spark._jsc) # 停止SparkSession
java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.SparkHivetoHbase') # 创建类实例并调用方法 spark._jvm.SparkHivetoHbase().hivetohbase(spark._jsc) # 停止SparkSession
在创建租户时会生成对应的角色,执行删除租户操作时会首先删除对应的角色。此时如果支持权限配置的组件状态异常,则会导致删除这个角色对应的资源权限失败。 处理步骤 登录FusionInsight Manager,选择“系统 > 权限 > 角色”。 单击“添加角色”,在“配置资源权限”中单击集群名称,确认可配置资源权限的组件。
java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.SparkHivetoHbase') # 创建类实例并调用方法 spark._jvm.SparkHivetoHbase().hivetohbase(spark._jsc) # 停止SparkSession
info("Exiting testPut."); } 注意事项 不允许多个线程在同一时间共用同一个HTable实例。HTable是一个非线程安全类,因此,同一个HTable实例,不应该被多个线程同时使用,否则可能会带来并发问题。 父主题: HBase数据读写样例程序
xml”中(例如“客户端安装路径/HDFS/hadoop/etc/hadoop/”)配置如下参数。 表1 参数描述 参数 描述 默认值 io.compression.codecs 为了使LZC压缩格式生效,在现有的压缩格式列表中增加如下值: “com.huawei.hadoop.datasight.io.compress
完整迁移Storm业务 操作场景 该任务指导用户通过Storm业务完整迁移的方式转换并运行完整的由Storm API开发的Storm拓扑。 操作步骤 打开Storm业务工程,修改工程的pom文件,增加“flink-storm” 、“flink-core”和“flink-streaming-java_2
Sqlline接口介绍 用户可以直接使用sqlline.py在服务端对HBase进行SQL操作。 Phoenix的sqlline接口与开源社区保持一致。 详情请参见http://phoenix.apache.org/。 父主题: HBase对外接口介绍
有大量的IO Exception Timeout或者SocketTimeout Exception异常。 调优建议: 将ZooKeeper实例个数调整为5个及以上,可以通过设置peerType=observer来增加observer的数目。 通过控制单个任务并发的map数或减少每
Iceberg常用参数 本章节主要介绍Iceberg重要配置的详细信息。Iceberg表支持使用表属性来配置表的行为,例如读取器的默认拆分大小。 表1 读属性 属性名称 默认值 描述 read.split.target-size 134217728(128MB) 用于设置数据被拆分后的大小。
也会提示上述错误信息。 可能原因 多个HiveServer之间或者Hive与Spark之间共用的元数据未同步,导致不同HiveServer实例内存数据不一致,造成UDF不生效。 解决方案 需要将新建的UDF信息同步到HiveServer中,执行reload function操作即可。
SHOW SEGMENTS 命令功能 SHOW SEGMENTS命令是用来向用户展示CarbonData table的Segment。 命令格式 SHOW SEGMENTS FOR TABLE [db_name.]table_name LIMIT number_of_loads;
SHOW SEGMENTS 命令功能 SHOW SEGMENTS命令是用来向用户展示CarbonData table的Segment。 命令格式 SHOW SEGMENTS FOR TABLE [db_name.]table_name LIMIT number_of_loads;