检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表的示例,在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的HBaseSample方法中。 private TableName tableName = null; private Connection conn =
以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testModifyTable方法中 public void testModifyTable() { LOG.info("Entering testModifyTable
检查ClickHouse业务压力是否过大 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 以客户端安装用户,登录客户端的节点,执行如下命令: cd {客户端安装路径} source bigdata_env
在导航树选择指定的参数分类,并在右侧修改参数值。 支持在右上角输入参数名,Manager将实时进行搜索并显示结果。 单击“保存”,并在确认对话框中单击“确定”。 MRS 2.x及之前版本,请单击“保存配置”,勾选“重启角色实例”并单击“确定”,重启角色实例。 等待界面提示“操作成功”,单击“完成”,配置已修改。
adminZkClient.createTopic(topic, partitions, replicas) Partition的副本数不要超过节点个数 Kafka中Topic的Partition的副本是为了提升数据的可靠性而存在的,同一个Partition的副本会分布在不同的节点,因此副本数不允许超过节点个数。
File文件或WAL文件。登录FusionInsight Manager,选择“集群 > 服务 > HBase > 配置”,搜索并配置表1中的参数,参数支持动态生效,保存配置后登录hbase shell执行update_all_config即生效。 跳过损坏的文件可能会导致数据丢
org/hadoop/ConnectionRefused HDFS Sink未启动。 查看Flume运行日志,发现“ flume current metrics”中并没有Sink信息: 2019-02-26 11:46:05,501 | INFO | [pool-22-thread-1] | flume
以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的testCreateTable方法中。 public void testCreateTable() { LOG.info("Entering testCreateTable:
解决扩容刷新队列会导致队列丢失问题 MRS大数据组件 解决Hive on Spark任务报block id乱码,导致任务卡住问题 Hive中增加自研的接口 解决map.xml无法读取的问题 Hive har特性优化 解决ZK脏数据导致Yarn服务不可用问题 OBS包升级 JDK版本升级
-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=artifacts/heapdump 应用程序内存中需要保存大量数据,worker进程使用的内存大于2G,那么建议使用G1垃圾回收算法,可修改参数值为“-Xms2G -Xmx5G -XX:+UseG1GC”。
datanode.du.reserved.percentage”。 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数描述 参数 描述 默认值 dfs.datanode.du.reserved.percentage DataNode
例如:http://10.162.181.57:32261/config 基本认证(Basic Authentication) 在HTTP中,基本认证是一种用来允许Web浏览器或其他客户端程序在请求时提供用户名和密码形式的身份凭证的一种登录验证方式。 在请求发送之前,用Basic
datanode.du.reserved.percentage”。 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数描述 参数 描述 默认值 dfs.datanode.du.reserved.percentage DataNode
设置保留多少天以内的归档文件,默认值30(天)。 注意事项 归档文件,没有备份,删除之后无法恢复。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
Kafka支持开源方式访问 解决SPARK-27637开源问题 优化hive滚动重启 obs包升级 补丁兼容关系 MRS 1.9.0.5补丁包中包含MRS 1.9.0版本发布的所有补丁解决的问题。 安装补丁的影响 安装MRS 1.9.0.5补丁期间会重启MRS Manager,滚动重
登录FusionInsight Manager,选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”,进入全部配置页面。 在搜索框中输入参数名称,按照下表进行修改。 表1 安全配置项 配置项 描述 默认值 修改值 ssl.enabled 是否启用SSL通信加密。 false
Manager界面操作入口:登录FusionInsight Manager,选择“集群 > 服务 >HDFS > 配置”。 选择“全部配置”,在搜索框中搜索“dfs.datanode.du.reserved.percentage”。 修改此参数的取值为“10”。 修改完成后,扩容Core节点的磁盘个数。
当存在同步异常时产生该告警。当用户同步正常时,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45293 重要 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
多流Join场景支持配置表级别的TTL时间 本章节适用于MRS 3.3.0及以后版本。 在Flink双流Join场景下,如果Join的左表和右表其中一个表数据变化快,需要较短时间的过期时间,而另一个表数据变化较慢,需要较长时间的过期时间。目前Flink只有表级别的TTL(Time
1及之后版本。 告警属性 告警ID 告警级别 是否可自动清除 25501 紧急(默认阈值为15000) 重要(默认阈值为10000) 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。