检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的testCreateTable方法中。 public void testCreateTable() { LOG.info("Entering testCreateTable:
onCompletion(RecordMetadata metadata, Exception exception); 回调函数接口方法,通过实现Callback中的此方法来进行异步发送结果的处理。 Consumer重要接口 表3 Consumer重要参数 参数 描述 备注 bootstrap.servers
hadoop.hbase.regionserver.wal.IndexedWALEditCodec”的配置项。 单击“保存”,在弹出的对话框中单击“确定”,保存配置。 单击“概览”,选择“更多 > 重启服务”,输入当前用户密码,单击“确定”,重启HBase服务。 父主题: 使用HBase
替换“/opt/knox/conf/user.keytab”文件。 修改/opt/knox/conf/krb5JAASLogin.conf中的principal的值,把域名修改为更改后的域名。 将获取的krb5.conf替换“/opt/knox/conf/krb5.conf”文件。
MRS Hive解决hive server内存泄露问题:HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.3补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 安装补丁的影响 安装MRS 2.1.0.3补丁期间会重启MRS Manager,滚动重启Hi
解决扩容刷新队列会导致队列丢失问题 MRS大数据组件 解决Hive on Spark任务报block id乱码,导致任务卡住问题 Hive中增加自研的接口 解决map.xml无法读取的问题 Hive har特性优化 解决ZK脏数据导致Yarn服务不可用问题 OBS包升级 JDK版本升级
文件系统无法正常写入。 可能原因 磁盘小文件过多。 系统环境异常。 处理步骤 磁盘小文件过多。 登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机地址和磁盘分区。 使用PuTTY工具,以root用户登录告警所在主机。 执行命令df -i
lume Agent的用户。 是,执行3。 否,使用chown命令修改文件属主为运行Flume Agent的用户,执行2.d 查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行3。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。
是,处理完毕。 否,执行4。 收集故障信息 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HBase”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联
是,操作结束。 否,执行4。 收集故障信息 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“ClickHouse”。 在“主机”中选择异常的主机,单击“确定”。 单击右上角的时间编辑按钮,设置日志收集的“开始时间”
Hive集群系统域名:可以登录Hive集群Manager页面,选择“系统 > 权限 > 域和互信”,查看“本端域”参数获取。 步骤4:创建Doris数据表 登录Doris集群中已安装好MySQL客户端的MRS Master节点,执行如下命令进入Doris数据库。 export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1
客户端安装目录 source bigdata_env kinit 组件业务用户(未开启Kerberos认证的集群请跳过该操作) 将数据导入到HDFS中。 hdfs dfs -mkdir <inputdir> hdfs dfs -put <local_data_file> <inputdir>
单击“Topics”,进入Topic管理页面。 在待修改项的“Operation”列单击“Action > Config”,弹出的页面中可修改Topic的“Key”和“Value”值,如需要添加多条,可单击添加。 单击“OK”完成修改。 父主题: 管理Kafka Topic
onCompletion(RecordMetadata metadata, Exception exception); 回调函数接口方法,通过实现Callback中的此方法来进行异步发送结果的处理。 Consumer重要接口 表3 Consumer重要参数 参数 描述 备注 bootstrap.servers
service,具体请参考使用External Shuffle Service提升性能。 在“spark-defaults.conf”配置文件中必须添加配置项“spark.dynamicAllocation.enabled”,并将该参数的值设置为“true”,表示开启动态资源调度功能。默认情况下关闭此功能。
例如每个整点清理超过6个小时的文件: 创建脚本“clean_appcache.sh”,若存在多个数据盘,请根据实际情况修改BASE_LOC中data1的值。 安全集群 #!/bin/bash BASE_LOC=/srv/BigData/hadoop/data1/nm/locald
(0x0000ffffae9c5000) /lib/ld-linux-aarch64.so.1 (0x0000ffffaefe8000) 查看执行结果中libcrypto.so.1.1的指向是否有值,如果为not found请执行以下命令加载。 echo $LD_LIBRARY_PATH 查
MemArtsCC > 配置 > 全部配置”。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”,在弹窗页面中单击“确定”,保存配置。 单击“实例”,勾选所有CCSideCar角色, 选择“更多 > 重启实例”,重启sidecar实例。 配置完成后只
nInsight Manager界面,选择“集群 > 服务 > ZooKeeper > 实例”查看。 “hiveserver2_zk”为3中参数“hive.server2.zookeeper.namespace”设置的具体设定值。 系统域名可登录FusionInsight Manager,选择“系统
单条数据大小 = 平均 1KB(华为建议通过select * from tablename limit 100将查询结果粘贴在notepad++中得出100条数据的大小再除以100得到单条平均大小) 单表数据量大小(G) = 单表数据总条数*单表数据大小/1024/1024 非分区表桶数