检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置了HDFS存储目录的磁盘空间配额,CarbonData为什么会发生异常? 问题 设置了HDFS存储目录的磁盘空间配额,CarbonData为什么会发生异常。 回答 创建、加载、更新表或进行其他操作时,数据会被写入HDFS。若HDFS目录的磁盘空间配额不足,则操作失败并发生以下异常。
集群运维 登录集群 在创建集群时,MRS支持指定使用密钥或密码的方式登录ECS后台。 登录MRS集群中的节点支持远程登录(VNC方式)和使用密钥或密码方式(SSH方式),远程登录主要用于紧急运维场景,远程登录弹性云服务器进行相关维护操作。其他场景下,建议用户采用SSH方式登录。 集群节点简介
protection 设置HBase通道是否加密,包含HBase客户端访问HBase服务端的RPC(remote procedure call)通道,HMaster和RegionServer间的RPC通道。设置为“privacy”表示通道加密,认证、完整性和隐私性功能都全部开启,设置为“int
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 大量进程连接到ZooKeeper,导致ZooKeeper连接数被占满,无法对外正常提供服务,导致上游组件(例如Yarn、Flink、Spark等)服务异常。 可能原因 客户端大量进程连接到ZooKeeper,或者自定义阈值设置不合理。 处理步骤
参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 前提条件 已安装并配置Loader客户端,具体操作请参见使用客户端运行Loader作业。
Spark客户端设置回收站version不生效 问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效,drop table后文件在回收站的存放路径不改变。 通常,默认情况: 当fs.obs.hdfs.trash.version=2时,回收站路径为:/user/
39:39 ClickHouse安全集群客户端使用 MapReduce服务 MRS ClickHouse查询超时设置及mutation注意事项 26:37 ClickHouse查询超时设置及mutation注意事项 应用开发指导 MapReduce服务 MRS 二次开发配置和导入样例工程 07:13
如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 问题 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 原因分析 由于窗口使用自定义窗口,这时窗口
ldap_server_name.host OpenLDAP服务器主机名或IP,不能为空。 localhost ldap_servers.ldap_server_name.port OpenLDAP服务器端口。 如果enable_tls参数设置为true,则默认端口号为636,否则为389。
本指导以连接MySQL数据源为例。 MRS 1.x及MRS 3.x版本。 登录MRS管理控制台。 单击集群名称进入集群详情页面。 选择“组件管理 > Presto”。设置“参数类别”为“全部配置”,进入Presto配置界面修改参数配置。 搜索“connector-customize”配置。 按照配置项说明填写对应参数。
如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 问题 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 原因分析 由于窗口使用自定义窗口,这时窗口
ldap_server_name.host OpenLDAP服务器主机名或IP,不能为空。 localhost ldap_servers.ldap_server_name.port OpenLDAP服务器端口。 如果enable_tls参数设置为true,则默认端口号为636,否则为389。
参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装并配置Loader客户端,具体
如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 问题 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 原因分析 由于窗口使用自定义窗口,这时窗口
Sqoop读取MySQL数据到HBase时报HBaseAdmin.<init>方法找不到异常 问题 使用MRS的Sqoop客户端(1.4.7版本),从MySQL数据库中指定表抽取数据,存放到HBase(2.2.3版本)指定的表中,报出异常: Trying to load data
Redis部署方式 Redis部署方式,当前仅支持“Cluster”。 Redis类型数据连接需配置该参数。 Cluster Redis服务器列表 Redis实例的连接信息,格式为“IP地址:端口”,多个实例之间通过逗号分隔。 Redis类型数据连接需配置该参数。 192.168
客户配置了DNS服务,由于客户端连接到HBase先通过DNS来解析服务器端,所以导致响应慢。 处理步骤 以root用户登录Master节点。 执行vi /etc/resolv.conf,打开resolv.conf文件,注释掉DNS服务器地址。 例如,#1.1.1.1。 父主题: 使用HBase
使用旧插件storm-kafka时如何正确设置offset 问题 当前虽然默认推荐使用storm-kafka-client插件进行安全kafka对接,但仍然存在使用旧插件storm-kafka的用户和场景,在这种场景下如何正确指定消费的offset,避免每次重启拓扑后都从头开始消费?
如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 问题 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 原因分析 由于窗口使用自定义窗口,这时窗口
Filter主要在Scan和Get过程中进行数据过滤,通过设置一些过滤条件来实现,如设置RowKey、列名或者列值的过滤条件。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的testFilterList方法中。 样例代码获取方式请参考获取MRS应用开发样例工程。