检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark解析zlib时出错,出现java.io.IOException: unknown compression method的异常。 当用户数据增加到一定量后向carbon导入时出现executor崩溃。 在Yarn cluster模式下,当Spark程序客户端退出后,程序自动被停掉。 优化了当carbon表的s
在指定作业连接的“权限”列,勾选“编辑”。 设置Loader作业分组的编辑权限 (包括修改作业分组的名称、删除指定分组、在指定分组下创建作业的权限、从外部将作业批量导入到指定分组的权限、将其他分组的作业迁移到指定分组的权限) 在“权限”的表格中选择“ Loader > 作业分组”。 在指定作业分组的“权限”列,勾选“分组编辑”。
MRS作业输出数据:作业输出的结果文件和日志文件 MRS中HDFS、Hive、MapReduce、Yarn、Spark、Flume和Loader等组件支持从OBS导入、导出数据。 MRS使用OBS的并行文件系统提供服务。 配置存算分离集群(委托方式) 配置存算分离集群(AKSK方式) 弹性云服务器(Elastic
Kafka > 更多 > 下载客户端” ,下载客户端压缩文件到本地机器。如图3所示: 图3 客户端配置 使用客户端根目录中的“ca.crt”证书文件生成客户端的“truststore”。 执行命令如下: keytool -noprompt -import -alias myservercert
ALM-16047 HiveServer已从Zookeeper注销 告警解释 系统每60秒周期性检测Hive服务,若Hive在Zookeeper上的注册信息丢失,或者Hive无法连接上Zookeeper,将会发出告警。 告警属性 告警ID 告警级别 是否自动清除 16047 重要 是 告警参数
oken。 INDEX d ID TYPE tokenbf_v1(256,2,0) GRANULARITY 5 索引创建详见官方文档 https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/me
对于已安装HBase组件的节点组扩容时: 如果集群没有开启节点自动注册DNS,扩容该节点组时需选择不启动组件,之后请参考服务端配置过期后更新MRS集群客户端更新完HBase客户端配置后再启动扩容节点上的HBase组件实例。 以下版本默认开启了集群自动注册DNS,也可以请通过查询对应版本元数据查询返回
“register();”: 将IP、端口及并发度信息注册到Topic节点下。 “deleteTopicNode();”: 删除Topic节点。 “unregister();”: 删除注册信息。 “query(); ”:查询注册信息。 “isExist();”: 查找某个信息是否存在。
查看图中upgradObservationPeriod isON值是否为true,如图1所示。 是,表示系统当前处于升级观察期,请使用UpdateTool工具提交该次升级,具体操作参考相应版本的升级指导书。 否,执行6。 图1 集群信息 等待第二天凌晨,查看告警是否清除。 是,操作结束。 否,执行6。
创建FlinkServer作业写入数据至ClickHouse表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 Flink通过对接ClickHouse的ClickHouseBalancer实例进行读写,有效避免ClickHouse流量分发问题。FlinkSQL与ClickHouse数据类型对应关系如下表所示。
html#matchsslcontext_tls。 毕昇JDK详细信息可参考https://www.hikunpeng.com/zh/developer/devkit/compiler/jdk。 安装和配置IDEA 用于开发Flink应用程序的工具。版本要求:14.1.7。 安装Scala Scala开发环境的基本配置。版本要求:2
第三个选择器匹配来自包括pipeline的源名称的查询,并将它们放在global.pipeline组下动态创建的单用户管道组中。 第四个选择器匹配来自BI工具的查询,BI工具有一个源与正则表达式jdbc#(?.*)匹配,并且客户端提供的标签是hi-pri的超集。这些查询被放置在global.adhoc组
参数说明可通过本节内容了解。 MRS 3.x及之后版本部分参数可通过Manager界面配置,选择“集群 > 服务 > Flume > 配置工具”,选择要使用的Source、Channel以及Sink,将其拖到右侧的操作界面中,双击对应的Source、Channel以及Sink,根
产生告警的元素类型。 ComponentName 产生告警的元素名称。 对系统的影响 Flume Channel的磁盘空间使用量有继续增长的趋势,将会使数据导入到指定目的地的时间增长,当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 可能原因 Flume
Windows系统,推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求:1.8及以上。 安装和配置Eclipse 用于开发HBase应用程序的工具。 安装Maven 用于编译样例工程。 网络 确保客户端与HBase服务主机在网络上互通。 选择Windows开发环境下,安装Eclipse,安装JDK。
登录MRS集群详情页面,选择“告警管理”。 查看该告警的详细信息,查看定位信息中对应的“HostName”字段值,获取该告警产生的主机名。 使用PuTTY工具,以root用户登录告警所在节点。 执行cat /etc/resolv.conf命令,查看是否安装DNS客户端。 如果出现了类似如下内容,说明节点安装并启用了DNS客户端服务。
createTopology()); } 安全模式下需要执行安全准备,根据实际情况修改userKeyTablePath和userPrincipal为导入并配置Storm样例工程章节的步骤2中所获取用户的keytab文件名称和principal。 private static void se
为开源镜像仓。 编包并运行程序 获取样例代码。 下载样例工程的Maven工程源码和配置文件,请参见获取MRS应用开发样例工程。 将样例代码导入IDEA中。 获取配置文件。 从集群的客户端中获取文件。在“$SPARK_HOME/conf”中下载hive-site.xml与spark-defaults
过阈值。 是,执行7。 否,执行6。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行7。 检查系统环境是否异常。 执行以下命令导入临时文件,并查看“port_result.txt”文件中高使用率端口。 netstat -tnp|sort > $BIGDATA_HOME/tmp/port_result
1575428400000,120.198638,30.32354 1575428400000,120.165421,30.314834 导入数据 GeoHash默认实现类扩展自定义索引抽象类。如果没有配置handler属性为自定义的实现类,则使用默认的实现类。用户可以通过扩展默