检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已安装ClickHouse客户端,例如客户端安装目录为“/opt/client”。 在FusionInsight Manager已创建具有ClickHouse相关表权限和访问HDFS的权限的用户,例如:clickhouseuser。 在对接HDFS组件之前,需要注意首先确保HDFS中有对应的目录,ClickH
Y),内存+磁盘(MEMORY_AND_DISK)等。 JavaRDD支持两种类型的操作:Transformation和Action,这两种类型的常用方法如表1和表2。 表1 Transformation 方法 说明 <R> JavaRDD<R> map(Function<T,R>
“HBase_HEAPSIZE” 说明: 该配置与“hfile.block.cache.size”的和不能超过0.8,也就是写和读操作的内存不能超过HeapSize的80%,这样可以保证除读和写外其它操作的正常运行。 0.4 hbase.hstore.blockingStoreFiles
directory为本地安装的Maven版本。 然后根据实际情况设置好“User settings file”和“Local repository”参数。 图10 选择本地Maven安装目录 然后单击“Apply”和“OK”,完成配置。 父主题: 准备IoTDB应用开发环境
Y),内存+磁盘(MEMORY_AND_DISK)等。 JavaRDD支持两种类型的操作:Transformation和Action,这两种类型的常用方法如表1和表2。 表1 Transformation 方法 说明 <R> JavaRDD<R> map(Function<T,R>
对比开源社区,MRS还提供了两个增强特性,ThriftServer HA方案和设置ThriftServer连接的超时时间。 ThriftServer HA方案,当ThriftServer主节点发生故障时,备节点能够主动切换为主节点,为集群提供服务。Beeline和JDBC客户端代码两种连接方式的操作相同。 连
File Encodings”,分别在右侧的“Global Encoding”和“Project Encoding”的下拉框中,选择“UTF-8”。 图15 File Encodings 然后单击“Apply”和“OK”,完成编码配置。 父主题: 准备HBase应用开发环境
安装目标补丁。 安装补丁操作步骤和补丁实施的影响,具体请参考MRS集群补丁说明。 在弹窗口中勾选“我已经阅读《补丁说明》并了解此操作可能需要重启服务。”,单击“是”,等待补丁安装成功。 查看补丁状态,补丁安装完成后,按照补丁说明进行重启组件和安装客户端补丁等操作。 若集群中存在
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
目前动态生效不支持关闭,数据源动态生效时间默认为60秒。如需修改动态生效时间,请参考3.e修改“coordinator.config.properties”和“worker.config.properties”中的参数“catalog.scanner-interval”值为需要设定的动态生效时间,例如:
配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件:作业日志和任务日志。 作业日志由MRApplicationMaster产生,详细记录了作业启动时间、运行时间,每个任务启动时间、运行时间、Counter值等信息。此日志内
配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件:作业日志和任务日志。 作业日志由MRApplicationMaster产生,详细记录了作业启动时间、运行时间,每个任务启动时间、运行时间、Counter值等信息。此日志内
用户可以进行监控和告警配置管理、备份管理。 Manager主页介绍(MRS 3.x版本) FusionInsight Manager“主页”提供各集群服务状态预览区及监控状态报表,同时展示集群内告警统计及分析情况信息。 主页右侧可查看集群的不同级别告警个数、运行任务个数、当前用户和帮助信息等内容,如图3所示。
ALM-38001 Kafka磁盘容量不足(2.x及以前版本) 告警解释 系统按60秒周期检测Kafka磁盘空间使用率,并把实际磁盘使用率和阈值相比较。磁盘使用率默认提供一个阈值范围。当检测到磁盘使用率高于阈值时产生该告警。 用户可通过“系统设置 > 阈值配置”修改阈值。 当Ka
是,操作结束。 否,执行10。 收集故障信息 在主集群的FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“meta”,单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
File Encodings”,分别在右侧的“Global Encoding”和“Project Encoding”的下拉框中,选择“UTF-8”。 图15 File Encodings 然后单击“Apply”和“OK”,完成编码配置。 父主题: 准备HBase应用开发环境
ore和task三种类型。 约束限制: 节点类型必须为小写字母。 取值范围: 不涉及 默认取值: 不涉及 active_master Boolean 参数解释: 引导操作脚本是否只运行在主Master节点上。 约束限制: 不涉及 取值范围: true:引导操作脚本只运行在主Master节点上。
系统每30秒周期性检测总副本预留磁盘空间所占比率(总副本预留磁盘空间/(总副本预留磁盘空间+总剩余的磁盘空间)),并把实际的总副本预留磁盘空间所占比率和阈值(默认为90%)相比较。当检测到总副本预留磁盘空间所占比率连续多次(平滑次数)高于阈值时,产生该告警。 如果平滑次数为1,总副本预留磁盘
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在JDBCServer节点上分别创建“/home/data”文件,内容如下:
负载下系统的压力。 Doris租户角色和用户关联关系介绍 通过FusionInsight Manager服务配置和租户管理页面的操作,用户可以实现创建租户、关联服务、设置租户资源配置、租户关联用户等操作。Manager侧和Doris侧的角色和用户关联关系如下图所示: 租户关系中“用户