检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1/install/FusionInsight-Spark2x-3.1.1/spark/jars/streamingClient010/*”。 将各服务端节点的“original-spark-examples_2.12-3.1.1-xxx.jar”包删除。 在客户端“spark-defaults.
配置ClickHouse元数据预先缓存到内存 本章节适用于MRS 3.3.1-LTS及之后版本。 操作场景 在业务表数量以及表数据量比较大的场景下,滚动重启过程中加载元数据比较耗时,可通过RocksDB将元数据预先缓存到内存,从而提高元数据的加载效率。 开启表元数据预先缓存能力
配置Yarn模式下Spark动态资源调度 操作场景 对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务(比如JDBCServer),如果分配给它多个Executor,可是却没有任何任务分配给它,而此时有其他的应用却资源紧张,这就造成了很大的资源浪费和资源不合理的调度。
Loader常用参数 参数入口 参数入口,请参考修改集群服务配置参数。 参数说明 表1 Loader常用参数 配置参数 说明 默认值 范围 mapreduce.client.submit.file.replication MapReduce任务在运行时依赖的相关job文件在HDF
如果无“每个写操作平均所需时间”图表,可单击右侧下拉三角,选择“定制”并勾选对应项,单击“确定”。 排查当前业务量是否处于高峰阶段。若处于高峰阶段导致该告警,建议对节点进行扩容,或者联系MRS集群管理员提升磁盘配置。 检查该告警是否恢复。 是,处理完毕。 否,执行7。 收集故障信息。 在FusionInsight
ALM-25008 SlapdServer CPU使用率超过阈值 告警解释 系统每30秒周期性检查SlapdServer节点的CPU使用率,并把实际CPU使用率和阈值相比较,当检测到SlapdServer CPU使用率连续多次(默认值为5)超过设定阈值时,系统将产生此告警。 平滑
如果无“磁盘IO利用率”图表,可单击右侧下拉三角,选择“定制”并勾选对应项,单击“确定”。 排查当前业务量是否处于高峰阶段。若处于高峰阶段导致该告警,建议对节点进行扩容,或者联系MRS集群管理员提升磁盘配置。 检查该告警是否恢复。 是,处理完毕。 否,执行7。 收集故障信息。 在FusionInsight
Manager,选择“集群 > 服务 > Flume”,在“实例”下单击“Flume”角色。 图5 单击Flume角色 选择准备上传配置文件的节点行的“Flume”角色,单击“实例配置 ”页面“flume.config.file”参数后的“上传文件”,选择“properties.properties”文件完成操作。
user:group -R 客户端安装目录/HBase 使用HBase客户端 安装客户端,具体请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env
bin/kafka-console-consumer.sh --topic 主题名称 --bootstrap-server Kafka角色实例所在节点的业务IP地址:21007 --consumer.config config/consumer.properties --from-beginning
bin/kafka-console-consumer.sh --topic 主题名称 --bootstrap-server Kafka角色实例所在节点的业务IP地址:21007 --consumer.config config/consumer.properties --from-beginning
目的端NameService名称:修改备集群的NameService名称。 目的端NameNode IP地址:修改备集群NameNode业务平面IP地址,支持主节点或备节点。 目的端路径:修改备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录,例如快照或回收站目录;也不支持默认的系统目录,例如
已安装HBase客户端。 Linux环境已安装JDK,版本号需要和Eclipse导出Jar包使用的JDK版本一致。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 修改样例代码。 当前样例代码中操作HBa
图1 Doris租户模型 用户与租户关联后,该用户提交的query任务就与Workload Group相关联,可以限制单个查询在BE节点上的CPU和内存资源的百分比,和配置资源组的内存软隔离。 开启内存软隔离后,当集群资源紧张时,将自动结束组内占用内存最大的若干个查询任务以减
命名空间为系统表命名空间,请不要对该系统表命名空间进行业务建表或数据读写等操作。 功能分解 根据上述的业务场景进行功能分解,需要开发的功能点如表2所示。 表2 在HBase中开发的功能 序号 步骤 代码实现 1 根据表1中的信息创建表。 请参见创建HBase表。 2 导入用户数据。
命名空间为系统表命名空间,请不要对该系统表命名空间进行业务建表或数据读写等操作。 功能分解 根据上述的业务场景进行功能分解,需要开发的功能点如表2所示。 表2 在HBase中开发的功能 序号 步骤 代码实现 1 根据表1中的信息创建表。 请参见创建HBase表。 2 导入用户数据。
命名空间为系统表命名空间,请不要对该系统表命名空间进行业务建表或数据读写等操作。 开发思路 根据上述的业务场景进行功能分解,需要开发的功能点如表2所示。 表2 在HBase中开发的功能 序号 步骤 代码实现 1 根据表1中的信息创建表。 请参见创建HBase表。 2 导入用户数据。
命名空间为系统表命名空间,请不要对该系统表命名空间进行业务建表或数据读写等操作。 开发思路 根据上述的业务场景进行功能分解,需要开发的功能点如表2所示。 表2 在HBase中开发的功能 序号 步骤 代码实现 1 根据表1中的信息创建表。 请参见创建HBase表。 2 导入用户数据。
Bundle Bundle流程构建在Coordinator流程之上,提供对多个Coordinator流程的统一调度、控制和管理功能。 Oozie主要特点: 支持分发、聚合、选择等工作流程模式。 与Hadoop生态系统各组件紧密结合。 流程变量支持参数化。 支持流程定时触发。 自带一个Web
Bundle Bundle流程构建在coordinator流程之上,提供对多个Coordinator流程的统一调度、控制和管理功能。 Oozie主要特点: 支持分发、聚合、选择等工作流程模式。 与Hadoop生态系统各组件紧密结合。 流程变量支持参数化。 支持流程定时触发。 自带一个Web