检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “Agent名”选择“server”,然后选择要使用
在集群外客户端所在节点执行以下命令安装rng-tools工具: yum install rng-tools 执行以下命令启动rng-tools: systemctl start rngd 若还需实现当所在节点重启后,rng-tools工具自动运行,则执行以下命令: systemctl enable
Windows:JDK安装目录\jre\lib\ext\ 安装IntelliJ IDEA、JDK和Scala工具,并进行相应的配置。 安装JDK。 安装IntelliJ IDEA。 安装Scala工具。 在IntelliJ IDEA中配置JDK。 打开IntelliJ IDEA,选择“Configure”。
监控开关由参数“dfs.namenode.directory-items.monitor.enabled”指定,默认值为“true”,即该检测默认开启。 告警属性 告警ID 告警级别 是否自动清除 14020 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名
元。 数据规划 使用Spark-Beeline工具创建Spark和HBase表table1、table2,并通过HBase插入数据。 确保JDBCServer已启动。登录Spark2x客户端节点。 使用Spark-Beeline工具创建Spark表table1。 create table
使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色客户端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “Agent名”选择“client”,然后选择要使用
使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色客户端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “Agent名”选择“client”,然后选择要使用
重部署拓扑 单击“Rebalance”,将当前拓扑重新部署执行,需要输入执行重部署的等待时间,单位为秒。一般在集群中节点数发生变化时进行,以更好利用集群资源。 删除拓扑 单击“Kill”,将当前拓扑删除,需要输入执行操作的等待时间,单位为秒。 采样、停止采样拓扑消息 单击“Debug”
/opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 运行Kudu命令行工具。 直接执行Kudu组件的命令行工具,查看帮助。 kudu -h 回显信息如下: Usage: kudu <command> [<args>] <command>
使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “Agent名”选择“server”,然后选择要使用
使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “Agent名”选择“server”,然后选择要使用
setBlockCacheEnabled(false); HBase不支持条件查询和Orderby等查询方法,存储按照字典排序,读取只支持Rowkey扫描 设计时应避免HBase随机查找、排序的应用场景。 业务表设计建议 预分Region,使Region分布均匀,提高并发 避免过多的热点Re
Oozie企业级能力增强 开启Oozie HA机制 使用Share Lib工具检查Oozie依赖Jar包正确性 父主题: 使用Oozie
Flume企业级能力增强 使用Flume客户端加密工具 配置Flume对接安全模式Kafka 父主题: 使用Flume
Kafka企业级能力增强 配置Kafka高可用和高可靠 配置Kafka数据安全传输协议 配置Kafka数据均衡工具 父主题: 使用Kafka
使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。 登录FusionInsight Manager,选择“ 服务 > Flume > 配置工具”。 图1 选择配置工具 “Agent名”选择“server”,然后选择要使用的sour
HBase企业级能力增强 配置HBase本地二级索引提升查询效率 增强HBase BulkLoad工具数据迁移能力 配置RSGroup管理RegionServer资源 父主题: 使用HBase
uota会造成HBase故障 使用OfflineMetaRepair工具重新构建元数据后HMaster启动失败 HMaster日志中频繁打印出FileNotFoundException信息 ImportTsv工具执行失败报“Permission denied”异常 使用HBase
过程中找到关键瓶颈点,解决性能问题。 图1 调优流程 表1 调优流程说明 流程 描述 系统调优 对OS操作系统级参数和数据库的调优,充分地利用主机的CPU、内存、I/O和网络资源,提升整个系统查询的吞吐量,同时数据库参数也调整到最优状态。 SQL调优 审视业务所用SQL语句是否存在可优化空间,包括:
ClickHouse数据入库 ClickHouse数据入库工具 ClickHouse数据入库规范 父主题: ClickHouse数据库开发