检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka企业级能力增强 配置Kafka高可用和高可靠 配置Kafka数据安全传输协议 配置Kafka数据均衡工具 配置外网客户端访问Kafka Broker 父主题: 使用Kafka
Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME”
上传MySQL数据库连接驱动 创建Loader数据导入作业 创建Loader数据导出作业 管理Loader作业 Loader运维管理 Loader算子帮助 客户端工具说明 Loader常见问题
username=developuser # 进行认证的用户密码,该密码建议密文存放,使用时解密,确保安全。 password=xxx 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图2 Quick Start
Flume企业级能力增强 使用Flume客户端加密工具 配置Flume对接安全模式Kafka 父主题: 使用Flume
HBase性能调优 提升HBase BulkLoad工具批量加载效率 提升HBase连续Put数据场景性能 提升HBase Put和Scan性能综合调优 提升HBase实时写数据效率 提升HBase实时读数据效率 HBase JVM参数优化说明 父主题: 使用HBase
Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器
Kafka运维管理 Kafka常用配置参数 Kafka日志介绍 更改Kafka Broker的存储目录 迁移Kafka节点内数据 使用Kafka流控工具限制生产消费速度 配置积压告警规则 父主题: 使用Kafka
如何获取MRS集群ZooKeeper的IP地址和端口? ZooKeeper的IP地址和端口可以通过MRS控制台或登录Manager界面获取。 方法一:通过MRS控制台获取 在MRS集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 选择“组件管理 >
HBase性能调优 提升HBase BulkLoad工具批量加载效率 提升HBase连续Put数据场景性能 提升HBase Put和Scan数据性能 提升HBase实时写数据效率 提升HBase实时读数据效率 提升HBase非业务高峰期的Compaction执行速度 HBase JVM参数优化说明
Flink作业提交时报错端口范围不足 问题现象 Flink作业提交时,没有足够的端口分配给actor system,导致作业启动失败,报错:Could not start actor system on any port in port range 32326-32390。 解决方法
平滑的弹性扩容能力 随着业务的快速增长,面对集群存储容量或者CPU计算资源接近极限等场景,MRS服务提供了ClickHouse数据迁移工具,该工具可以将某几个ClickHouseServer实例节点上的一个或多个MergeTree引擎分区表的部分分区迁移至其他ClickHouse
配置HBase本地二级索引提升查询效率 HBase本地二级索引介绍 批量加载HBase数据并生成本地二级索引 使用TableIndexer工具生成HBase本地二级索引 父主题: HBase企业级能力增强
配置HBase本地二级索引提升查询效率 HBase本地二级索引介绍 批量加载HBase数据并生成本地二级索引 使用TableIndexer工具生成HBase本地二级索引 迁移HBase索引数据 父主题: HBase企业级能力增强
使用HBase 创建HBase权限角色 HBase客户端使用实践 快速使用HBase进行离线数据分析 使用BulkLoad工具向HBase迁移数据 HBase数据操作 HBase企业级能力增强 HBase性能调优 HBase运维管理 HBase常见问题 HBase故障排除
使用HBase 创建HBase权限角色 HBase客户端使用实践 快速使用HBase进行离线数据分析 使用BulkLoad工具向HBase迁移数据 HBase数据操作 HBase企业级能力增强 HBase性能调优 HBase运维管理 HBase常见问题 HBase故障排除
配置Spark HA增强高可用 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果 父主题: 使用Spark2x(MRS 3.x及之后版本)
使用CDM服务迁移Hadoop数据至MRS集群 使用CDM服务迁移HBase数据至MRS集群 使用CDM服务迁移Hive数据至MRS集群 使用BulkLoad工具向HBase中批量导入数据 使用CDM服务迁移MySQL数据至MRS Hive 使用CDM服务迁移MRS HDFS数据至OBS
lib包和用户默认表数据存储位置等 否 用户数据丢失 /user/omm-bulkload 临时目录 HBase批量导入工具临时目录 否 HBase批量导入任务失败 /user/hbase 临时目录 HBase批量导入工具临时目录 否 HBase批量导入任务失败 /sparkJobHistory 固定目录 Spark
告警附加信息中显示“CA Certificate”,使用PuTTY工具以omm用户登录主OMS管理节点,执行3。 告警附加信息中显示“HA root Certificate”,查看“定位信息”获取告警所在节点主机名,使用PuTTY工具以omm用户登录该主机,执行4。 告警附加信息中显示“HA