检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
uota会造成HBase故障 使用OfflineMetaRepair工具重新构建元数据后HMaster启动失败 HMaster日志中频繁打印出FileNotFoundException信息 ImportTsv工具执行失败报“Permission denied”异常 使用HBase
本地环境使用开发工具下载依赖的jar包前,需要确认以下信息。 确认本地环境网络正常。 打开浏览器访问:华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。 确认当前开发工具是否开启代理。
Kafka企业级能力增强 配置Kafka高可用和高可靠 配置Kafka数据安全传输协议 配置Kafka数据均衡工具 配置外网客户端访问Kafka Broker 父主题: 使用Kafka
HetuEngine SQL函数和操作符说明 逻辑运算符 比较函数和运算符 条件表达式 Lambda表达式 转换函数 数学函数和运算符 Bitwise函数 十进制函数和操作符 字符串函数和运算符 正则表达式函数 二进制函数和运算符 Json函数和运算符 日期、时间函数及运算符 聚合函数
其他节点。 系统自动将Master节点标记为主备管理节点,并支持MRS集群管理的高可用特性。如果主管理节点无法提供服务,则备管理节点会自动切换为主管理节点并继续提供服务。 查看Master1节点是否为主管理节点,请参见查看MRS集群主备管理节点。 Core节点 MRS集群工作节点,负责处理和分析数据,并存储过程数据。
Kafka运维管理 Kafka常用配置参数 Kafka日志介绍 更改Kafka Broker的存储目录 迁移Kafka节点内数据 使用Kafka流控工具限制生产消费速度 配置积压告警规则 父主题: 使用Kafka
jar”放到该路径下。 切换到运行目录,执行以下命令,运行Jar包。 java -jar doris-rest-client-example-*.jar 否,执行4。 导出样例项目依赖的jar包。 在IDEA的下方Terminal窗口或其他命令行工具进入“pom.xml”所在目录。执行命令以下命令:
ckHouse集群整体迁移到另外一个机房的新集群当中。 为了解决上述场景下对搬迁能力的要求,MRS提供了ClickHouse集群数据一键式工具搬迁能力,将源集群中的ClickHouse数据库、表对象DDL、业务数据迁移到新建集群中。 迁移方案原理介绍 Replicated*MergeTree引擎的复制表迁移:
MRS集群运维说明 账户维护建议 建议系统管理员对账户例行检查,检查的内容包括: 操作系统、Manager以及各组件的账户是否有必要,临时账户是否已删除。 各类账户的权限是否合理。不同的管理员拥有不同的权限。 对各类账户的登录、操作记录进行检查和审计。 密码维护建议 用户身份验证
Manager,根据界面提示修改初始密码。 获取样例工程 通过开源镜像站获取样例工程。 下载样例工程的Maven工程源码和配置文件,并在本地配置好相关开发工具,可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支,下载并获取MRS相关样例工程。 例如本章节场景对应示例为“clickho
步骤3:创建并运行Flink作业 方式1:在控制台界面在线提交作业。 登录MRS管理控制台,单击MRS集群名称,进入集群详情页面。 在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 单击“作业管理”,进入“作业管理”页签。 单击“添加”,添加一个Flink作业。
HBase性能调优 提升HBase BulkLoad工具批量加载效率 提升HBase连续Put数据场景性能 提升HBase Put和Scan性能综合调优 提升HBase实时写数据效率 提升HBase实时读数据效率 HBase JVM参数优化说明 父主题: 使用HBase
Key Management Tool 密钥管理工具。当前仅支持“his_kms”密钥管理工具。 his_kms Key Environment Information 密钥信息。仅配置了“Key Management Tool”密钥管理工具才支持该参数。 - Custom Config
工程,选择“Run MultiComponentLocalRunner.main()”运行应用工程。 如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境中样例工程的“conf”配置文件目录中获取)的配置项“mapreduce
计算结果。 优点:不需要有大的状态后端存储,整体计算资源压力要小于基于状态后端的方案。 缺点:需要依赖于数据格式,常见的方式通过CDC采集工具,将数据采集到Kafka,然后Flink读Kafka数据进行计算。 通过changelog数据解决 changelog与CDC格式的数据类
以客户端安装用户,登录安装客户端的节点。执行以下命令,切换到客户端安装目录。 cd {客户端安装路径} 执行以下命令配置环境变量。 source bigdata_env 执行以下命令进行用户认证(普通模式跳过此步骤)。 kinit 组件业务用户 执行以下命令登录客户端工具。 zkCli.sh -server
jar”放到该路径下。 切换到运行目录,执行以下命令,运行Jar包。 java -jar doris-rest-client-example-*.jar 否,执行4。 导出样例项目依赖的jar包。 在IDEA的下方Terminal窗口或其他命令行工具进入“pom.xml”所在目录。执行命令以下命令:
配置HBase本地二级索引提升查询效率 HBase本地二级索引介绍 批量加载HBase数据并生成本地二级索引 使用TableIndexer工具生成HBase本地二级索引 父主题: HBase企业级能力增强
型。 String 100000字符 说明: 如果在CREATE TABLE中使用Char或Varchar数据类型,则这两种数据类型将自动转换为String数据类型。 如果存在字符长度超过32000的列,需要在建表时,将该列加入到tblproperties的LONG_STRING_COLUMNS属性里。
上传MySQL数据库连接驱动 创建Loader数据导入作业 创建Loader数据导出作业 管理Loader作业 Loader运维管理 Loader算子帮助 客户端工具说明 Loader常见问题