检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IP值是否合法有效。 以root用户登录到任一管理节点,执行ping命令检查SFTP服务器和集群之间的网络连接是否正常,用户密码为安装前用户自定义,请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 是,执行5。 否,执行3。
uota会造成HBase故障 使用OfflineMetaRepair工具重新构建元数据后HMaster启动失败 HMaster日志中频繁打印出FileNotFoundException信息 ImportTsv工具执行失败报“Permission denied”异常 使用HBase
Kafka企业级能力增强 配置Kafka高可用和高可靠 配置Kafka数据安全传输协议 配置Kafka数据均衡工具 配置外网客户端访问Kafka Broker 父主题: 使用Kafka
HetuEngine SQL函数和操作符说明 逻辑运算符 比较函数和运算符 条件表达式 Lambda表达式 转换函数 数学函数和运算符 Bitwise函数 十进制函数和操作符 字符串函数和运算符 正则表达式函数 二进制函数和运算符 Json函数和运算符 日期、时间函数及运算符 聚合函数
解锁MRS集群LDAP管理账户 管理员在LDAP用户和管理账户被锁定时,需要在管理节点解锁集群LDAP用户“cn=pg_search_dn,ou=Users,dc=hadoop,dc=com”以及LDAP管理账户“cn=krbkdc,ou=Users,dc=hadoop,dc=com”和“cn=krbadmin
ckHouse集群整体迁移到另外一个机房的新集群当中。 为了解决上述场景下对搬迁能力的要求,MRS提供了ClickHouse集群数据一键式工具搬迁能力,将源集群中的ClickHouse数据库、表对象DDL、业务数据迁移到新建集群中。 迁移方案原理介绍 Replicated*MergeTree引擎的复制表迁移:
MRS集群运维说明 账户维护建议 建议系统管理员对账户例行检查,检查的内容包括: 操作系统、Manager以及各组件的账户是否有必要,临时账户是否已删除。 各类账户的权限是否合理。不同的管理员拥有不同的权限。 对各类账户的登录、操作记录进行检查和审计。 密码维护建议 用户身份验证
创建FlinkServer应用 通过应用来隔离不同的上层业务。 使用具有FlinkServer管理员权限的用户访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 应用管理”,进入应用管理页面。 单击“创建应用”,在弹出的页面中填写应用信息,单击“确定”,完成应用创建。
通过应用来隔离不同的上层业务。 创建应用 使用具有FlinkServer管理员权限的用户访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 应用管理”,进入应用管理页面。 单击“创建应用”,在弹出的页面中填写应用信息,单击“确定”,完成应用创建。
Manager页面,具体请参见访问MRS Manager,然后选择“服务管理 > Presto > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 MRS 1.8.10之后及2.x版本,单击集群名称,登录集群详情页面,选择“组件管理 > Presto > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。
型。 String 100000字符 说明: 如果在CREATE TABLE中使用Char或Varchar数据类型,则这两种数据类型将自动转换为String数据类型。 如果存在字符长度超过32000的列,需要在建表时,将该列加入到tblproperties的LONG_STRING_COLUMNS属性里。
元。 数据规划 使用Spark-Beeline工具创建Spark和HBase表table1、table2,并通过HBase插入数据。 确保JDBCServer已启动。登录Spark2x客户端节点。 使用Spark-beeline工具创建Spark表table1。 create table
步骤3:创建并运行Flink作业 方式1:在控制台界面在线提交作业。 登录MRS管理控制台,单击MRS集群名称,进入集群详情页面。 在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 单击“作业管理”,进入“作业管理”页签。 单击“添加”,添加一个Flink作业。
category string) USING iceberg PARTITIONED BY (category); 创建分区表,且支持表达式转换: CREATE TABLE prod.db.sample ( id bigint, data string, category string
HBase性能调优 提升HBase BulkLoad工具批量加载效率 提升HBase连续Put数据场景性能 提升HBase Put和Scan性能综合调优 提升HBase实时写数据效率 提升HBase实时读数据效率 HBase JVM参数优化说明 父主题: 使用HBase
Key Management Tool 密钥管理工具。当前仅支持“his_kms”密钥管理工具。 his_kms Key Environment Information 密钥信息。仅配置了“Key Management Tool”密钥管理工具才支持该参数。 - Custom Config
本地环境使用开发工具下载依赖的jar包前,需要确认以下信息。 确认本地环境网络正常。 打开浏览器访问:华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。 确认当前开发工具是否开启代理。
计算结果。 优点:不需要有大的状态后端存储,整体计算资源压力要小于基于状态后端的方案。 缺点:需要依赖于数据格式,常见的方式通过CDC采集工具,将数据采集到Kafka,然后Flink读Kafka数据进行计算。 通过changelog数据解决 changelog与CDC格式的数据类
信息重复,屏蔽重复告警。 部署环境特殊时,可能存在特定告警误报,屏蔽误报的告警。 告警被屏蔽后,与该告警ID相同的新告警将不再出现在“告警管理”页面中,也不会被统计,已经上报的告警仍然显示。 本章节仅适用于MRS 3.x及之后版本。 登录FusionInsight Manager。
查看MRS集群运行状态 MRS支持创建多个集群,集群购买数量受弹性云服务器数量限制。用户可以通过管理控制台查看所有MRS集群运行状态。 查看MRS集群运行状态 登录MRS管理控制台。 选择“现有集群”,进入集群列表页面。 集群列表默认按创建时间顺序排列,集群列表参数说明如表1所示。