检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“false”,表示关闭压缩。 true 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导出
实例”,查看任一FE实例的IP地址。 用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。 执行以下命令可查看FE运行状态。 SHOW FRONTENDS\G; SHOW BACKENDS\G; 执行以下命令创建数据库: create database if not
个分片有过多的小版本时,可能即使总数据量很小,依然需要备份很长时间。 当通过SHOW BACKUP或者SHOW RESTORE命令查看作业状态时,有可能会在TaskErrMsg列中看到错误信息,只要State列不为CANCELLED,则说明作业依然在继续。这些Task有可能会重试
选择“false”,表示关闭压缩。 true 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 创建Loader数据导出作业
Spark多租户HA方案实现 JDBCServer多主实例方案中,JDBCServer实现使用YARN-Client模式,但YARN资源队列只有一个,为了解决这种资源局限的问题,引入了多租户模式。 多租户模式是将JDBCServer和租户绑定,每一个租户对应一个或多个JDBCServer,而一个
bigdata.mrs.test 确认作业配置信息,单击“确定”,完成作业的新增。 作业提交成功中,可在作业列表中查看作业运行状态及执行结果,等待作业状态变为“已完成”,可查看相关程序分析结果。 通过集群客户端提交作业 安装MRS集群客户端,具体操作可参考安装MRS集群客户端。
'true' 'properties.hbase.security.authentication' = 'kerberos' 查看作业管理界面,作业状态为“运行中”。 参考管理Kafka Topic中的消息,向kafka中写入数据。 sh kafka-console-producer.sh
创建用户表、导入用户数据、增加用户信息、查询用户信息及为用户表创建二级索引等功能。 MRS 3.3.0及之后版本,可实现创建/删除全局二级索引、修改全局二级索引状态、以及基于全局二级索引查询等功能。 hbase-rest-example HBase Rest接口应用开发示例。 使用Rest接口实现查询
化对资源分配或业务逻辑进行更改时,手动扩缩容的场景客户可以登录集群节点进行操作。对于弹性伸缩场景,MRS支持通过自定义弹性伸缩自动化脚本来解决。自动化脚本可以在弹性伸缩前后执行相应操作,自动适应业务负载的变化,免去了人工操作。同时,自动化脚本给用户实现个性需求提供了途径,完全自定
作业的执行时间。 tmp_test 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导出
1.0及以上集群版本。 前提条件 MRS集群及ClickHouse实例运行正常,已安装ClickHouse客户端。 OpenLDAP已安装且状态正常。 对接OpenLDAP服务器创建ClickHouse用户 登录集群Manager页面,选择“集群 > 服务 > ClickHouse
表对应的本地表中的数据。 true 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图5 查看作业 使用ClickHouse客户端,查询ClickHouse表数据是否和MySQL的表数据一致。
同时华为侧运维人员会尽快对慢盘进行替换; 慢盘自动隔离能力支持单节点同时出现多个慢盘【默认配置为4】时自动隔离节点,此时该节点会变成隔离状态,客户无需特殊操作,MRS运维相关人员会及时介入处理并恢复。 支持HDFS单副本检测能力 MRS 1.9.3.9及其后续补丁中,会增加HD
-XX:MaxNewSize=1G” Xmx内存值对应DataNode节点块数阈值,每GB对应500000块数,用户可根据需要调整内存值。 查看HDFS容量状态 NameNode信息 登录FusionInsight Manager,选择“集群 > 服务 > HDFS > NameNode(主)”,
登录华为云管理控制台,在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“我的凭证”。 单击“访问密钥”页签,单击“新增访问密钥”,输入验证码或密码。单击“确定”,生成并下载访问密钥。 在.csv文件中获取创建Catalog所需的AWS_ACCESS_KEY、AWS_SECRET_KEY参数值,对应关系为:
作业的执行时间。 tmp_test 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导出
中的NameServiceName信息可知发出该告警的NameService名称。 查看是否阈值设置过低。 查看依赖于HDFS的业务的运行状态是否正常运行。查看是否存在运行慢、执行任务超时的情况。 是,执行8。 否,执行4。 在FusionInsight Manager首页,选择“集群
1-SNAPSHOT目录,最终项目整体结构如下图所示。 部署Function Plugin 部署前需要确认: HetuEngine服务处于正常状态。 HDFS和HetuEngine客户端已经安装到集群节点,例如“/opt/client”目录下。 已创建HetuEngine用户,用户创
topic-partition-discovery.interval”参数,设置值为动态刷新时间,如“5min”。 查看作业管理界面,作业状态为“运行中”。 参考管理Kafka Topic中的消息,执行以下命令查看Sink表中是否接收到数据,即5执行完成后查看Kafka topic是否正常写入数据。
ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 请参考修改集群服务配置参数,进入Storm的“全部配置”页面。