检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在MySQL客户端使用ELB访问Doris 登录安装了MySQL的节点,执行以下命令连接Doris,详细操作请参见快速使用Doris: mysql -u数据库登录用户 -p数据库登录用户密码 -PELB前端端口 -hELB公网IP地址 ELB前端端口即为8.a配置的前端端口号。 ELB公网IP地址为5中查看到的地址。
资源状态变为“冻结”,您将无法对处于保留期的按需计费资源执行任何操作。 保留期到期后,若您仍未支付账户欠款,那么集群将终止服务,系统中的数据也将被永久删除。 图1 按需计费MRS集群生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 欠费后需要及时充值,详细操作请参见账户充值。
服务通过MySQL协议与Doris建立连接,部分语言的SDK已经提供了高可用能力,例如MySQL JDBC可以使用自动重试机制,建立连接时通过如下配置设置数据源: jdbc:mysql:loadbalance://[host1][:port],[host2][:port][,[host3][:port]]
运行Spark任务发现大量shuffle结果丢失 JDBCServer长时间运行导致磁盘空间不足 spark-shell执行SQL跨文件系统load数据到Hive表失败 Spark任务提交失败 Spark任务运行失败 JDBCServer连接失败 查看Spark任务日志失败 Spark Streaming任务提交问题
新目录。 更改NodeManager的存储目录以后,需要重新下载并安装客户端。 前提条件 在各个数据节点准备并安装好新磁盘,并格式化磁盘。 规划好新的目录路径,用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。 操作步骤 检查环境。 登录Manager,选择“集群 >
在节点内存允许范围内,适当调大RegionServer该参数的“Xmx”值,建议最大值不超过31GB,单击“保存”保存配置。 单击“概览”,选择“更多 > 重启服务”,重启HBase服务。 HBase服务重启期间,HBase服务的业务无法使用,包括数据读写、表相关操作、访问HBase
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS NameNode非堆内存使用率过高,会影响HDFS的数据读写性能。 可能原因 HDFS NameNode配置的非堆内存不足。 处理步骤 清除无用文件。 以root用户登录HDFS客户端,用户密码
生成的字段名。 操作:配置操作符。 比较值:配置比较值,可直接输入值或输入“#{已存在的字段名}”格式引用字段的具体值。 map 是 无 数据处理规则 首先判断条件是否成立。如果成立,更新字段的值;如果不成立,则不更新。 当更新字段为数值类型时,更新值需要为数值。 当更新字段为字符串类型时,更新操作不能为“-”。
生成的字段名。 操作:配置操作符。 比较值:配置比较值,可直接输入值或输入“#{已存在的字段名}”格式引用字段的具体值。 map 是 无 数据处理规则 首先判断条件是否成立。如果成立,更新字段的值;如果不成立,则不更新。 当更新字段为数值类型时,更新值需要为数值。 当更新字段为字符串类型时,更新操作不能为“-”。
isk(Used|Total)”和“Memory(Used|Total)”。 在“Brokers Metrics”处可查看Broker节点数据流量的jmx指标,包括在不同时段的时间窗口内,Broker节点平均每秒流入消息条数, 每秒流入消息字节数, 每秒流出消息字节数,每秒失败的
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS NameNode堆内存使用率过高,会影响HDFS的数据读写性能。 可能原因 HDFS NameNode配置的堆内存不足。 处理步骤 清除无用文件。 以root用户登录HDFS客户端,用户密码为
TBLPROPERTIES ("hbase.table.name" = "thh"); 创建好的Hive表和HBase表分别保存在Hive的数据库“default”和HBase的命名空间“default”中。 在FusionInsight Manager角色管理界面创建一个角色,例
HiveServer负责接收客户端请求(SQL语句),然后编译、执行(提交到YARN或运行Local MR)、与MetaStore交互获取元数据信息等。HiveServer运行日志记录了一个SQL完整的执行过程。 通常情况下,当遇到SQL语句运行失败,首先需要查看HiveServer运行日志。
conf(二选一),krb5.conf(必须)放入conf目录中。 此工具暂时只支持Carbon表。 此工具会初始化Carbon环境和预读取表的元数据到JDBCServer,所以更适合在多主实例、静态分配模式下使用。 父主题: Spark运维管理
conf(二选一),krb5.conf(必须)放入conf目录中。 此工具暂时只支持Carbon表。 此工具会初始化Carbon环境和预读取表的元数据到JDBCServer,所以更适合在多主实例、静态分配模式下使用。 父主题: Spark运维管理
提交Flink任务时launcher-job被Yarn终止如何处理? 提交Flink作业时报错slot request timeout如何处理? DistCP作业导入导出数据常见问题 如何通过Yarn WebUI查看Hive作业对应的SQL语句? 如何查看指定Yarn任务的日志? 添加Hive服务后,提交hiv
不涉及 取值范围: 不涉及 默认取值: 不涉及 input String 参数解释: 数据输入地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 output String 参数解释: 数据输出地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 job_log
包年/包月、按需计费 节点个数 * 弹性云服务器单价 * 购买时长 弹性云服务器单价请以弹性云服务器价格计算器中的价格为准。 云硬盘(系统盘和数据盘) 计费因子:云硬盘类型、容量。 购买云硬盘成功后,将立即开始计费,计费与其是否被使用无关。 包年/包月、按需计费 云硬盘的大小 * 云硬盘单价
查看作业详细信息 在“Job Browser”的作业列表,单击作业所在的行,可以打开作业详情。 在“Metadata”页签,可查看作业的元数据。 单击可打开作业运行时的日志。 父主题: 使用Hue(MRS 3.x之前版本)
如果某个DataNode日志中打印“Too many open files”,说明该节点文件句柄不足,导致打开文件句柄失败,然后就会重试往其他DataNode节点写数据,最终表现为写文件很慢或者写文件失败。 解决办法 执行ulimit -a命令查看有问题节点文件句柄数最多设置是多少,如果很小,建议修改成640000。