检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
告警”,单击此告警所在行的,查看定位信息中上报告警的“主题名”列表。 确认发生告警Topic是否需要增加副本。 是,执行3。 否,执行5。 在FusionInsight客户端,对相关Topic的副本进行重新规划,在add-replicas-reassignment.json文件中描述该Topic的Partiti
people; 在表users中增加名为zip的列: ALTER TABLE users ADD COLUMN zip varchar; 从表users中删除名为zip的列: ALTER TABLE users DROP COLUMN zip; 将表users中列名id更改为user_id:
Impalad实例ID 访问StateStore WebUI,具体参考访问StateStore WebUI。 修改StateStore WebUI的URL地址中的“StateStore/xx”为“Impalad/xx”并访问修改后的URL,其中xx为3中获取的ID,如下所示: https://10
Executor注册shuffle service的超时时间是5秒,最多重试3次,该参数目前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”若不存在,则手动添加该参数项。
名。 用户类型 可选值包括“人机”和“机机”。 “人机”用户:用于在FusionInsight Manager的操作运维场景,以及在组件客户端操作的场景。选择该值需同时填写“密码”和“确认密码”。 “机机”用户:用于应用开发的场景。选择该值用户密码随机生成,无需填写。 密码 选择“人机”用户需填写“密码”。
Impalad实例ID 访问StateStore WebUI,具体参考访问StateStore WebUI。 修改StateStore WebUI的URL地址中的“StateStore/xx”为“Impalad/xx”并访问修改后的URL,其中xx为3中获取的ID,如下所示: https://10
断开HDFS文件系统连接。 hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录。 Linux中编译并运行程序 进入Linux客户端目录,运行如下命令导入公共环境变量: cd/opt/client sourcebigdata_env
断开HDFS文件系统连接。 hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录。 Linux中编译并运行程序 进入Linux客户端目录,运行如下命令导入公共环境变量: cd/opt/client sourcebigdata_env
testDB User user Password user用户密码 Description - 表2 Kafka数据连接配置参数 参数名称 示例 Link Type kafka Name kafkalink Description - 参数配置完成后,单击“测试连接”,检查数据连通是否正常。
Executor注册shuffle service的超时时间是5秒,最多重试3次,该参数目前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”如果不存在,则手动添加该参数项。
求,您还可以变更计费模式。详细介绍请参见变更计费模式概述。 计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用(弹性云服务器,云硬盘)组成。如需了解每种计费项的计费因子、计费公式等详细信息,请参考计费项。 如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程,请参见计费样例。
11:00:00 ~ 2023/04/20 23:59:59期间为包年/包月计费,计费时长为1个月,费用计算如下: 由此可见,在3~4月份,该云服务器总共产生的费用为:775.1+21.47+24.53+12047.1=12868.2元。
角色:tenant_spark 单击“确定”,完成用户添加。 步骤六:使用spark-submit提交任务 使用root用户登录客户端节点,执行如下命令: cd 客户端安装目录 source bigdata_env source Spark2x/component_env 安全集群(开启
查看topic数据过期时间。 bin/kafka-topics.sh --describe --zookeeper <ZooKeeper集群业务IP>:2181/kafka --topic kktest 设置topic数据过期时间,其中--topic表示具体topic名称,retention
parts_to_throw_insert clickhouse实例内存 / 32GB * 300 (保守估计值) 验证修改结果: 登录ClickHouse客户端,执行命令select * from system.merge_tree_settings where name = 'parts_to_throw_insert';
parts_to_throw_insert clickhouse实例内存 / 32GB * 300 (保守估计值) 验证修改结果: 登录ClickHouse客户端,执行命令select * from system.merge_tree_settings where name = 'parts_to_throw_insert';
worker增加并行split任务执行数,保证RegionServer worker能并行处理split work(RegionServer需要有更多的核心)。在“客户端安装路径/HBase/hbase/conf/hbase-site.xml”中添加参数: “hbase.regionserver.wal.max
Server的会话过程中定义使用。 在Hive Server中使用该函数,执行SQL语句。 SELECT addDoubles(1,2,3); 若重新连接客户端再使用函数出现[Error 10011]的错误,可执行reload function;命令后再使用该函数。 在Hive Server中删除该函数,执行SQL语句。
据。 前提条件 需要准备一个用于备份数据的备集群,且网络连通。每个集群的安全组,需分别添加对端集群的安全组入方向规则,允许安全组中所有弹性云服务器全部协议全部端口的访问请求。 根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。
testDB User user Password user用户密码 Description - 表2 Kafka数据连接配置参数 参数名称 示例 Link Type kafka Name kafkalink Description - 参数配置完成后,单击“测试连接”,检查数据连通是否正常。