检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
import java_import from pyspark.sql import SparkSession # 创建SparkSession,设置kryo序列化 spark = SparkSession\ .builder\ .appName("SparkHbasetoHbase")
reduce.shuffle.max-host-failures MR任务在reduce过程中读取远端shuffle数据允许失败的次数。当设置次数大于5时,可以降低客户端应用的失败率。该参数适用于MRS 3.x版本。 5 mapreduce.client.submit.file.replication
Broker用来处理磁盘I/O的线程数目,这个线程数目建议至少等于硬盘的个数。 KAFKA_HEAP_OPTS -Xmx6G -Xms6G Kafka JVM堆内存设置。当Broker上数据量较大时,应适当调整堆内存大小。 父主题: 使用Kafka
import java_import from pyspark.sql import SparkSession # 创建SparkSession,设置kryo序列化 spark = SparkSession\ .builder\ .appName("SparkHbasetoHbase")
import java_import from pyspark.sql import SparkSession # 创建SparkSession,设置kryo序列化 spark = SparkSession\ .builder\ .appName("SparkHbasetoHbase")
import java_import from pyspark.sql import SparkSession # 创建SparkSession,设置kryo序列化 spark = SparkSession\ .builder\ .appName("SparkHbasetoHbase")
reduce.shuffle.max-host-failures MR任务在reduce过程中读取远端shuffle数据允许失败的次数。当设置次数大于5时,可以降低客户端应用的失败率。该参数适用于MRS 3.x版本。 5 mapreduce.client.submit.file.replication
Broker用来处理磁盘I/O的线程数目,这个线程数目建议至少等于硬盘的个数。 KAFKA_HEAP_OPTS -Xmx6G -Xms6G Kafka JVM堆内存设置。当Broker上数据量较大时,应适当调整堆内存大小。 父主题: 使用Kafka
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Guardian”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
Hive > 配置 > 全部配置”。 选择“HiveServer(角色) > 自定义”,对参数文件“hive-site.xml”添加自定义参数,设置“名称”为“hive.internaltable.notallowlocation”,“值”为“true”。 单击“保存”保存配置。单击“
个人私有化数据,避免慢盘隔离时对业务造成影响; 自动触发慢盘隔离动作后,对于原来写两副本数据存在单副本运行的场景,存在一定风险,请知;同时华为侧运维人员会尽快对慢盘进行替换; 慢盘自动隔离能力支持单节点同时出现多个慢盘【默认配置为4】时自动隔离节点,此时该节点会变成隔离状态,客户
env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool
ZooKeeper中提供了如表2所示的日志级别。日志级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 FATAL FATAL表示当前事件处理出现严重错误信息,可能导致系统崩溃。
Hue提供了如表2所示的日志级别。 日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。
查看集群健康检查报告”,查看集群健康检查的报告。在健康检查的报告面板上单击“导出报告”导出健康检查报告,可查看检查项的完整信息。 下载健康检查报告: 选择“系统设置 > 维护 > 健康检查”。 在目标健康检查报告所在行,单击“下载”,下载报告文件。 配置健康检查报告保存数: 在不同时间、不同使用场景下
克隆”。 在弹出的“克隆集群”的窗口中选择需要克隆的配置。 若选择克隆作业,需填写克隆作业数量(最多支持50个,默认10个。) 克隆作业时设置的克隆作业数量不代表最终实际克隆的作业数,部分作业类型暂不支持,会被系统自动过滤。 单击“确定”。 在生成的集群购买页,如保持配置不变,则
以root用户登录HBase客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行以下命令进入客户端安装目录: cd 客户端安装目录 然后执行以下命令设置环境变量: source bigdata_env 如果集群采用安全版本,要执行以下命令进行安全认证: kinit hbase 按提示输入密码(向MRS集群管理员获取密码)。
务器生效。如果密码丢失将不可找回,请妥善保管。 kpasswd kadmin/admin 输入用户密码后(默认密码为Admin@123),设置新密码。新密码的默认复杂度要求: MRS 2.x及之前版本: 密码字符长度至少为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符'~
RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 系统执行业务能力过低,无法正常响应客户请求。 可能原因 HiveQL命令语法错误 执行Hive on HBase任务时HBase服务异常
连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下: 在执行“DriverManager