检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在连接阶段因数据有序,在内存中只保留当前相同key的数据,使用的内存较小。 配置描述 参数入口: 在应用提交时通过“--conf”设置这些参数,或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数 场景 描述 默认值 spark.sql
在连接阶段因数据有序,在内存中只保留当前相同key的数据,使用的内存较小。 配置描述 参数入口: 在应用提交时通过“--conf”设置这些参数,或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数 描述 默认值 spark.sql
集群还有剩余资源,在这种场景下,配置Slow Start参数值小于1,比如0.8,则Reduce就可以利用集群剩余资源。 操作步骤 参数入口: 进入Mapreduce服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 参数 描述 默认值 mapreduce
集群还有剩余资源,在这种场景下,配置Slow Start参数值小于1,比如0.8,则Reduce就可以利用集群剩余资源。 操作步骤 参数入口: 进入Mapreduce服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 参数 描述 默认值 mapreduce
更改Broker单个实例的存储目录需要重新启动实例,该节点Broker实例重启时无法提供服务。 服务参数配置如果使用旧的存储目录,需要更新为新目录。 前提条件 在各个数据节点准备并安装好新磁盘,并格式化磁盘。 已安装好Kafka客户端。 更改Broker单个实例的存储目录时,保持活动的Broker实例数必须大于创建主题时指定的备份数。
更改Broker单个实例的存储目录需要重新启动实例,该节点Broker实例重启时无法提供服务。 服务参数配置如果使用旧的存储目录,需要更新为新目录。 前提条件 在各个数据节点准备并安装好新磁盘,并格式化磁盘。 已安装好Kafka客户端。 更改Broker单个实例的存储目录时,保持活动的Broker实例数必须大于创建主题时指定的备份数。
如果您需要修改日志级别,请执行如下操作: 请参考修改集群服务配置参数,进入Flume的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 配置完成后即生效,不需要重启服务。 日志格式 Flume的日志格式如下所示:
IoTDB > 配置”,在搜索框中搜索“SSL”,修改“SSL_ENABLE”参数值为“false”;保存配置后需重启IoTDB服务使配置生效。并修改客户端“客户端安装目录/IoTDB/iotdb/conf”目录下的“iotdb-client.env”文件中的配置:iotdb_ssl_enable="false"。
开发环境:Windows系统,推荐Windows7以上版本。 运行环境:Linux系统。 安装JDK和Maven 开发环境的基本配置:Java JDK 8或以上、Maven 3.3.9或以上 安装和配置Eclipse或IntelliJ IDEA 用于开发Alluxio应用程序的工具。 网络
选择“sftp-connector”,单击“添加”,输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。Loader支持配置多个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。
选择“sftp-connector”,单击“添加”,输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。Loader支持配置多个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。
生产者使用的安全协议类型,当前安全模式下仅支持SASL协议,需要配置为SASL_PLAINTEXT。 sasl.kerberos.service.name 服务名。 Kafka集群运行,所使用的Kerberos用户名(需配置为kafka)。 key.serializer 消息Key值序列化类。
的百分之80? 是,执行1.d。 否,执行1.f。 在MRS Manager首页,单击“服务管理 > ZooKeeper > 服务配置 > 全部配置 > quorumpeer > 系统”。将GC_OPTS参数中-Xmx的值根据实际情况调大。 观察界面告警是否清除? 是,处理完毕。
10, -F, 12, abc, efg。用户根据实际需求按照该规则(, 新参数)追加新的参数。 服务配置参数:在原有的参数后,按“, {key}={value}”的格式添加新的服务配置参数。比如原有参数为appender.out.strategy.max=10,则新的服务参数为:appender
C结果集。 代码样例 客户端“hbase-example/conf/hbase-site.xml”中配置存放查询中间结果的临时目录,如果客户端程序在Linux上执行临时目录就配置Linux上的路径,如果客户端程序在Windows上执行临时目录则配Windows上的路径。 <property>
C结果集。 代码样例 客户端“hbase-example/conf/hbase-site.xml”中配置存放查询中间结果的临时目录,如果客户端程序在Linux上执行临时目录就配置Linux上的路径,如果客户端程序在Windows上执行临时目录则配Windows上的路径。 <property>
场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下: 以HDFS文本文件为输入数据: log1.txt:数据输入文件 YuanJing,male,10
", e1); } } } } 样例6:main()方法创建一个job,配置相关依赖,配置相关鉴权信息,提交作业到hadoop集群。 public static void main(String[] args) throws
场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下: 以HDFS文本文件为输入数据: log1.txt:数据输入文件 YuanJing,male,10
MRS 2.x及之前版本集群,用户的MRS集群启动Yarn后产生大量作业,占用集群计算资源。 原因分析 集群安全组入口方向的Any协议源地址配置为0.0.0.0/0,导致集群可能遭受了外部网络攻击。 处理步骤 登录MRS集群页面,在“现有集群”中,单击对应的集群名称,进入集群详情页面。