检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据高可靠。 从实现上来看,DirectKafka的性能会是最好的,实际测试上来看,DirectKafka也确实比其他两个API性能好。因此推荐使用DirectKafka的API实现接收器。 数据接收器作为一个Kafka的消费者,对于它的配置优化,请参见Kafka开源文档:http://kafka
服务 > Kafka > 配置 > 全部配置”。 在右上角搜索框中搜索如下表2参数,并修改对应的参数值。 表2 修改Kafka参数 参数 推荐值 说明 unclean.leader.election.enable false 是否允许不在ISR中的副本被选举为Leader,如果设置为“true”,可能会造成数据丢失。
ALM-12054 证书文件失效 告警解释 系统每天二十三点检查当前系统中的证书文件是否失效(即当前集群中的证书文件是否过期,或者尚未生效)。如果证书文件失效,产生该告警。 当重新导入一个正常证书,并且状态不为失效状态,在下一个整点触发告警检测机制后,该告警恢复。 MRS 3.2
语言具有简洁易懂的特性,推荐用户使用Scala语言进行Spark应用程序开发。 按不同的语言分,Spark的API接口如表1所示。 表1 Spark API接口 接口 说明 Scala API 提供Scala语言的API。由于Scala语言的简洁易懂,推荐用户使用Scala接口进行程序开发。
MRS集群节点规格说明 MRS节点规格 MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。 弹性云服务器由多个租户共享物理资源,而裸金属服务器的资源归用户独享。对于关键类应用或性能要求较高的业务(如大数据集群、企业中间件系统),并且要求安全可靠的运行环境,使用裸金属服务器更合适。
loader.fault.tolerance.rate 容错率。 值大于0时使能容错机制。使能容错机制时建议将作业的Map数设置为大于等于3,推荐在作业数据量大的场景下使用。 0 0~1.0 loader.input.field.separator 默认的输入字段分隔符,需要配置输入
loader.fault.tolerance.rate 容错率。 值大于0时使能容错机制。使能容错机制时建议将作业的Map数设置为大于等于3,推荐在作业数据量大的场景下使用。 0 0~1.0 loader.input.field.separator 默认的输入字段分割符,需要配置输入
= b.id) WHERE b.email like '%cn'; 扩展使用 配置Hive中间过程的数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式,RCFile是Hiv
默认值 yarn.nodemanager.resource.cpu-vcores 表示该节点上YARN可使用的虚拟CPU个数,默认是8。 目前推荐将该值设置为逻辑CPU核数的1.5~2倍之间。 若任务为计算密集型,该参数可设置为与逻辑CPU核数一致。 若任务为非计算密集型资源,该参数可设置为逻辑CPU核数的1
ALM-16005 Hive服务进程堆内存使用超出阈值 告警解释 系统每30秒周期性检测Hive堆内存使用率,并把实际的Hive堆内存使用率和阈值相比较。当Hive堆内存使用率超出阈值(默认为最大堆内存的95%)时产生该告警。 用户可通过“运维 >告警 > 阈值设置 > 待操作集群的名称
= b.id) WHERE b.email like '%cn'; 扩展使用 配置Hive中间过程的数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式,RCFile是Hiv
为什么ZooKeeper节点上netcat命令无法正常运行 问题 为什么在Zookeeper服务器上启用安全的netty配置时,四个字母的命令不能与linux的netcat命令一起使用? 例如: echo stat |netcat host port 回答 Linux的netca
准备Spark应用运行环境 操作场景 Spark的运行环境(即客户端)只能部署在Linux环境下。您可以执行如下操作完成运行环境准备。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发运行调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。
户执行后续操作: 输入其他,则退出登录: (可选)创建元数据。 IoTDB具有类型推断的能力,因此在数据导入前创建元数据不是必须的。但仍然推荐在使用CSV导入工具导入数据前创建元数据,因为这可以避免不必要的类型转换错误。命令如下: SET STORAGE GROUP TO root
在发出最大请求数后,连接将关闭。定期关闭连接对于释放每个连接的内存分配是必要的。因此,使用过高的最大请求数可能会导致过多的内存使用,因此不推荐使用。 默认值:1000 取值范围:[1,100000] keepalive_time 限制可以通过一个保持活动连接处理请求的最长时间。达
MRS集群更换磁盘(适用于3.x) 用户问题 磁盘无法访问。 问题现象 客户创建本地盘系列MRS集群,其中1个Core节点的磁盘存在硬件损坏,导致读取文件失败。 原因分析 磁盘硬件故障。 处理步骤 该指导适用于本地盘系列(d/i/ir/ki系列)MRS集群,针对Core、Task类型节点的磁盘存在硬件故障。
SQL诊断“,参数“qas.sql.auto.diagnosis.enabled”为“true”表示开启SQL诊断功能,可根据业务需求配置SQL诊断推荐参数。 单击“保存”,保存配置。 单击“实例”,勾选所有QAS实例,选择“更多 > 重启实例”,输入密码重启QAS所有实例使参数生效。 查看SQL诊断结果
据高可靠。 从实现上来看,DirectKafka的性能更好,实际测试上来看,DirectKafka也确实比其他两个API性能好了不少。因此推荐使用DirectKafka的API实现接收器。 数据接收器作为一个Kafka的消费者,对于它的配置优化,请参见Kafka开源文档:http://kafka
为什么ZooKeeper节点上netcat命令无法正常运行 问题 为什么在Zookeeper服务器上启用安全的netty配置时,四个字母的命令不能与linux的netcat命令一起使用? 例如: echo stat |netcat host port 回答 Linux的netca
10及以上版本)。 在不存在DataArts Studio工具的场景下,可以使用Spark或者外表方式加载。由数据加工方进行数据推送加载时,推荐使用BorkerLoad加载方式,方便数据加工方统一调度;如果有数据应用方负责数据加载,则使用外表方式进行数据加载较为方便应用层另外配置加载数据。