检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
客户端的自定义MonitorServer证书密码 是,执行8。 否,执行7。 服务端、客户端的自定义MonitorServer证书密码需满足以下复杂度要求: 至少包含大写字母、小写字母、数字、特殊符号4种类型字符。 至少8位,最多64位。 出于安全考虑,建议用户定期更换自定义密码(例如三个
Topology里面的每一个Component(Spout/Bolt)节点都是并行运行的。在Topology里面, 可以指定每个节点的并行度,Storm则会在集群里面分配相应的Task来同时计算,以增强系统的处理能力。 图2 Topology Storm有众多适用场景:实时分析、
的结构必须一致。 若'表名'设置了加密算法SMS4或AES,则不支持对此HBase表启用将数据从主集群实时同步到备集群的功能。 若备集群不在线,或备集群中已存在同名但结构不同的表,启用容灾功能将失败。 若主集群中部分Phoenix表启用容灾功能同步数据,则备集群中不能存在与主集群
Collection,垃圾回收),但是task执行时间严重不一致。 需要重新设计key,以更小粒度的key使得task大小合理化。 修改并行度。 优化数据结构 把数据按列存放,读取数据时就可以只扫描需要的列。 使用Hash Shuffle时,通过设置spark.shuffle.co
always-create-directory 当文件写入程序的并行度大于1时,输出文件的路径下会创建一个目录,并将不同的结果文件(每个并行写程序任务)放入该目录。 设置为true,那么并行度为1的写入程序也将创建一个目录并将一个结果文件放入其中。 设置为false,则并行度为1的写入程序将直接在输出路径中创建文件,而不再创建目录。
Collection,垃圾回收),但是task执行时间严重不一致。 需要重新设计key,以更小粒度的key使得task大小合理化。 修改并行度。 优化数据结构 把数据按列存放,读取数据时就可以只扫描需要的列。 使用Hash Shuffle时,通过设置spark.shuffle.co
Collection,垃圾回收),但是task执行时间严重不一致。 需要重新设计key,以更小粒度的key使得task大小合理化。 修改并行度。 优化数据结构 把数据按列存放,读取数据时就可以只扫描需要的列。 使用Hash Shuffle时,通过设置spark.shuffle.co
第一次使用新添加的操作系统用户通过SSH协议登录节点时,首次输入用户密码系统提示密码过期,第二次输入用户密码后系统提示修改密码。请输入一个同时满足节点操作系统及集群密码复杂度的新密码。 父主题: MRS集群安全加固
Streaming性能优化建议 设置合理的批处理时间(batchDuration)。 设置合理的数据接收并行度。 设置多个Receiver接收数据。 设置合理的Receiver阻塞时间。 设置合理的数据处理并行度。 使用Kryo系列化。 内存调优。 设置持久化级别减少GC开销。 使用并发的标记-清理GC算法减少GC暂停时间。
定。 Manager关键特性:自动健康检查与巡检 Manager为用户提供界面化的系统运行环境自动检查服务,帮助用户实现一键式系统运行健康度巡检和审计,保障系统的正常运行,降低系统运维成本。用户查看检查结果后,还可导出检查报告用于存档及问题分析。 Manager关键特性:租户管理
nodeagent重启后不显示监控信息 长时间提交作业,manager executor进程会内存溢出 支持提交作业,manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效
always-create-directory 当文件写入程序的并行度大于1时,输出文件的路径下会创建一个目录,并将不同的结果文件(每个并行写程序任务)放入该目录。 设置为true,那么并行度为1的写入程序也将创建一个目录并将一个结果文件放入其中。 设置为false,则并行度为1的写入程序将直接在输出路径中创建文件,而不再创建目录。
Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。 Driver根据具体的Block数据量,决定一个并行度,创建多个Task去读取这些文件Block。 在Executor端执行Task并读取具体的Block,作为RDD(弹性分布数据集)的一部分。
Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。 Driver根据具体的Block数据量,决定一个并行度,创建多个Task去读取这些文件Block。 在Executor端执行Task并读取具体的Block,作为RDD(弹性分布数据集)的一部分。
构必须一致。 如果'表名'设置了加密算法SMS4或AES,则不支持对此HBase表启用将数据从主集群实时同步到备集群的功能。 如果备集群不在线,或备集群中已存在同名但结构不同的表,启用容灾功能将失败。 如果主集群中部分Phoenix表启用容灾功能同步数据,则备集群中不能存在与主集
nodeagent重启后不显示监控信息 长时间提交作业,manager executor进程会内存溢出 支持提交作业,manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效
nodeagent重启后不显示监控信息 长时间提交作业,manager executor进程会内存溢出 支持提交作业,manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效
名和密码,例如“admin”用户。 如果使用其他集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角 ,然后单击“注销”。
nodeagent重启后不显示监控信息 长时间提交作业,manager executor进程会内存溢出 支持提交作业,manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效
size的实际值为待写入数据大小与blocksize配置值中的较大值。 当CarbonData表中的数据文件block.num小于任务并行度(parellelism)时,CarbonData数据文件的block会被切为新的block,使得blocks.num大于parelleli