检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“并发数”:表示单个FE实例可运行查询任务的并发数上限。 “队列长度”:表示超出并发数,在队列中等待执行的查询任务数上限。 “队列等待时长(毫秒)”:表示在队列中,任务的最长等待时间,单位为毫秒。 “开启内存软隔离”:表示租户是否可以超量使用内存资源。
不可与“Map数”同时配置。当使用关系型数据库连接器时,不支持“Map数据块大小”,请配置“Map数”。 HBASE HBase实例 在HBase作业中,Loader支持从集群可添加的所有HBase服务实例中选择任意一个。
{partitionNum} topic的分区数。 {replicationNum} topic中每个partition数据的副本数。 {Topic} Topic名称。
密码需要满足一定的强度要求,例如密码最少字符数、混合大小写等。 密码传递时注意加密,尽量避免通过邮件传递密码。 密码需要加密存储。 系统移交时提醒企业用户更改密码。 定期修改密码。 日志维护建议 利用日志记录来帮助发现非法操作、非法登录用户等异常情况。
{partitionNum} topic的分区数。 {replicationNum} topic中每个partition数据的副本数。 {Topic} Topic名称。
建议每个批次5k到100k行,写入字段不能太多,太多字段情况下要减少写入行数,以降低对写入节点的内存和CPU压力,每秒不超过1次插入。 多副本并行导入。
ZooKeeper客户端连接数规格是否满足“maxCnxns”、“maxClientCnxns”参数配置要求,否则适当调整参数值使满足系统要求。
SparkStreamingtoHbaseScalaExample010 sparksecurity-examples/SparkStructuredStreamingJavaExample 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。
策略 7:一个集群的逻辑机架数,不建议多于50个(过多则不便于维护)。 最佳实践示例 假设一个集群,共有主机100台,分别在两个机房中:机房A有40台主机,机房B有60台主机。在机房A中,物理机架Ra1有11台主机,物理机架Ra2有29台。
在不做map端聚合并且reduce任务的partition数小于或等于该值时,避免对数据进行归并排序,防止系统处理不必要的排序引起性能下降。
只有当热存储中的行数小于要查询的最小行数时,才会查询冷存储中的数据,减少了冷存储的访问提高了响应速度。
-m或-num-mappers 启动n个map来并行导入数据,默认是4个,该值请勿高于集群的最大Map数。
风险提示:在SUSE内核版本3.0以上或Red Hat 7.2版本,由于系统内核修改了网络读包丢包数的计数机制,在该系统下,即使网络正常运行,也可能会导致该告警出现,对业务无影响,建议优先按照“检查系统环境”进行排查。 可能原因 网卡配置了主备bond模式。
当导入的数据量过大时,可通过调节以下参数提高性能: sink.batch.size:单次写BE的最大行数,默认值为:10000。 doris.sink.batch.interval.ms:每个批次sink的间隔时间,单位为ms,默认值为:50。
MRS支持作业返回日志路径 MRS作业查询接口,支持返回多个application_id 大数据组件 支持HDFS单副本检测能力 解决的问题 MRS 3.1.0.0.5 修复问题列表: MRS Manager 解决当故障实例所在的节点数大于等于要缩容节点数时,缩容失败问题 解决当所有
如果要使用多线程消费Kafka集群数据的话,请确保消费的主题分区数大于1。 需要将Kafka客户端配置文件“client.properties”和“log4j.properties”文件放置在程序运行的配置文件目录下。
升级节点规格不支持减小vcpu数/memory数。 按照报错提示进行处理 400 12000133 Specification scale-up is not available for this type of nodes. 升级节点规格暂时不支持此节点类型。
参数值必须小于或等于3000,建议以SFTP服务器当前最大连接数作为其取值。 20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。
参数值必须小于或等于3000,建议以SFTP服务器当前最大连接数作为其取值。 20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。
参数值必须小于或等于3000,建议以SFTP服务器当前最大连接数作为其取值。 20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。