检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建议每个批次5k到100k行,写入字段不能太多,太多字段情况下要减少写入行数,以降低对写入节点的内存和CPU压力,每秒不超过1次插入。 多副本并行导入。
只有当热存储中的行数小于要查询的最小行数时,才会查询冷存储中的数据,减少了冷存储的访问提高了响应速度。
-m或-num-mappers 启动n个map来并行导入数据,默认是4个,该值请勿高于集群的最大Map数。
如果要使用多线程消费Kafka集群数据的话,请确保消费的主题分区数大于1。 需要将Kafka客户端配置文件“client.properties”和“log4j.properties”文件放置在程序运行的配置文件目录下。
ECS重置密码插件升级(可选) 华为云ECS服务提供了一键式重置密码功能,弹性云服务器的密码丢失或过期时,可使用该功能进行一键式重置密码。
风险提示:在SUSE内核版本3.0以上或Red Hat 7.2版本,由于系统内核修改了网络读包丢包数的计数机制,在该系统下,即使网络正常运行,也可能会导致该告警出现,对业务无影响,建议优先按照“检查系统环境”进行排查。 可能原因 网卡配置了主备bond模式。
当导入的数据量过大时,可通过调节以下参数提高性能: sink.batch.size:单次写BE的最大行数,默认值为:10000。 doris.sink.batch.interval.ms:每个批次sink的间隔时间,单位为ms,默认值为:50。
参数值必须小于或等于3000,建议以SFTP服务器当前最大连接数作为其取值。 20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。
参数值必须小于或等于3000,建议以SFTP服务器当前最大连接数作为其取值。 20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。
参数值必须小于或等于3000,建议以SFTP服务器当前最大连接数作为其取值。 20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。
当业务侧突然出现流量峰值,例如,请求量暴涨10倍等场景,可执行以下操作进行调整: 登录FusionInsight Manager,选择“集群 > 服务 > HBase > 图表”,在左侧图表分类中选择“Handler”,查看“RegionServer处理用户表请求的活跃的handler数-
参数值必须小于或等于3000,建议以SFTP服务器当前最大连接数作为其取值。 20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。
- 运行程序参数 可选参数,为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 Flink作业常用运行程序参数如表2所示,可根据执行程序及集群资源情况进行配置。
委托的账号 填写本用户的云账号,即使用手机号开通的账号,不能是联邦用户或者IAM用户。 持续时间 请根据需要选择。 描述 可选,对委托的描述。 权限选择 在“项目”列对应的“对象存储服务”行,单击“操作”列的“修改”。 勾选1中创建的策略,使之出现在“已选择策略中”。
obs://wordcount/program/test.sql 运行程序参数 可选参数,为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。
--partitions主题分区数和--replication-factor主题备份个数不能大于Kafka角色实例数量。
约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 finished_step Integer 参数解释: 当前已完成的步骤数。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 job_main_id String 参数解释: 作业主ID。
--partitions主题分区数和--replication-factor主题备份个数不能大于Kafka角色实例数量。
--partitions主题分区数和--replication-factor主题备份个数不能大于Kafka角色实例数量。
风险提示:在SuSE内核版本3.0以上或Red Hat 7.2版本,由于系统内核修改了网络读包丢包数的计数机制,在该系统下,即使网络正常运行,也可能会导致该告警出现,对业务无影响,建议优先按照“检查系统环境”进行排查。 可能原因 操作系统问题。 网卡配置了主备bond模式。