检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
53687091200 可根据写负载情况适当调整。 写并发小，不用更改。 写并发大，可适当调大。 data_region_iot_max_pending_batches_num Leader数据副本同步给Follower的并发最大值。 仅MRS 3.3.0及之后版本支持该参数。 12
执行join操作时localtask启动失败 修改hostname后导致WebHCat启动失败 集群修改域名后Hive样例程序运行报错 DBService超过最大连接数后导致Hive MetaStore异常 beeline客户端报错“Failed to execute session hooks: over
max_broker_concurrency：用于限制一个作业的最大的导入并发数，默认值为：10。 最小处理的数据量、最大并发数、源文件的大小和当前集群BE节点的个数共同决定了本次任务导入的并发数： 本次导入并发数 = Math.min（源文件大小/最小处理量，最大并发数，当前BE节点个数） 本次导入单个BE的处理量
创建CDL数据库连接 操作场景 通过CDLService WebUI创建数据库连接时，可参考该章节进行CDL作业编排。 前提条件 已获取待连接数据对应的驱动Jar包并上传。 开启Kerberos认证的集群需已参考CDL用户权限管理创建具有CDL管理操作权限的用户。 操作步骤 使用具
配置TaskManager个数。 每个TaskManager每个核同时能跑一个task，所以增加了TaskManager的个数相当于增大了任务的并发度。在资源充足的情况下，可以相应增加TaskManager的个数，以提高运行效率。 在使用yarn-session命令时，添加“-n NU
支持以下两种： File：按总文件个数分配map任务处理的文件数量，计算规则为“文件总个数/抽取并发数”。 Size：按文件总大小分配map任务处理的文件大小，计算规则为“文件总大小/抽取并发数”。 generic-jdbc-connector 表2 generic-jdbc-connector数据源连接属性
bigdata.kafka.example.ConsumerMultThread类的run方法中，用于实现对指定Topic的并发消费。 代码样例 /** * 启动多线程并发消费Consumer。 */ public void run() { LOG.info("Consumer:
bigdata.kafka.example.ConsumerMultThread类的run方法中，用于实现对指定Topic的并发消费。 代码样例 /** * 启动多线程并发消费Consumer。 */ public void run() { LOG.info("Consumer:
bigdata.kafka.example.ConsumerMultThread类的run方法中，用于实现对指定Topic的并发消费。 代码样例 /** * 启动多线程并发消费Consumer。 */ public void run() { LOG.info("Consumer:
MRS与外部数据源交换数据和文件时需要连接数据源，“连接”表示连接数据源时的连接参数集合。 表1 连接配置参数一览表 连接器类型 参数名 说明 generic-jdbc-connector JDBC驱动程序类 JDBC驱动类名。 JDBC连接字符串 JDBC连接字符串。 用户名 连接数据库使用的用户名。
说明 默认值 skipACL 是否跳过ZooKeeper节点的权限检查。 no maxClientCnxns ZooKeeper的最大连接数，在连接数多的情况下，建议增加。 2000 LOG_LEVEL 日志级别，在调试的时候，可以改为DEBUG。 INFO acl.compare
该节点ZooKeeper实例内存使用量过大，或分配的内存不合理，导致使用量超过阈值。 处理步骤 检查内存使用量。 在MRS集群详情页面，单击“告警管理 > 13002连接数不足 > 定位信息”。查看告警上报的实例的ip。 在MRS集群详情页面，单击“组件管理 > ZooKeeper > 实例 > quorumpeer（对应上报告警实例ip）
bigdata.kafka.example.ConsumerMultThread类的run方法中，用于实现对指定Topic的并发消费。 代码样例 /** * 启动多线程并发消费Consumer。 */ public void run() { LOG.info("Consumer:
ClickHouse表引擎介绍 表引擎在ClickHouse中的作用十分关键，不同的表引擎决定了： 数据存储和读取的位置 支持哪些查询方式 能否并发式访问数据 能不能使用索引 是否可以执行多线程请求 数据复制使用的参数 其中MergeTree和Distributed是ClickHous
ion指定路径到库后导致删表后库数据丢失。 解决Hive限制动态分区下并发写数据场景的问题。 解决Hive并发插入不同分区，存在分区数据丢失问题。 Hive监控增强适配。 解决Hive localTask并发较大时导致本地/opt/Bigdata/tmp文件inode满的问题。
据组件。当前标准的云上大数据集群不能满足所有用户需求，例如如下几种场景： 通用的操作系统配置不能满足实际数据处理需求，例如需调大系统最大连接数。 需要安装自身业务所需的软件工具或运行环境，例如需安装Gradle、业务需要依赖R语言包。 根据自身业务对大数据组件包做修改，例如对Hadoop或Spark安装包做修改。
ode启动失败 问题 当Standby NameNode存储元数据（命名空间）时，出现断电的情况，Standby NameNode启动失败并发生如下错误信息。 回答 当Standby NameNode存储元数据（命名空间）时，出现断电的情况，Standby NameNode启动失
查询速度快，数据分片的查询速度比用索引快。 水平扩展性好，如果数据量越大，产生的分片就越多，所以只要增加任务的并发数，就可以获得较理想的性能；反之，减少任务并发数，就可以节省资源。 简化数据分片逻辑，不需要考虑“精度丢失”、“类型兼容”和“绑定变量”等问题。 易用性得到增强，
可参见hdfs-connector。 在“任务配置”填写作业的运行参数。 在“抽取并发数”填写map任务的个数。 在“加载(写入)并发数”填写reduce任务的个数。 目的连接为HDFS连接时，不显示“加载(写入)并发数”参数。 “单个分片的最大错误记录数”填写错误记录阈值。 在“脏数据目
window_end FlinkSQL支持设置Source的并发 本章节适用于MRS 3.3.0及以后版本。 FlinkSQL支持通过使用参数“source.parallelism”设置Source算子的并发数，解决下游算子的并发数引起的一些问题，例如下游算子发送数据倾斜、背压、作业性能慢等问题。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
