检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
= file client.channels.static_log_channel.dataDirs = 数据缓存路径,设置多个路径可提升性能,中间用逗号分开 client.channels.static_log_channel.checkpointDir = 检查点存放路径 client
--sampling-multiple <arg> 可选参数,用于设置采样倍数,执行采样时,可以划分为更多的区间,单个Region下最多生成该参数值个文件,用于提升工具性能。 注意:该值越大,生成的HFile越多,会导致HBase compaction压力增大,该参数取值范围为[1,10],默认值为“1”,建议根据实际资源情况进行设置。
Printf("%+v\n", response) } else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 202 创建弹性伸缩策略完成
JobManager & TaskManager: JobManager和TaskManager是Flink的主要组件,针对各种安全场景和性能场景,配置项包括通信端口,内存管理,连接重试等。 Blob服务端: JobManager节点上的Blob服务端是用于接收用户在客户端上传的
为driver_behavior.jar的jar包。 运行程序参数 为本次执行的作业配置相关优化参数,用于优化资源使用效率,提升作业的执行性能。 参数选择“--class”,值输入“com.huawei.bigdata.spark.examples.DriverBehavior”。
由于节点组维度策略和资源池维度策略互斥,用户根据实际需要选择其中一个配置即可。 指定资源池维度策略在MRS 3.1.5及其之后版本支持。 对比项 节点组维度 资源池维度 弹性伸缩对象 Task节点组内的所有节点 弹性伸缩策略指定资源池内的Task节点 扩容节点资源池归属 default资源池
节点组中节点数量总和小于等于10000个。 管控数合设 生产环境或商用环境不推荐使用此场景。 管理节点、控制节点和数据节点合并部署时,集群性能和可靠性都会产生较大影响。 如节点数量满足需求,建议将数据节点单独部署。 Master节点数量大于等于3个,小于等于100个。 节点组数量总和小于等于10个。
计算实例重启期间无法执行SQL任务。 直接重启耗时约5分钟 滚动重启 不支持滚动重启。 - MemArtsCC 直接重启 重启期间无法使用缓存数据,影响上层组件性能 直接重启耗时3~5分钟 滚动重启 重启时仅部分缓存数据不可读,不影响整体业务 滚动重启耗时约10分钟,节点数越多时间越长 Kudu 直接重启
Printf("%+v\n", response) } else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 操作成功。
的表上某些列,需要授予列权限。 在权限管理中,为了方便用户使用,授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题,取消表的任意权限,系统不会自动取消数据库目录的HDFS权限,但对应的用户只能登录数据库和查看表名。 若为角色添加或删除数据库的查询权
statement.executeQuery(); 关闭数据库连接 客户端程序在执行完HQL之后,注意关闭数据库连接,以免内存泄露,同时这是一个良好的编程习惯。 需要关闭JDK的两个对象statement和connection。 如下: finally { if (null
HBase启动后原生页面显示RegionServer个数多于实际个数 问题背景 HBase启动后,HMaster原生页面显示RegionServer个数多于实际RegionServer个数。 查看HMaster原生页面,显示有4个RegionServer在线,如下图示: 原因分析
ouse_migration_tool/clickhouse-data-migration/comparison_result”目录下。 对比如下迁移后的结果文件信息,确认迁移后源集群和目标集群数据的一致性: source_cluster_table_info:源集群迁出数据的统计
Printf("%+v\n", response) } else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 版本元数
1 spark.shuffle.service.enabled NodeManager中一个长期运行的辅助服务,用于提升Shuffle计算性能。 fasle spark.sql.adaptive.enabled 是否开启自适应执行框架。 false spark.executor.memoryOverhead
计算实例重启期间无法执行SQL任务。 直接重启耗时约5分钟。 滚动重启 不支持滚动重启。 - MemArtsCC 直接重启 重启期间无法使用缓存数据,影响上层组件性能 直接重启耗时3~5分钟 滚动重启 重启时仅部分缓存数据不可读,不影响整体业务 滚动重启耗时约10分钟,节点数越多时间越长 Kudu 直接重启
jar”结尾。 - 运行程序参数 可选参数,为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 Flink作业常用运行程序参数如表2所示,可根据执行程序及集群资源情况进行配置。 - 执行程序参数 可选参数,程序执行的关键参数,该参
1 spark.shuffle.service.enabled NodeManager中一个长期运行的辅助服务,用于提升Shuffle计算性能。 fasle spark.sql.adaptive.enabled 是否开启自适应执行框架。 false spark.executor.memoryOverhead
HBase计划性迁移后存量复制导致全量数据重复迁移。 Cache key had block type null日志打印过多,可能影响性能。 ALM-19012告警HBase系统表目录或文件丢失告警误报。 健康检查脚本执行异常导致上报HBase服务不可用误告警。 解决Yarn问题:
解决[YARN-10854]问题 Hive支持Redis缓存连接失败重试 支持OBSA客户端数据监控上报 支持OBS流控重试机制 pms性能优化 mrs-obs-provider的缓存过期优化 优化删除分区的逻辑 Yarn的refresh node速度优化 删除无效告警 补丁兼容关系