检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
validate(UDFParameterValidator validator) throws Exception 在初始化方法“beforeStart”调用前执行,用于检测“UDFParameters”中用户输入的参数是否合法。 否 void beforeStart(UDFParameters parameters
会导致业务压力集中在单节点,造成业务侧可感知的性能下降甚至请求失败。 HBase服务增加了MetricController实例,开启热点检测能力,能够监控每个RegionServer节点的请求流量,通过聚合分析,识别出请求偏高的节点和Region,有助于快速发现热点问题;并提供
配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
如何获取Topic的分布信息 用户问题 如何获取Topic在Broker实例的分布信息? 前置操作 前提条件 已安装Kafka、ZooKeeper客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。
配置Flink通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
disk.balancer.auto.enabled 是否开启自动执行HDFS DiskBalancer特性。默认值为“false”,表示关闭该特性。 false dfs.disk.balancer.auto.cron.expression HDFS 磁盘均衡操作的CRON表达式
变量名中输入“USERDNSDOMAIN”,变量值设为非空字符串,图中以“test”为例。 连续单击“确定”,完成系统环境变量的设置。 关闭样例工程,重新打开,运行。 查看调测结果 查看运行结果获取应用运行情况 HdfsExample Windows样例程序运行结果如下所示。
变量名中输入“USERDNSDOMAIN”,变量值设为非空字符串,图中以“test”为例。 连续单击“确定”,完成系统环境变量的设置。 关闭样例工程,重新打开,运行。 查看调测结果 查看运行结果获取应用运行情况 HdfsExample Windows样例程序运行结果如下所示。
HBase缓存区大小,主要影响查询性能。根据查询模式以及查询记录分布情况来决定缓存区的大小。如果采用随机查询使得缓存区的命中率较低,可以适当降低缓存区大小。 当offheap关闭时,默认值为0.25。当offheap开启时,默认值是0.1。 如果同时存在读和写的操作,这两种操作的性能会互相影响。如果写入导致的flu
disk.balancer.auto.enabled 是否开启自动执行HDFS DiskBalancer特性。默认值为“false”,表示关闭该特性。 false dfs.disk.balancer.auto.cron.expression HDFS 磁盘均衡操作的CRON表达式
当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后,不支持修改。 如果您对价格有疑问,可以单击页面左下角“了解计费详情”,根据计费详情来了解产品价格。
index_bootstrap.tasks 采用状态索引写数据需要进行主键唯一性检查,分配具体写入文件,提升该算子并行度提升性能。 写算子索引检测算子调整参数:write.bucket_assign.tasks 非状态计算提升性能的资源优化 Flink计算操作分为如下两类: 无状态计
Name 待连接的数据库名称,名称只能由英文字母、数字、下划线和中划线组成,且必须以英文字母开头。 opengaussdb Schema 待检测数据库的Schema名称。 oprngaussschema Datastore Type 上层源的类型。 MRS 3.2.0版本: opengauss
Kafka应用开发常见问题 Kafka常用API介绍 使用Kafka客户端SSL加密 配置Windows通过EIP访问集群Kafka 运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED” 运行Producer.java样例报错获取元数据失败“ERROR
配置Spark数据传输加密 操作场景 本章节指导用户设置Spark安全通道加密,以增强安全性。 该章节仅适用于MRS 3.x及之后版本。 配置Spark数据传输加密 参数修改入口:登录Manager页面,选择“集群 > 服务 > Spark > 配置”,展开“全部配置”页签,在搜索框中输入相关参数名称。
Kafka应用开发常见问题 Kafka常用API介绍 使用Kafka客户端SSL加密 配置Windows通过EIP访问安全模式集群Kafka 运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED” 运行Producer.java样例报错“ERROR
用户自定义函数需要用户控制函数中变量的内存、线程等资源的占用,如果控制不当可能会导致内存溢出、CPU使用高等问题。 若集群开启了Ranger鉴权,需要关闭Ranger鉴权后才能使用Python的UDF函数。 下面以编写一个AddDoublesUDF为例,说明UDF的编写和使用方法。 功能介绍
用户自定义函数需要用户控制函数中变量的内存、线程等资源的占用,如果控制不当可能会导致内存溢出、CPU使用高等问题。 若集群开启了Ranger鉴权,需要关闭Ranger鉴权后才能使用Python的UDF函数。 下面以编写一个AddDoublesUDF为例,说明UDF的编写和使用方法。 功能介绍
在“维护”下单击“审计日志导出”。 表2 审计日志导出参数 参数 示例 参数解释说明 审计日志导出 打开 必选参数,指定是否打开审计日志导出。 打开:启用审计日志导出。 关闭:禁用审计日志导出。 开始时间 07/24/2017 09:00:00 必选参数,指定审计日志导出的开始时间。 周期 1天 必选参数,指定
予“Hive管理员权限”。 集群未启用Kerberos认证(普通模式)开启Ranger鉴权 集群未启用Kerberos认证(普通模式)默认关闭Ranger鉴权,如果启用Ranger鉴权,新增以下限制: 白名单限制:未配置的参数将不允许在客户端设置。白名单开关由Hive配置页面的“hive