检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。 设置为true,表示日志会被收集到HDFS目录中。默认目录为“{yarn.nodemanager.remote-ap
在执行SQL语句前,执行如下命令。注意执行前保证集群有足够内存可以设置。 SET max_memory_usage = 128000000000; #128G 如果没有上述大小内存可用,ClickHouse可以通过如下设置将“溢出”数据到磁盘。建议将max_memory_usage设置为max_bytes_befo
compression”设置parquet表的数据压缩格式。如在建表语句中设置tblproperties:"parquet.compression"="snappy"。 对于非分区表,需要通过“spark.sql.parquet.compression.codec”配置项来设置parquet
> 配置”,根据业务实际情况设置非高峰期时段。例如: 设置“hbase.offpeak.start.hour”参数值为“18”,设置“hbase.offpeak.end.hour”参数值为“23”时,表示每天18:00到23:00之间为非高峰期。 设置“hbase.offpeak
间大小/每个目录分配的空间大小),并把每个目录实际的空间使用率和该目录设置的阈值相比较。当检测到租户所关联的目录空间使用率高于该目录设置的阈值时,产生该告警。 当上报告警的目录的空间使用率小于或等于该目录设置的阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14024
WebUI展示的Tez任务数据,需要Yarn的TimelineServer支持,确认提交任务之前TimelineServer已经开启且正常运行。 在设置Hive执行引擎为Tez的同时,需要设置参数“yarn.timeline-service.enabled”为“true”,详情请参考切换Hive执行引擎为Tez。
WebUI展示的Tez任务数据,需要Yarn的TimelineServer支持,确认提交任务之前TimelineServer已经开启且正常运行。 在设置Hive执行引擎为Tez的同时,需要设置参数“yarn.timeline-service.enabled”为“true”,详情请参考切换Hive执行引擎为Tez。
API样例程序 FlinkServer REST API样例程序开发思路 FlinkServer REST API样例程序(Java) 使用代理用户访问FlinkServer REST API样例程序(Java) 父主题: 开发Flink应用
使用Filter过滤器读取HBase表数据 功能简介 HBase Filter主要在Scan和Get过程中进行数据过滤,通过设置一些过滤条件来实现,如设置RowKey、列名或者列值的过滤条件。 代码样例 以下代码片段在com.huawei.bigdata.hbase.exampl
compression”设置parquet表的数据压缩格式。如在建表语句中设置tblproperties:"parquet.compression"="snappy"。 对于非分区表,需要通过“spark.sql.parquet.compression.codec”配置项来设置parquet
> 角色”。 单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。 设置角色“权限”请参见表1。 设置角色的权限时,不能同时选择跨资源权限,如果需要设置多个资源的相关权限,请依次逐一设置。 Loader权限: “管理员”:Loader管理员权限。 “作业连接器”:Loader的连接权限。
使用Filter过滤器读取HBase表数据 功能简介 HBase Filter主要在Scan和Get过程中进行数据过滤,通过设置一些过滤条件来实现,如设置RowKey、列名或者列值的过滤条件。 代码样例 以下代码片段在com.huawei.bigdata.hbase.exampl
创建ClickHouse角色 该任务指导MRS集群管理员在Manager创建并设置ClickHouse的角色。ClickHouse角色可设置ClickHouse管理员权限以及ClickHouse表和数据库的读写权限。 前提条件 ClickHouse服务运行正常,Zookeeper服务运行正常。
当发生故障,将另一个NameNode切换为活动状态时,缓存的详细信息将被更新为当前活动的NameNode的信息。 本章节适用于MRS 3.x及后续版本。 操作步骤 设置参数的路径如下: 在FusionInsight Manager页面中,选择“集群 > 服务 > HDFS > 配置”,选择“全部配置”,并在搜索框中输入参数名称。
当发生故障,将另一个NameNode切换为活动状态时,缓存的详细信息将被更新为当前活动的NameNode的信息。 本章节适用于MRS 3.x及后续版本。 操作步骤 设置参数的路径如下: 在FusionInsight Manager页面中,选择“集群 > 服务 > HDFS > 配置”,选择“全部配置”,并在搜索框中输入参数名称。
全部配置”。搜索参数项“clickhouse-config-customize”添加名称为“mysql_port”,值为“9004”的参数值。 参数值可以自行设置。 修改完成后,单击“保存”。 单击“概览”页签,选择“ 更多 > 重启实例”或者“ 更多 > 滚动重启实例”。 父主题: ClickHouse企业级能力增强
使用Filter过滤器读取HBase表数据 功能简介 HBase Filter主要在Scan和Get过程中进行数据过滤,通过设置一些过滤条件来实现,如设置RowKey、列名或者列值的过滤条件。 代码样例 以下代码片段在com.huawei.bigdata.hbase.exampl
使用HBase过滤器Filter 功能简介 HBase Filter主要在Scan和Get过程中进行数据过滤,通过设置一些过滤条件来实现,如设置RowKey、列名或者列值的过滤条件。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“
使用Filter过滤器读取HBase表数据 功能简介 HBase Filter主要在Scan和Get过程中进行数据过滤,通过设置一些过滤条件来实现,如设置RowKey、列名或者列值的过滤条件。 代码样例 以下代码片段在com.huawei.bigdata.hbase.exampl
集群中所有业务用户)设置或取消自己的私有(Independent)属性。 开启私有属性开关后,需要业务用户登录后设置Independent属性,完成用户私有属性配置。 本章节仅适用于MRS 3.x及之后版本。 配置MRS集群用户私有属性限制约束 管理员不能设置或取消业务用户的Independent属性。