正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置项 说明 默认值 spark.sql.parquet.compression.codec 对于非分区parquet表,设置其存储文件的压缩格式。 在JDBCServer服务端的“spark-defaults.conf”配置文件中进行设置。 snappy spark.dynamicAllocation
使用Capacity调度器集群请参考表4为子租户配置属性。 新安装集群的Yarn组件默认使用Superior调度器。也可以参考切换MRS租户资源调度器切换调度器。 调度器类型可登录Manager,在Yarn服务“全部配置”页面搜索“yarn.resourcemanager.scheduler
大数据集群的数量和大数据集群功能划分,分析平台业务模型。 各个集群或各个组件分别负责什么业务,处理什么类型的数据。比如实时/离线数据分别使用什么组件处理、数据格式类型、压缩算法等。 集群基本信息收集 表1 集群基本信息 参数 说明 集群名称 - 集群版本 MRS、CDM等集群的版本信息。 节点数及规格
等策略内容,可自动生成策略。 JSON视图创建自定义策略:可以在选择策略模板后,根据具体需求编辑策略内容;也可以直接在编辑框内编写JSON格式的策略内容。 具体创建步骤请参见:创建自定义策略 修改自定义策略后,权限不会立即生效,大概需要等待15分钟,权限才会自动生效。 本章为您介绍常用的MRS自定义策略样例。
Manager的日志,具体操作如下: 下载并安装Yarn客户端(例安装目录:/opt/client)。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
访问MRS集群Manager。 如果当前退服DataNode节点,退服前需要进行健康检查,步骤如下。 使用客户端用户登录客户端安装节点,并切换到客户端安装目录。 如果是安全集群,需要使用hdfs用户进行权限认证。 source bigdata_env #配置客户端环境变量
String 参数解释: 资源计划的起始时间,格式为“hour:minute”,表示时间在0:00-23:59之间。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 end_time String 参数解释: 资源计划的结束时间,格式与“start_time”相同。 约束限制:
集群信息页面。 在集群详情页,单击“组件管理”。 图1 组件管理 单击服务列表中指定的服务名称。 单击“服务配置”。将页面右侧“基础配置”切换为“全部配置”,界面上将显示该服务的全部配置参数导航树,导航树从上到下的根节点分别为服务名称和角色名称。 在服务节点下的参数属于服务级别的
Spark客户端配置文件(例如:客户端目录为“/opt/client”,具体以实际为准): 以root用户登录Spark客户端所在的节点,切换到客户端安装目录。 cd /opt/client 执行以下命令修改Spark客户端配置文件目录下的“hive-site.xml”。 vi
若集群开启了SSL加密传输且本地Windows或Linux环境首次运行IoTDB样例代码,需执行以下操作生成客户端SSL证书。 以客户端安装用户,登录安装客户端的节点。 切换到IoTDB客户端安装目录,例如:/opt/client。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
se-*/clickhouse/keytab/clickhouse.keytab 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到ClickHouse客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执
'{print $2}' | awk -F 'fusioninsight' '{print $1}' 使用“su - Flume安装用户”命令切换到Flume安装用户,执行cd Flume客户端安装目录/fusioninsight-flume-1.9.0/conf/命令,进入Flume的配置目录。
TopologyBuilder builder = new TopologyBuilder(); // 分隔符格式,当前采用“|”代替默认的“,”对tuple中的field进行分隔 // HdfsBolt必选参数 RecordFormat
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase运行依赖到Job TableMapReduceUtil.addDependencyJars(job);
进程认证的principal。这些配置样例代码会自动从“hiveclient.properties中”读取。 //zkQuorum获取后的格式为"xxx.xxx.xxx.xxx:2181,xxx.xxx.xxx.xxx:2181,xxx.xxx.xxx.xxx:2181"; //"xxx
进程认证的principal。这些配置样例代码会自动从“hiveclient.properties中”读取。 //zkQuorum获取后的格式为"xxx.xxx.xxx.xxx:2181,xxx.xxx.xxx.xxx:2181,xxx.xxx.xxx.xxx:2181"; //"xxx
kafka作为source时必选 String Kafka的使用者组ID format 必选 String 用于反序列化和序列化Kafka消息的值部分的格式 properties.* 可选 String 安全模式下需增加认证相关的参数 scan.topic-partition-discovery
单击“导出数据”,可导出集群中所有主机的配置列表。 图4 主机资源概况 基础配置(CPU/内存) 鼠标放置饼图上会显示当前区域集群中各节点不同硬件配置下的配置信息及数量,格式为:核数(平台类型)内存大小:数量。 单击相应区域,会在下方显示相应的主机列表。 磁盘配置 横轴为节点上磁盘总容量(包含OS盘),纵轴为逻辑磁盘数量(包含OS盘)。
jar,将获取的包上传到/opt/client/Hbase/hbase/lib目录下。 执行Jar包。 在Linux客户端下执行Jar包的时候,需要用安装用户切换到客户端目录: cd $BIGDATA_CLIENT_HOME/HBase/hbase “$BIGDATA_CLIENT_HOME”指的是客户端安装目录。
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase运行依赖到Job TableMapReduceUtil.addDependencyJars(job);