检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
zk-state-store.num-fetch-threads 启用异步恢复功能,增加工作线程的数量可以加快恢复ZK中保存的任务信息的速度,取值范围大于0。 20 NodeManager Restart特性配置如下。 表2 NodeManager Restart参数配置 参数 描述 默认值
登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数 说明 默认值 取值范围 spark.sql.orc.enableVectorizedReader 指定是否支持矢量化方式读取ORC格式的数据,默认为true。 true
scale_factor numPartitions = total size of input data / splitSize 默认值为3,range的范围为[1, 300]。 OPTIONS('SCALE_FACTOR'='10') 如果GLOBAL_SORT_PARTITIONS和SCAL
此列顺序对于压缩效率起重要作用。如果低cardinality维度位于左边,那么排序后的数据分区范围较小,压缩效率较高。如果高cardinality维度位于左边,那么排序后的数据分区范围较大,压缩效率较低。 内存调优 CarbonData为内存调优提供了一个机制,其中数据加载会依赖
请从Kafka环境中获取Kafka依赖包。 具体依赖包请查看参考信息。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings
若应用开发中需要请手动复制相关jar包到lib目录中。 针对Flink提供的几个样例工程,其对应的运行依赖包如下: 表1 样例工程运行依赖包 样例工程 依赖包 依赖包获取地址 DataStream程序 异步Checkpoint机制程序 flink-dist_*.jar 可在Flink的客户端或者服务端安装路径的lib目录下获取。
此列顺序对于压缩效率起重要作用。如果低cardinality维度位于左边,那么排序后的数据分区范围较小,压缩效率较高。如果高cardinality维度位于左边,那么排序后的数据分区范围较大,压缩效率较低。 内存调优 CarbonData为内存调优提供了一个机制,其中数据加载会依赖
clientPort HBase集群中ZooKeeper的端口号。 2181 hbase.zookeeper.quorum HBase集群中ZooKeeper地址。 192.168.0.7,192.168.0.8,192.168.0.9 zookeeper.znode.parent HBase存在Z
FusionInsight_Cluster_1_Services_ClientConfig scp HetuEngine/config/* root@客户端节点IP地址:/opt/client/conf 以omm用户登录部署了HSBroker角色的节点,进入“${BIGDATA_HOME}/FusionI
JDBC连接属性,单击“添加”手动添加。 名称:连接属性名。 值:连接属性值。 ftp-connector FTP服务器的IP FTP服务器的IP地址。 FTP服务器端口 FTP服务器的端口号。 FTP用户名 访问FTP服务器的用户名。 FTP密码 访问FTP服务器的密码。 FTP模式
Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空,必须唯一。 test bind avro source绑定的ip地址,此参数不能为空。须配置为服务端配置文件即将要上传的主机IP。 192.168.108.11 port avro source监测的端口,
Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空,必须唯一。 test bind avro source绑定的ip地址,此参数不能为空。须配置为服务端配置文件即将要上传的主机IP。 192.168.108.11 port avro source监测的端口,
access-control-allow-origin”和“jobmanager.web.allow-access-address”配置项中,IP地址之间使用英文逗号分隔。 jobmanager.web.access-control-allow-origin: xx.xx.xxx.xxx
JDBC连接属性,单击“添加”手动添加。 名称:连接属性名。 值:连接属性值。 ftp-connector FTP服务器的IP FTP服务器的IP地址。 FTP服务器端口 FTP服务器的端口号。 FTP用户名 访问FTP服务器的用户名。 FTP密码 访问FTP服务器的密码。 FTP模式
properties文件所在路径 -run 参数列表: 表2 参数列表 参数 含义 job 表示执行的是job任务 -oozie oozie服务器地址(任意节点) -config job.properties文件所在路径 -run 表示启动流程 例如: oozie job -oozie
16384 为了限制内存的使用,CarbonData会将数据排序并写入临时文件中。该参数控制读取和写入临时文件过程使用的缓存大小。单位:字节。 取值范围为:10240~10485760。 carbon.graph.rowset.size 100000 数据加载图步骤之间交换的行集大小。 最小值=500,最大值=1000000
16384 为了限制内存的使用,CarbonData会将数据排序并写入临时文件中。该参数控制读取和写入临时文件过程使用的缓存大小。单位:字节。 取值范围为:10240~10485760。 carbon.graph.rowset.size 100000 数据加载图步骤之间交换的行集大小。 最小值=500,最大值=1000000
当节点的实例规格选项后标示“已售罄”时,将无法购买此规格的节点,请选择其他规格节点进行购买。 Master节点中的4核8GB规格不在SLA售后范围内,仅适用于测试环境,不建议用于生产环境。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 磁盘角色 表1 MRS集群节点磁盘类型
单击“高级搜索”显示告警搜索区域,设置查询条件后,单击“搜索”,查看指定的告警信息。单击“重置”清除输入的搜索条件。 “起止时间”表示时间范围的开始时间和结束时间,可以搜索此时间段内产生的告警。 查看告警参考章节告警帮助,按照帮助指导处理告警。如果某些场景中告警由于MRS依赖的其
zk-state-store.num-fetch-threads 启用异步恢复功能,增加工作线程的数量可以加快恢复ZK中保存的任务信息的速度,取值范围大于0。 MRS 3.x之前的版本集群:1 MRS 3.x及后续版本集群:20 NodeManager Restart特性配置如下。 表2