检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
anager.web.access-control-allow-origin”中添加访问主机的IP地址,可使用逗号分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。
anager.web.access-control-allow-origin”中添加访问主机的IP地址,可使用逗号分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。
接口类Admin,HBase客户端应用的核心类,主要封装了HBase管理类操作的API,例如建表,删表等操作,部分常见接口参见表表1。 接口类Table,HBase读写操作类,主要封装了HBase表的读写操作的API,部分常见接口参见表表2。 表1 org.apache.hadoop.hbase.client
接口类Admin,HBase客户端应用的核心类,主要封装了HBase管理类操作的API,例如建表,删表等操作,部分常见接口参见表表1。 接口类Table,HBase读写操作类,主要封装了HBase表的读写操作的API,部分常见接口参见表表2。 表1 org.apache.hadoop.hbase.client
增大内存可以提高读写性能,可以参考参数“hfile.block.cache.size”(见表2)和参数“hbase.regionserver.global.memstore.size”(见表1)的介绍进行设置。 -XX:NewSize与-XX:MaxNewSize设置相同值,建议
单击“系统设置 > 用户管理 > 添加用户”,为样例工程创建一个用户。 填写用户名,例如impalauser,用户类型为“机机”用户,加入用户组impala和supergroup,设置其“主组”为supergroup,单击“确定”,如图1所示。 图1 添加用户 在MRS Manager界面选择“系统设置
anager.web.access-control-allow-origin”中添加访问主机的IP地址,可使用逗号分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。
需要将ip:port替换为ha-cluster,使用到的其他参数见表1。 表1 客户端参数列表 参数名称 含义 默认值 spark.thriftserver.ha.enabled 是否启用HA模式,设置为true表示启用。如果启用了HA,需要在连接字符串中将host:port修改
acls 逗号分隔的有权限修改Spark job的用户列表。默认情况下只有开启Spark job的用户才有修改列表的权限(例如删除列表)。 - spark.ui.view.acls 逗号分隔的有权限访问Spark web ui的用户列表。默认情况下只有开启Spark job的用户才有访问权限。
下两种方式。 方法一:申请一台Windows的ECS访问MRS集群操作Impala,在安装开发环境后可直接运行样例代码。 在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”,以及Master节点的“默认安全组”。 在弹性云服务管理控制台,创建一个新的弹性云服务器。
概述”的“Storm WebUI”,单击任意一个UI链接,打开Storm的WebUI。 第一次访问Storm WebUI,需要在浏览器中添加站点信任以继续打开页面。 MRS 3.x及后续版本:选择“Storm > 概览”,在“基本信息”的“Storm WebUI”,单击任意一个UI链接,打开Storm的WebUI。
比重)。 0.7 0-1 spark.sql.statistics.size.autoUpdate.enabled 开启当表的数据发生变化时,自动更新表的大小信息。注意如果表的数据文件总数量非常多时,这个操作会非常耗费资源,减慢对数据的操作速度。 false [true,false] spark
比重)。 0.7 0-1 spark.sql.statistics.size.autoUpdate.enabled 开启当表的数据发生变化时,自动更新表的大小信息。注意如果表的数据文件总数量非常多时,这个操作会非常耗费资源,减慢对数据的操作速度。 false [true,false] spark
在Beeline/JDBCServer模式下使用非Spark用户操作。 操作步骤 可对INSERT...SELECT操作做如下的调优操作。 如果建的是Hive表,将存储类型设为Parquet,从而减少执行INSERT...SELECT语句的时间。 建议使用spark-sql或者在Beeline/JD
数据保存时间配置过长,数据累积达到磁盘使用率上限。 业务规划不合理,导致数据分配不均,使部分磁盘达到使用率上限。 处理步骤 登录MRS集群详情页面,选择“告警管理”。 在告警列表中单击该告警,从“告警详情”的“定位信息”中获得HostName(主机名称)和PartitionName(磁盘分区名称)。 在“主机管理”页面,单击2中获取的主机名称。
在左侧导航栏选择“Yarn(服务) > 自定义”,在自定义页面的“yarn.yarn-site.customized.configs”参数后添加“yarn.timeline-service.generic-application-history.enabled”,值为“false”,单击“保存”。
MapReduce任务节点,负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager MapReduce ResourceManager地址
cores”配置项或者“spark-env.sh”中的“SPARK_EXECUTOR_CORES”配置项设置为合适大小。 在使用spark-submit命令时,添加“--executor-cores NUM”参数设置核数。 配置Executor内存。 将“spark-defaults.conf”中的“spark
cores”配置项或者“spark-env.sh”中的“SPARK_EXECUTOR_CORES”配置项设置为合适大小。 在使用spark-submit命令时,添加“--executor-cores NUM”参数设置核数。 配置Executor内存。 将“spark-defaults.conf”中的“spark
examples/output-data/distcp-workflow/data.txt”。然后单击“添加”。 单击右上角的配置按钮,在打开的配置界面中,单击“删除+”,添加删除目录,例如“/user/admin/examples/output-data/distcp-workflow”。