检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用spark-submit提交命令: spark-submit --master yarn --deploy-mode client --class com.huawei.bigdata.spark.examples.HBaseExternalHivetoCarbon /opt/example
FSPermissionChecker.checkPermission(FSPermissionChecker.java:231) at com.xxx.hadoop.adapter.hdfs.plugin.HWAccessControlEnforce.checkPermissio
包年/包月 包年/包月是一种先付费再使用的计费模式,适用于对资源需求稳定且希望降低成本的用户。本文将介绍包年/包月MRS集群资源的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。 以下是一些适用于包年/包月计费模式的业务场景: 用户基于业务需求可预估资源使用周期。
如果对RocksDB有频繁的读取请求,那么磁盘IO会成为Flink任务瓶颈。当一个 TaskManager包含三个slot时,那么单个服务器上的三个并行度都对磁盘造成频繁读写,从而导致三个并行度的之间相互争抢同一个磁盘IO,导致三个并行度的吞吐量都会下降。可以通过指定多个不同的硬盘从而减少IO竞争。
delimiter, long maxRetry) 获取用户定义的Socket数据,作为输入流数据。 hostname是指Socket的服务器端的主机名称。 port指的是服务器的监测端口。 delimiter指的是消息之间的分隔符。 maxRetry指的是由于连接异常可以触发的最大重试次数。 public
delimiter, long maxRetry) 获取用户定义的Socket数据,作为输入流数据。 hostname是指Socket的服务器端的主机名称。 port指的是服务器的监测端口。 delimiter指的是消息之间的分隔符。 maxRetry指的是由于连接异常可以触发的最大重试次数。 public
delimiter, long maxRetry) 获取用户定义的Socket数据,作为输入流数据。 hostname是指Socket的服务器端的主机名称。 port指的是服务器的监测端口。 delimiter指的是消息之间的分隔符。 maxRetry指的是由于连接异常可以触发的最大重试次数。 public
FSPermissionChecker.checkPermission(FSPermissionChecker.java:231) at com.xxx.hadoop.adapter.hdfs.plugin.HWAccessControlEnforce.checkPermissio
可以提高写入大量数据初期的数据写入速度。 表的列名以及列族名不能包含特殊字符,可以由字母、数字以及下划线组成。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testCreateTable方法中。 public
--config $HADOOP_HOME/etc/hadoop jar $HCAT_CLIENT/hive-examples-1.0.jar com.huawei.bigdata.hive.example.HCatalogExample -libjars $LIB_JARS t1 t2
可以提高写入大量数据初期的数据写入速度。 表的列名以及列族名不能包含特殊字符,可以由字母、数字以及下划线组成。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testCreateTable方法中。 public
击。 所以在普通模式下,建议单用户场景下使用,必须通过严格限定网络访问权限来保障集群的安全。 尽量将业务应用程序部署在同VPC和子网下的ECS中,避免通过外网访问MRS集群。 配置严格限制访问范围的安全组规则,禁止对MRS集群的入方向端口配置允许Any或0.0.0.0的访问规则。
MS Administrator”权限,且需要在相应组件进行如下配置。 如果集群同时开启“OBS权限控制”功能,此时会使用ECS配置的默认委托“MRS_ECS_DEFAULT_AGENCY”或者用户设置的自定义委托的AK/SK访问OBS服务,同时OBS服务会使用接收到的AK/SK
使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误 问题描述 执行hadoop fs -rm obs://<obs_path>出现如下报错: exception [java.nio.file.AccessDeniedException: user/root/.Trash/Current/:
访问Hue WebUI界面 操作场景 MRS集群安装Hue组件后,用户可以通过Hue的WebUI,在图形化界面使用Hadoop生态相关组件。 该任务指导用户在MRS集群中打开Hue的WebUI。 Internet Explorer浏览器可能存在兼容性问题,建议更换兼容的浏览器访问Hue
使用Hue提交Coordinator定时调度作业 操作场景 该任务指导用户通过Hue界面提交定时调度类型的作业。 前提条件 提交Coordinator任务之前需要提前配置好相关的workflow作业。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。 在界面左
使用Hue提交Coordinator定时调度作业 操作场景 该任务指导用户通过Hue界面提交定时调度类型的作业。 前提条件 提交Coordinator任务之前需要提前配置好相关的workflow作业。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。 在界面左
行Jar包。 java -classpath /opt/test/lib/*:/opt/test/src/main/resources com.huawei.storm.example.wordcount.WordCountTopology 父主题: 提交Storm拓扑
使用CDM服务迁移HBase数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云HBase集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差
MRS多租户简介 多租户概述 背景介绍: 现代企业的数据集群在向集中化和云化方向发展,企业级大数据集群需要满足: 不同用户在集群上运行不同类型的应用和作业(分析、查询、流处理等),同时存放不同类型和格式的数据。 某些类型的用户(例如银行、政府单位等)对数据安全非常关注,很难容忍将自己的数据与其他用户的放在一起。