检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程:
HDFS样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程:
MapReduce样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS
通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 本章节适用于MRS 3.3.0及以后版本。 通过HSBroker方式连接到HetuEngine,组装对应的SQL发送到HetuEngine执行,完成对Hive数据源的增删改查操作。 import jaydebeapi
Flink安全认证机制说明 Flink认证和加密 Flink集群中,各部件支持认证。 Flink集群内部各部件和外部部件之间,支持和外部部件如YARN、HDFS、ZooKeeprer进行kerberors认证。 Flink集群内部各部件之间,如Flink client和JobMa
行SQL的解析和生成执行计划,然后分发到多个Worker进程上执行。 有关Presto的详细信息,请参见:https://prestodb.github.io/或https://prestosql.io/。 Presto多实例 MRS支持为大规格的集群默认安装Presto多实例,
安全模式下Yarn和HBase的权限管理默认是开启的,因此在安全模式下默认需要配置Yarn和HBase权限。 在普通模式下,Yarn和HBase的权限管理默认是关闭的,即任何用户都有权限,因此普通模式下默认不需要配置Yarn和HBase权限。如果用户修改了YARN或者HBase的配置来开启权限管理,则
LoadBalance的HTTP、HTTPS端口。 登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 逻辑集群”,查看对应逻辑集群的“HTTP Balancer端口号”中的“非加密端口”及“加密端口”。 loadBalancerHttpsPort CL
curl -k -i --basic -u <user name>:<password> -c /tmp/jsessionid.txt 'https://x.x.x.x:28443/web/api/v2/permission/users?limit=10&offset=0&filte
INFO org.apache.hadoop.mapreduce.Job - The url to track the job: https://linux2:8090/proxy/application_1456738266914_0006/ 17086 [main] INFO
Spark2x样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Spark2x相关样例工程:
登录MRS Manager系统。 在浏览器地址栏中输入访问地址,地址格式为“https://MRS Manager系统的WebService浮动IP地址:8080/web”。例如,在IE浏览器地址栏中,输入“https://10.10.10.172:8080/web”。 选择“服务管理 >
REST接口 通过以下命令可跳过REST接口过滤器获取相应的应用信息。 安全模式下,JobHistory仅支持https协议,故在如下命令的url中请使用https协议。 安全模式下,需要设置spark.ui.customErrorPage=false并重启spark2x服务
通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 通过HSFabric实现KeyTab文件认证方式连接到HetuEngine,组装对应的SQL发送到HetuEngine执行,完成对Hive数据源的增删改查操作。 import jaydebeapi
性能。 MRS将Tez作为Hive的默认执行引擎,执行效率远远超过原先的MapReduce的计算引擎。 有关Tez的详细说明,请参见:https://tez.apache.org/。 Tez和MapReduce间的关系 Tez采用了DAG来组织MapReduce任务(DAG中一个
获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://Oozie节点业务IP:21003/oozie。端口为“OOZIE_HTTPS_PORT”参数对应值,默认为21003。 例如,“https://10.10.10.176:21003/oozie”。 操作步骤
为什么ZooKeeper Server出现java.io.IOException: Len的错误日志 问题 在父目录中创建大量的znode之后,当ZooKeeper客户端尝试在单个请求中获取该父目录中的所有子节点时,将返回失败。 客户端日志,如下所示: 2017-07-11 13:17:19
为什么ZooKeeper Server出现java.io.IOException: Len的错误日志 问题 在父目录中创建大量的znode之后,当ZooKeeper客户端尝试在单个请求中获取该父目录中的所有子节点时,将返回失败。 客户端日志,如下所示: 2017-07-11 13:17:19
构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。更多关于HBase的信息,请参见:https://hbase.apache.org/。 存储在HBase中的表的典型特征: 大表(BigTable):一个表可以有上亿行,上百万列。
若存在自行挂载的数据盘,未能扩展磁盘分区和文件系统,请参考扩展数据盘的分区和文件系统(Linux)进行处理或联系华为云技术支持进行处理。 补丁下载地址 上海一:https://mrs-container1-patch-cn-east-3.obs.cn-east-3.myhuaweicloud.com/MR