检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以通过HTTP API与TSD进行通信。所有通信都发生在同一个端口上(TSD通过查看它收到的前几个字节来确定客户端的协议)。 OpenTSDB简介 使用MRS客户端操作OpenTSDB指标数据 Presto组件 Presto是一个开源的用户交互式分析查询的SQL查询引擎,用于针
oadcastJoin 两表进行join操作的时候,当非空分区比率低于此配置时,无论其大小如何,都不会被视为自适应执行中广播哈希连接的生成端。只有当spark.sql.adaptive.enabled为true时,此配置才有效。 0.2 父主题: Spark SQL企业级能力增强
NameNode出现异常时接管其服务。 Observer NameNode:与Active NameNode中的数据保持同步,处理来自客户端的读请求。 DataNode 用于存储每个文件的“数据块”数据,并且会周期性地向NameNode报告该DataNode的数据存放情况。 JournalNode
exit(job.waitForCompletion(true) ? 0 : 1); } 样例4:类CollectionCombiner实现了在map端先合并map输出的数据,减少map和reduce之间传输的数据量。 /** * Combiner class */ public
exit(job.waitForCompletion(true) ? 0 : 1); } 样例4:类CollectionCombiner实现了在map端先合并一下map输出的数据,减少map和reduce之间传输的数据量。 /** * Combiner class */ public
oadcastJoin 两表进行join操作的时候,当非空分区比率低于此配置时,无论其大小如何,都不会被视为自适应执行中广播哈希连接的生成端。只有当spark.sql.adaptive.enabled为true时,此配置才有效。 0.2 父主题: Spark SQL企业级能力增强
准备运行环境 安装集群客户端,例如客户端安装目录为“/opt/client”。 执行下列命令进行用户认证,这里以hdfs为例,用户可根据实际用户名修改。 kinit hdfs kinit认证的默认时效为24小时,到期后再次运行样例,需要重新执行kinit。 在客户端目录创建文件“tes
exit(job.waitForCompletion(true) ? 0 : 1); } 样例4:类CollectionCombiner实现了在map端先合并一下map输出的数据,减少map和reduce之间传输的数据量。 /** * Combiner class */ public
Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NameNode无法及时处理来自HDFS客户端、依赖于HDFS的上层服务、DataNode等的RPC请求,表现为访问HDFS服务的业务运行缓慢,严重时会导致HDFS服务不可用。 可能原因
exit(job.waitForCompletion(true) ? 0 : 1); } 样例4:类CollectionCombiner实现了在map端先合并map输出的数据,减少map和reduce之间传输的数据量。 /** * Combiner class */ public
JavaExample 通过JDBC访问Spark SQL的Java/Scala示例程序。 本示例中,用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 sparksecurity-examples/SparkThriftServerScalaExample
准备运行环境 安装集群客户端,例如客户端安装目录为“/opt/client”。 执行下列命令进行用户认证,这里以hdfs为例,用户可根据实际用户名修改。 kinit hdfs kinit认证的默认时效为24小时,到期后再次运行样例,需要重新执行kinit。 在客户端目录创建文件“tes
Apache Spark、Presto、Mapreduce 和 Apache Hive的计算框架提供了数据抽象层,使上层的计算应用可以通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统,从而实现了对计算和存储的分离。 商用 Alluxio简介 3 MRS支持Tez组件
本实践指导使用Hive对OBS中存储的原始数据进行导入、分析等操作,展示了如何构建弹性、低成本的存算分离大数据分析。以用户开发一个Hive数据分析应用为例,通过客户端连接Hive后,执行HQL语句访问OBS中的Hive数据。进行企业雇员信息的管理、查询。 通过Flink作业处理OBS数据 本实践指导使用MRS集群内置的Flink
需要预先对字段name创建二级索引。 相关操作 基于二级索引表查询。 查询样例如下: 用户在hbase_sample_table的info列族的name列添加一个索引,在客户端执行, hbase org.apache.hadoop.hbase.hindex.mapreduce.TableIndexer -Dtablename
需要预先对字段name创建二级索引。 相关操作 基于二级索引表查询。 查询样例如下: 用户在hbase_sample_table的info列族的name列添加一个索引,在客户端执行, hbase org.apache.hadoop.hbase.hindex.mapreduce.TableIndexer -Dtablename
需要预先对字段name创建二级索引。 相关操作 基于二级索引表查询。 查询样例如下: 用户在hbase_sample_table的info列族的name列添加一个索引,在客户端执行, hbase org.apache.hadoop.hbase.hindex.mapreduce.TableIndexer -Dtablename
址。 “源端备NameNode IP地址”:填写备集群备NameNode业务平面IP地址。 “源端NameNode RPC端口”:填写目的端集群HDFS基础配置“dfs.namenode.rpc.port”参数值。 “源端路径”:参考2中获取的“备份路径”,填写备集群保存备份数据
hadoop-<SSH_USER>-<process_name>-<hostname>.out HDFS运行环境信息日志。 hadoop.log Hadoop客户端操作日志。 hdfs-period-check.log 周期运行的脚本的日志记录。包括:自动均衡、数据迁移、JournalNode数据同步检测等。
内容之外的其他对象。 说明: Ranger界面上HBase服务插件的“hbase.rpc.protection”参数值必须和HBase服务端的“hbase.rpc.protection”参数值保持一致。具体请参考Ranger界面添加或者修改HBase策略时,无法使用通配符搜索已存在的HBase表。