检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。
的方法 } 访问FusionInsight ZooKeeper 如果仅需运行访问FusionInsight Zookeeper方法,需注释掉main函数中的“testConnectApacheZk”方法。
的方法 } 访问FusionInsight ZooKeeper 如果仅需运行访问FusionInsight Zookeeper方法,需注释掉main函数中的“testConnectApacheZk”方法。
初始化HBase配置 功能介绍 HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。
打开Kudu表 功能简介 通过KuduClient.openTable(final String name)方法打开表对象。
getName(), "test.txt"); example.test(); } catch (IOException e) { LOG.error(e); } } } example.test()方法即为对文件的操作
删除HBase表数据 功能简介 HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。
代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。
代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。
的方法 } 访问FusionInsight ZooKeeper 如果仅需运行访问FusionInsight Zookeeper方法,需注释掉main函数中的“testConnectApacheZk”方法。
的方法 } 访问FusionInsight ZooKeeper 如果仅需运行访问FusionInsight Zookeeper方法,需注释掉main函数中的“testConnectApacheZk”方法。
表1 MRS集群参数克隆说明 参数 说明 计费模式、版本类型、集群版本、集群类型、组件列表、可用区、企业项目、虚拟私有云、子网、安全组(默认共用克隆集群的)、节点组配置、Kerberos认证、主机名前缀、标签、委托(集群节点默认绑定的委托名称)、日志转储、日志记录 默认克隆 元数据
常用CLI Spark常用的CLI如下所示: spark-shell 提供了一个简单学习API的方法,类似于交互式数据分析的工具。同时支持Scala和Python两种语言。在Spark目录下,执行.
getName(), "test.txt"); example.test(); } catch (IOException e) { LOG.error(e); } } } example.test()方法即为对文件的操作
Yarn模式下动态资源调度 操作场景 对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务(比如JDBCServer),若分配给它多个Executor,可是却没有任何任务分配给它,而此时有其他的应用却资源紧张,这就造成了很大的资源浪费和资源不合理的调度
代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。
过程为: 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后,需关闭所申请资源。
代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testCreateTable方法中。
常用CLI Spark常用的CLI如下所示: spark-shell 提供了一个简单学习API的方法,类似于交互式数据分析的工具。同时支持Scala和Python两种语言。在Spark目录下,执行.
计费模式 选择待创建的MRS集群的计费模式。 按需计费 集群名称 待创建的MRS集群名称。 mrs_demo 集群类型 待创建的MRS集群类型。 选择“分析集群”,用来做离线数据分析。 版本类型 待创建的MRS集群版本类型。 选择“普通版”。 集群版本 待创建的MRS集群版本。