检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive应用开发样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Hive相关样例工程:
BY 'password' DEFAULT ROLE 'dorisrole'; 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 配置运行环境网络 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。
apache.hive.jdbc.HiveDriver").newInstance(); 获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。
持初始设置的值,不随动态扩缩容个数变化而改变。 实例开启动态扩缩容后,重启HSBroker和Yarn服务会影响扩缩容功能,如需重启,建议先关闭实例的动态扩缩容功能。 进行计算实例扩容时,需要当前队列有足够的资源进行扩容,否则扩容无法达到预期,并影响后续缩容操作。 手动扩缩容可以设
cache.size 分配给HFile/StoreFile所使用的块缓存的最大heap(-Xmx setting)的百分比。 当offheap关闭时,默认值为0.25。当offheap开启时,默认值是0.1。 父主题: HBase常见问题
-U omm -W password -d hivemeta登录Hive元数据库。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 执行select * from pg_locks;没有发现锁等待。 执行select *
fsync(FSNamesystem.java:3805) HDFS客户端调用close关闭文件,NameNode收到客户端的close请求之后就会检查最后一个块的完成状态,只有当有足够的DataNode上报了块完成才可用关闭文件,检查块完成的状态是通过checkFileProgress函数检查的,打印如下:
tsd_port:TSD端口,默认使用4242。 tsd_protocol:请求协议,默认使用https。 (可选)如果不使用样例工程,可在自己工程的pom.xml文件中添加依赖如下: guava <!-- https://mvnrepository.com/artifact/org.apache
IoTDB JDBC样例程序 功能简介 通过JDBC连接方式,执行IoTDB SQL语句。 代码样例 下面代码片段仅为演示,具体代码参见“com.huawei.bigdata.iotdb.JDBCExample”类。 其中,在jdbc url里设置待连接的IoTDBServer所
IoTDB Session样例程序 功能简介 通过Session连接方式,执行IoTDB SQL语句。 代码样例 下面代码片段仅为演示,具体代码参见“com.huawei.bigdata.SessionExample”。 其中在Session对象的参数里,设置IoTDBServer所在的节点IP、端口、用户名和密码。
HDFS样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程:
HDFS样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程:
MapReduce样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS
Manager还提供了多实例的功能,使用户在资源控制和业务隔离的场景中可以独立使用HBase、Hive和Spark组件。多实例功能默认关闭,可以选择手动启用。 Manager关键特性:多语言支持 Manager增加了对多语言的支持,系统自动根据浏览器的语言偏好设置,显示中文或
} } if (connection != null) { try { // 关闭Hbase连接 connection.close(); } catch (IOException e)
} } if (connection != null) { try { //关闭Hbase连接 connection.close() } catch { case
} } if (connection != null) { try { // 关闭Hbase连接 connection.close(); } catch (IOException e)
IoTDB JDBC样例程序 功能简介 通过JDBC连接方式,执行IoTDB SQL语句。 代码样例 下面代码片段仅为演示,具体代码参见“com.huawei.bigdata.iotdb.JDBCExample”类。 其中,在jdbc url里设置待连接的IoTDBServer所在的节点IP、端口、用户名和密码。
使用Keytab文件进行JDBC安全认证 功能简介 使用keytab文件进行JDBC认证。 准备操作 登录FusionInsight Manager,选择“系统 > 权限 > 用户”,下载参考准备MRS应用开发用户准备的开发用户的认证凭据。 代码样例 以下代码片段仅为演示,具体代码参见“com
MapReduce REST API接口介绍 功能简介 通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用:http://hadoop.apache