检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CarbonData首查优化工具 工具介绍 CarbonData 的首次查询较慢,对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能: 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端,例如安装目录为“/opt/client”。进入 目录“/
使用BulkLoad工具批量更新HBase数据 操作场景 HBase BulkLoad工具支持根据RowKey的命名规则、RowKey的范围、字段名以及字段值进行批量更新数据。 使用BulkLoad工具批量更新HBase数据 执行如下命令更新从“row_start”到“row_s
使用BulkLoad工具批量删除HBase数据 操作场景 BulkLoad工具支持根据rowkey的取值模式、范围、字段名、字段值对HBase做批量删除。 使用BulkLoad工具批量删除HBase数据 执行如下命令删除从“row_start”到“row_stop”的行,并且把输
SDK 确认工程名称和路径,单击“Finish”完成导入。 图15 Confirm the project name and file location 导入完成后,IDEA主页显示导入的样例工程。 图16 已导入工程 (可选)如果导入Scala语言开发的样例程序,还需要为工程设置语言。
为准。 导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA,在“Quick Start”页面选择“Open or Import”。 另外,针对已使用过的IDEA工具,可以从主界面选择“File > Import project...”导入样例工程。
值的数据;导入到表中分区时导入的表必须是分区表。 导入数据时需注意: 使用import from '/tmp/export';命令导入表是没有指定表名的场景,该场景导入的数据会保存到与源表名相同的表路径下,需注意以下两点: 如果目标集群上不存在与源集群上同名的表,在导入表的过程中会创建该表。
使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中,由于HDFS的元数据都保存在NameNode的内存中,集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件,会消耗NameNode大量内存,还会大幅降低读写性能,延长作业运行时间。因
SDK 确认工程名称和路径,单击“Finish”完成导入。 图15 Confirm the project name and file location 导入完成后,IDEA主页显示导入的样例工程。 图16 已导入工程 (可选)如果导入Scala语言开发的样例程序,还需要为工程设置语言。
SDK 确认工程名称和路径,单击“Finish”完成导入。 图15 Confirm the project name and file location 导入完成后,IDEA主页显示导入的样例工程。 图16 已导入工程 (可选)如果导入Scala语言开发的样例程序,还需要为工程设置语言。
文件块过大导致HBase数据导入失败 问题现象 导入数据到hbase报错:NotServingRegionException。 原因分析 当一个block size大于2G时,hdfs在seek的时候会出现读取异常,持续频繁写入regionserver时出现了full gc,且时
导入并配置Hive JDBC/HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的JDBC接口样例代码,需要完成下面的操作。 本章节以在Windows环境下开发JDBC/HCatalog方式连接Hive服务的应用程序为例。 HCatalog样例仅支持在Linux节点上运行。
SDK 确认工程名称和路径,单击“Finish”完成导入。 图15 Confirm the project name and file location 导入完成后,IDEA主页显示导入的样例工程。 图16 已导入工程 (可选)如果导入Scala语言开发的样例程序,还需要为工程设置语言。
WebUI”后的链接,进入HSConsole界面。 单击“计算实例”: 导入实例配置文件:单击“导入”,在本地选择JSON格式的实例配置文件后,单击“打开”。 导入导出功能,仅保存计算实例的配置,不保存实例ID、名称、开始时间、结束时间、状态等信息,重新导入后,这些信息将会重新生成。 导出实例配置文件:勾
为准。 导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA,在“Quick Start”页面选择“Open or Import”。 另外,针对已使用过的IDEA工具,可以从主界面选择“File > Import project...”导入样例工程。
导入并配置HDFS样例工程 操作场景 HDFS针对多个场景提供样例工程,帮助客户快速学习HDFS工程。 以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程
为准。 导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA,在“Quick Start”页面选择“Open or Import”。 另外,针对已使用过的IDEA工具,可以从主界面选择“File > Import project...”导入样例工程。
导入并配置Hive JDBC/HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的JDBC/HCatalog接口样例代码,需要完成下面的操作。 以在Windows环境下开发JDBC/HCatalog方式连接Hive服务的应用程序为例。 HCatalog样例仅支持在Linux节点上运行。
完成JDK选择后,单击“OK”完成配置。 图5 完成JDK配置 将样例工程导入到IntelliJ IDEA开发环境。 选择“Open”。 显示“浏览文件夹”对话框。 选择样例工程文件夹,单击“OK”。 导入结束,IDEA主页显示导入的样例工程。 右键单击“pom.xml”,选择“Add as Maven
jks”是Flume角色服务端的证书库,“flume_sChat.crt”是“flume_sChat.jks”证书的导出文件,“-f”配置项是标识是否需要用户交互式输入Flume角色服务端证书和证书库的密码; “flume_cChat.jks”是Flume角色客户端的证书库,“flume_cChat
获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://Oozie节点业务IP:21003/oozie。端口为“OOZIE_HTTPS_PORT”参数对应值,默认为21003。 例如,“https://10.10.10.176:21003/oozie”。 操作步骤