检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Storm客户端安装程序目录中包含了Storm开发样例工程，将工程导入到Eclipse开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过MRS Manager页面右上角查看。 操作步骤 在Storm示例工程根目录，执行mvn install编译
定”按钮。 在“Import Maven Projects”窗口单击“Finish”按钮。 设置Eclipse的文本文件编码格式，解决乱码显示问题。 在Eclipse的菜单栏中，选择“Window > Preferences”。 弹出“Preferences”窗口。 在左边导航上选择“General
} [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”放置到"src/main/resources"的目录下。 “login”方法中的参数“java.security
Java API接口介绍 Sqlline接口介绍 HBase JDBC API接口介绍 HBase Web UI接口介绍 父主题： HBase应用开发常见问题
Python样例程序 Python样例工程的命令行形式运行 赋予“python-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令： chmod +x python-examples -R 在“python-examples/pyCLI_nosec.py”中的hosts数组中填写安
Storm对外接口介绍 Storm-HDFS采用的接口同开源社区版本保持一致，详情参见：https://github.com/apache/storm/tree/v1.2.1/external/storm-hdfs。 Storm-HBase采用的接口同开源社区版本保持一致，详情参见：https://github
Core样例程序（Java） Spark Core样例程序（Scala） Spark Core样例程序（Python） 父主题： 开发Spark应用
获取运行中Spark应用的Container日志 运行中Spark应用的Container日志分散在多个节点中，本章节用于说明如何快速获取Container日志。 场景说明 可以通过yarn logs命令获取运行在Yarn上的应用的日志，针对不同的场景，可以使用以下命令获取需要的日志： 获
实例”。查看任一部署Flume角色节点的“业务IP”。 如果集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 将此节点上的用户认证文件，复制到安装Flume客户端的节点，保存到Flume客户端中
bulkload功能提示权限不足。 回答 创建租户的时候需要关联HBase服务和Yarn队列。 例如： 新建用户user并绑定租户同名的角色。 用户user需要使用bulkload功能还需要额外权限。 以下以用户user为例： 参见“批量导入数据”章节举例，以下是一些差异点。 将数据文件目录建在“/tmp”目录下，执行以下命令：
MapReduce任务长时间无进展。 回答 一般是因为内存太少导致的。当内存较小时，任务中拷贝map输出的时间将显著增加。 为了减少等待时间，您可以适当增加堆内存空间。 任务的配置可根据mapper的数量和各mapper的数据大小来进行优化。根据输入数据的大小，优化“客户端安装路径/Yarn/config/mapred-site
MapReduce任务长时间无进展。 回答 一般是因为内存太少导致的。当内存较小时，任务中拷贝map输出的时间将显著增加。 为了减少等待时间，您可以适当增加堆内存空间。 任务的配置可根据mapper的数量和各mapper的数据大小来进行优化。根据输入数据的大小，优化“客户端安装路径/Yarn/config/mapred-site
下最大长度的标识符。 跨域场景不支持建表。 描述 使用CREATE TABLE创建一个具有指定列的、新的空表。使用CREATE TABLE AS创建带数据的表。 使用可选参数IF NOT EXISTS，如果表已经存在则不会报错。 WITH子句可用于在新创建的表或单列上设置属性，如
follower与leader进行同步的时间间隔（时长为ticket时长的倍数）。如果在该时间范围内leader没响应，连接将不能被建立。 15 initLimit follower连接到leader并与leader同步的时间（时长为ticket时长的倍数）。 15 如果将参数“ini
bulkload功能提示权限不足。 回答 创建租户的时候需要关联HBase服务和Yarn队列。 例如： 新建用户user并绑定租户同名的角色。 用户user需要使用bulkload功能还需要额外权限。 以下以用户user为例： 参见“批量导入数据”章节举例，以下是一些差异点。 将数据文件目录建在“/tmp”目录下，执行以下命令：
datasource接口更新Mor表，Upsert写入小数据量时可能触发更新数据的小文件合并，使在Mor表的读优化视图中能查到部分更新数据。 当update的数据对应的base文件是小文件时，insert中的数据和update中的数据会被合在一起和base文件直接做合并产生新的base文件，而不是写log。
本章节只适用于Storm和HDFS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 安全模式下登录方式分为两种，票据登录和keytab文件登录，两种方式操作步骤基本一致，票据登录方式为开源提供的能力，后期需要人工上传票据，存在可靠性和易用性问题，因此推荐使用keytab方式。 应用开发操作步骤
hindex.client.HIndexAdmin中提供的方法来管理HIndexes。 该类提供了列出表的现有索引的方法。 HIndexAdmin为给定表格列出索引提供以下API： listIndices(): 该API可用于列出给定表的所有索引。 代码样例 以下代码片段在com.huawei
Alluxio样例程序开发思路 场景说明 通过典型场景，可以快速学习和掌握Alluxio的开发过程，并对关键的接口函数有所了解。 Alluxio的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件和对文件的读写；Alluxio还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。
获取运行中Spark应用的Container日志 运行中Spark应用的Container日志分散在多个节点中，本章节用于说明如何快速获取Container日志。 场景说明 可以通过yarn logs命令获取运行在Yarn上的应用的日志，针对不同的场景，可以使用以下命令获取需要的日志： 获
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
