检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看Flume客户端日志 安装Flume客户端。 进入Flume客户端日志目录，默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下： flume-client-1/flume: total 7672
查看Flume客户端日志 安装Flume客户端。 进入Flume客户端日志目录，默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下： flume-client-1/flume: total 7672
在本地Windows中调测HDFS程序 操作场景 在代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。 在本地Windows中调测HDFS程序
如何在Flume配置文件中使用环境变量 以root用户登录安装Flume客户端所在节点。 切换到以下目录。 cd Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf 在该目录下的“flume-env.sh”文件中添加环境变量。 格式：
添加OBS的Ranger访问权限策略 操作场景 Ranger管理员可以通过Ranger为OBS用户配置OBS目录或文件的读、写权限。 本章节仅适用于MRS 3.3.0-LTS及之后版本。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户组。 已安装Guardian服务。
配置OpenTSDB参数 执行样例代码前，必须在样例代码工程“resources”目录下的opentsdb.properties中修改如下参数： tsd_hostname = node-ana-coreYQnTx tsd_port = 4242 tsd_protocol = https
修改OMS数据库访问用户密码 该任务指导管理员定期修改OMS数据库访问用户的密码，以提升系统运维安全性。 对系统的影响 修改密码需要重启OMS服务，服务在重启时无法访问。 修改OMS数据库访问用户密码（MRS 3.x及之后版本） 在FusionInsight Manager选择“系统
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要删除的数据的rowKey构造成rdd，然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
在本地Windows环境中调测MapReduce应用 操作场景 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 MapReduce应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 在IntelliJ IDEA中查看应用程序运行情况。
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站上的描述：http://hadoop.apache.org/docs/r2.7.2/api/index.html。 HDFS常用接口 HDFS常用的Java类有以下几个。 FileSystem：是客户端应用的核心类。常用接口参见表1。
查看Flink应用调测结果 操作场景 Flink应用程序运行完成后，您可以查看运行结果数据，也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时，需要在Flink的web页面上查看Task Manager的Stdout日志。
配置Windows通过EIP访问普通模式集群Hive 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Hive文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行hive-jdbc-example样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是
查看Kafka Topic信息 操作场景 用户可以在Manager或KafkaUI上查看Kafka已创建的主题信息。 在Manager查看Kafka Topic信息 进入Kafka服务页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Kafka”。
准备Spark应用Scala开发环境 操作场景 Scala开发环境可以搭建在Windows环境下，而运行环境（即客户端）只能部署在Linux环境下。 操作步骤 对于Scala开发环境，推荐使用IDEA工具，安装要求如下。 JDK使用1.7版本（或1.8版本） IntelliJ IDEA（版本：13
使用Kafka客户端SSL加密 前提说明 客户端使用SSL功能前，必须要保证服务端SSL对应服务功能已经开启（服务端参数“ssl.mode.enable”设置为“true”）。 SSL功能需要配合API进行使用，可参考Kafka安全使用说明章节。 使用说明 Linux客户端使用SSL功能
配置Windows通过EIP访问普通模式集群Hive 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Hive文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行hive-jdbc-example样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
