检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
point，另外，用户可以通过targetDirectory指定savepoint的存储路径，该路径必须是jobManager可以访问的，由于targetDirectory是可选的，如果用户没有配置targetDirectory，则是使用配置文件中“state.savepoints
该章节通过指导用户配置集群绑定EIP，并配置Hive文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行hive-jdbc-example样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合
如下通过一个Mapreduce工作流的示例演示如何配置文件，并通过Shell命令调用。 场景说明 假设存在这样的业务需求： 每天需要对网站的日志文件进行离线分析，统计出网站各模块的访问频率（日志文件存放在HDFS中）。 通过客户端中模板与配置文件提交任务。 父主题： 开发Oozie配置文件
若Storm-JDBC样例需要在Windows下运行，则需要替换配置文件路径；否则，不需要执行此步骤。 在IDEA界面右键单击“jdbc.properties”文件，选择“Copy Path/Reference > Absolute Path”，复制“jdbc.properties”文件路径。 图1 复制“jdbc.properties”文件路径
若Storm-JDBC样例需要在Windows下运行，则需要替换配置文件路径；否则，不需要执行此步骤。 在IDEA界面右键单击“jdbc.properties”文件，选择“Copy Path/Reference > Absolute Path”，复制“jdbc.properties”文件路径。 图1 复制“jdbc.properties”文件路径
问OBS。 在IAM中创建一个只允许访问某一OBS文件系统中的日志文件的策略，并创建一个绑定该策略权限的委托。 在MRS集群中，新建的委托与MRS集群中的用户组A进行绑定，即可实现用户组A只拥有访问某一OBS文件系统中的日志文件的权限。 在以下场景运行作业时，提交作业的用户名为内
API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。 Shell 提供shell命令完成HDFS文件系统的基本操作。 HTTP
选择“待操作集群的名称 > HDFS > 文件系统 > hdfs://hacluster/”，勾选“user”的“读”、“写”、“执行”和“递归”。 如果要执行多组件用例，还需： 选择“待操作集群的名称 > HDFS > 文件系统 > hdfs://hacluster/ >
employees_info; 加载数据的实质是将数据复制到HDFS上指定表的目录下。 “LOAD DATA LOCAL INPATH”命令可以完成从本地文件系统加载文件到Impala的需求，但是当指定“LOCAL”时，这里的路径指的是当前连接的“Impalad”的本地文件系统的路径。 父主题： 开发Impala应用
employees_info; 加载数据的实质是将数据复制到HDFS上指定表的目录下。 “LOAD DATA LOCAL INPATH”命令可以完成从本地文件系统加载文件到Impala的需求，但是当指定“LOCAL”时，这里的路径指的是当前连接的“Impalad”的本地文件系统的路径。 父主题： 开发Impala应用
HBase与其他组件的关系 HBase和HDFS的关系 HDFS是Apache的Hadoop项目的子项目，HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日
employees_info; 加载数据的实质是将数据拷贝到HDFS上指定表的目录下。 “LOAD DATA LOCAL INPATH”命令可以完成从本地文件系统加载文件到Impala的需求，但是当指定“LOCAL”时，这里的路径指的是当前连接的“Impalad”的本地文件系统的路径。 父主题： 开发Impala应用
用开发需要进行ZooKeeper和Kerberos安全认证。用于ZooKeeper认证的文件为“jaas.conf”，用于Kerberos安全认证文件为keytab文件和krb5.conf文件。具体使用方法在样例代码的“README.md”中会有详细说明。 安全认证主要采用代码认证方式。支持Oracle
ros安全认证。用于ZooKeeper认证的文件为“jaas.conf”，用于Kerberos安全认证文件为keytab文件和krb5.conf文件。具体使用方法在样例代码的“README.md”中会有详细说明。 jaas.conf文件请参考获取MRS应用开发样例工程，进入“sr
10.1.1.6 回答 动态分区表插入数据的最后一步是读取shuffle文件的数据，再写入到表对应的分区文件中。 当大面积shuffle文件损坏后，会引起大批量task失败，然后进行job重试。重试前Spark会将写表分区文件的句柄关闭，大批量task关闭句柄时HDFS无法及时处
名称 > HDFS > 文件系统”。 定位到指定目录或文件在HDFS中保存的位置。 在指定目录或文件的“权限”列，勾选“读”和“执行”。 设置用户读取其他用户的目录或文件的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS > 文件系统”。 定位到指定目录或文件在HDFS中保存的位置。
可以直接复制样例目录中“map-reduce”文件夹内的内容到“dataLoad”文件夹，然后进行编辑。 目录中 “oozie-client-*”涉及的版本号以实际版本号为准。 编写流程任务属性文件（job.properties）。 请参见配置Oozie作业运行参数。 编写Workflow任务文件“workflow
获取用户定义的某路径下的文件数据，作为输入流数据。 filePath是指文件的路径。 inputFormat是指文件的格式。 watchType指的是文件的处理模式“PROCESS_ONCE”或者“PROCESS_CONTINUOUSLY”。 interval指的是多长时间判断目录或文件变化进行处理。
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 进入HDFS客户端如下目录，直接输入命令即可。例如： cd /opt/client/HDFS/hadoop/bin
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Ker
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
