检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多 > 重启服务”重启HDFS服务。 操作步骤 登录FusionInsight Manager页面，单击“集群 > 待操作集群的名称 > 服务”，选择“HDFS”，单击进入HDFS服务状态页面。 由于webhdfs是http/https访问的，需要主NameNode的IP和http/https端口。
List的方式，可以极大的提升写性能。每一次Put的List的长度，需要结合单条Put的大小，以及实际环境的一些参数进行设定。建议在选定之前先做一些基础的测试。 写数据表设计调优 表2 影响实时写数据相关参数 配置参数 描述 默认值 COMPRESSION 配置数据的压缩算法，
”，并勾选“重新启动受影响的服务或实例。”，单击“是”，重启HDFS服务。 操作步骤 登录MRS Manager，单击“服务管理”，选择“HDFS”，单击进入HDFS服务状态页面。 由于webhdfs是http/https访问的，需要主NameNode的IP和http/https端口。
Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME”
在“名称”中输入作业的名称。 在“类型”中选择“导出”。 在“组”中设置作业所属组，默认没有已创建的组，单击“添加”创建一个新的组，输入组的名称，单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root.default”。 在“优先级”中选择执行该作业的YARN队列
keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要
95%请求的最大时延 INFO 99thPercentileLatency(ms) 99%请求的最大时延 INFO 99.9PercentileLatency(ms) 99.9%请求的最大时延 INFO 99.99PercentileLatency(ms) 99.99%请求的最大时延
Hive的分区使用HDFS的子目录功能实现，每一个子目录包含了分区对应的列名和每一列的值。当分区很多时，会有很多HDFS子目录，如果不依赖工具，将外部数据加载到Hive表各分区不是一件容易的事情。 云数据迁移服务（CDM）可以请轻松将外部数据源（关系数据库、对象存储服务、文件系统服务等）加载到Hive分区表。
Flume客户端无法连接服务端 问题现象 安装Flume客户端并设置Avro Sink与服务端通信，发现无法连接Flume服务端。 原因分析 服务端配置错误，监测端口启动失败，例如服务端Avro Source配置了错误的IP，或者已经被占用了的端口。 查看Flume运行日志： 2016-08-31
失败。 处理步骤 登录报错的RegionServer节点，执行以下命令查看节点剩余内存： free -g 执行top命令查看节点内存使用情况。 根据top提示结束内存占用多的进程（内存占用多并且非MRS自身组件的进程），并重新启动HBase服务。 集群的Core节点除了MRS组件
记录执行操作的IP地址。 说明： 当MRS集群部署失败时，集群会被自动删除，并且自动删除集群的操作日志中不包含用户的“操作IP”信息。 用户 执行操作的用户。 操作内容 记录实际操作内容，不超过2048字符。 时间 记录操作的时间。对于已删除的集群，界面只显示6个月内的日志信息，若
在“类型”中选择“导出”。 在“组”中设置作业所属组，默认没有已创建的组，单击“添加”创建一个新的组，输入组的名称，单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root.default”。 在“优先级”中选择执行该作业的YARN队列优先级。默认值为“NORMAL”。可选值
MapReduce的运行环境可以部署在Linux环境下。您可以按照如下操作完成运行环境准备。 操作步骤 确认服务端YARN组件和MapReduce组件已经安装，并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 客户端机器的时间与Hadoop集群的时间要保持一致，时间差小于5分钟。
多 > 重启服务”重启HDFS服务。 操作步骤 登录FusionInsight Manager页面，单击“集群 > 待操作集群的名称 > 服务”，选择“HDFS”，单击进入HDFS服务状态页面。 由于webhdfs是http/https访问的，需要主NameNode的IP和http/https端口。
作业状态编码。 约束限制： 不涉及 取值范围： -1：Terminated表示已终止的作业状态。 2：Running表示运行中的作业状态。 3：Completed表示已完成的作业状态。 4：Abnormal表示异常的作业状态。 默认取值： 不涉及 job_final_status Integer
开头。 可输入的字符串长度为1～64个字符。 说明： 同一集群内，不允许配置相同的名称。不同集群之间，可以配置相同的名称。 脚本路径 obs://mrs-samples/test.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径，必须以obs://开头，以
设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作前需要进行如下配置： 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路径：“${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/ins
设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作前需要进行如下配置： 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路径：“${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/inst
keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
