检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
fs.overwrite-files 文件输出写操作是否默认覆盖已有文件。 false 否 fs.output.always-create-directory 当文件写入程序的并行度大于1时，输出文件的路径下会创建一个目录，并将不同的结果文件（每个并行写程序任务）放入该目录。 设
采集路径支持递归路径，**表示递归5层目录。 采集路径支持模糊匹配，匹配目录或文件名中的任何字符。 采集路径如果配置的是目录，示例：/var/logs/，则只采集目录下后缀为“.log”、“.trace”和“.out”的文件。 例如，配置如下采集路径： Yarn任务日志路径： /srv/Bi
指定一个Loader连接的名称。 数据库类型 表示Loader连接支持的数据，可以选择“ORACLE”、“MYSQL”和“MPPDB”。 数据库服务器 表示数据库的访问地址，可以是IP地址或者域名。 端口 表示数据库的访问端口。 数据库名称 表示保存数据的具体数据库名。 用户名 表示连接数据库使用的用户名称。
是否在每一个Event头中携带该Event在源文件中的位置信息，该信息保存在“byteoffset”变量中。 skipToEnd false Flume在重启后是否直接定位到文件最新的位置处，以读取最新的数据。 idleTimeout 120000 设置读取文件的空闲时间，单位：毫秒。如果在该时间内文件内容没有变更，
Project_Id 项目ID，在大多数API接口调用时需要配置在uri中，用以识别不同的项目。 AK/SK 访问密钥对，包含密钥ID与密钥。AK/SK用于对请求内容进行签名。 URI API接口的调用路径及参数。 请参考各云服务的详细接口章节获取，MRS的接口请参考API概览。
DistCP作业导入导出数据常见问题 如何通过Yarn WebUI查看Hive作业对应的SQL语句？ 如何查看指定Yarn任务的日志？ 添加Hive服务后，提交hivesql/hivescript作业失败如何处理？ Spark Job对应的运行日志保存在哪里？ 执行Spark任务报内存不足告警如何处理？
是否在每一个Event头中携带该Event在源文件中的位置信息，该信息保存在“byteoffset”变量中。 skipToEnd false Flume在重启后是否直接定位到文件最新的位置处，以读取最新的数据。 idleTimeout 120000 设置读取文件的空闲时间，单位：毫秒。如果在该时间内文件内容没有变更，
Hadoop组件jar包位置和环境变量的位置在哪里？ 如何查看HBase日志？ HBase表如何设置和修改数据保留期？ 如何修改HDFS的副本数？ 如何修改HDFS主备倒换类？ DynamoDB的number在Hive表中用什么类型比较好？ Hive查询数据是否支持导出？ Hive使用beeline
执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出，日志内容如下。 16/04/19 15:56:22 ERROR
igdata/audit/bk/”，保存的文件名格式为<yyyy-MM-dd_HH-mm-ss>.tar.gz。默认情况下，保存的文件个数为7份（即7天的日志），超过7份文件时会自动删除7天前的文件。 管理审计日志每次导出到OBS的数据范围是从最近一次成功导出到OBS的日期至本次
务峰值负载。MRS集群节点扩容中和扩容后对现有集群的业务没有影响，扩容后引起的数据倾斜问题可参考配置HDFS DataNode数据均衡页面内容进行规避。 包周期集群扩容 当用户购买了MRS包周期集群后，在订购的周期之内，用户的业务增长超过预期时，就会出现超出包周期订单规模外的扩容
ALM-12054 证书文件失效（2.x及以前版本） 告警解释 系统在每天二十三点检查当前系统中的证书文件是否失效（即当前集群中的证书文件是否过期，或者尚未生效）。如果证书文件失效，产生该告警。 当重新导入一个正常证书，并且状态不为失效状态，该告警恢复。 告警属性 告警ID 告警级别
可直接在线查看各进程的日志文件内容。 主机资源页面显示了当前主机上已部署服务实例的详细资源使用情况，包括CPU，内存，磁盘和端口情况。 通过Manager页面查看节点状态（MRS 2.x及之前版本） 登录MRS Manager。 单击“主机管理”，看所有主机状态。 主机操作状态和健康状态分别如下表所示。
源连接名称：选择步骤2：创建MRS HDFS连接中的“hdfs_link”。 源目录或文件：待迁移数据的目录或单个文件路径。 文件格式：传输数据时所用的文件格式，这里选择“二进制格式”。不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 其他可选参数一般情况下保持默认即可，详细说明请参见配置HDFS源端参数。
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 进入HDFS客户端如下目录，直接输入命令即可。例如： cd /opt/client/HDFS/hadoop/bin
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 进入HDFS客户端如下目录，直接输入命令即可。例如： cd /opt/client/HDFS/hadoop/bin
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 进入HDFS客户端如下目录，直接输入命令即可。例如： cd /opt/client/HDFS/hadoop/bin
HDFS客户端常见命令说明 操作场景 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell命令 安装客户端，具体请参考使用MRS客户端章节。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录
配置MRS集群监控指标数据转储 监控指标数据转储介绍 监控数据上报功能可以将系统中采集到的监控数据写入到文本文件，并以FTP或SFTP的形式上传到指定的服务器中。用户可以在Manager界面上配置监控指标数据对接参数，使集群内各监控指标数据保存到指定的FTP服务器，与第三方系统进行对接。
航栏单击“并行文件系统”，在“并行文件系统”页面单击对应的文件系统名称，在“文件”页面单击文件名称，文件“链接”即path路径，如图1所示。 图1 文件路径 ak：参数可选，具备访问OBS权限的ak。 sk：参数可选，具备访问OBS权限的sk。 format ：文件的格式。 structure：表的结构。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
