检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理步骤 检查Flume Sink是否故障。 本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type = hdfs”关键字确认Flume Sink是否是HDFS类型。 是，执行2。 否，执行3。 在FusionInsight Manag
使用64-bit存储数据，支持从-9,223,372,036,854,775,808到9,223,372,036,854,775,807。 Decimal 默认值是(10,0)，最大值是(38,38)。 说明： 当进行带过滤条件的查询时，为了得到准确的结果，需要在数字后面加上BD。例如，select * from
shuffle服务连接特定IP，可以参考该章节进行配置。 配置描述 当需要MapReduce shuffle服务绑定特定IP时，需要在NodeManager实例所在节点的配置文件“mapred-site.xml”中（例如路径为：${BIGDATA_HOME}/FusionInsight_HD_xxx/x_xx_No
on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics.switch 上报OBS监控指标开关： true表示打开 false表示关闭
安装Tomcat后，修改Tomcat版本描述文件。 为了避免暴露Tomcat自身的信息，更改Connector的Server属性值，使攻击者不易获知服务器的相关信息。 控制Tomcat自身配置文件、可执行文件、日志目录、临时目录等文件和目录的权限。 关闭会话facade回收重用功能，避免请求泄漏风险。
在节点客户端执行hdfs fsck / -delete，删除丢失文件。如果丢失块所在的文件为有用文件，需要再次写入文件，恢复数据。 删除文件为高危操作，在执行操作前请务必确认对应文件是否不再需要。 选择“运维 > 告警 > 告警”，查看该告警是否恢复。 是，处理完毕。 否，执行11。 收集故障信息。
本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type = spooldir”关键字确认Flume Source是否是spooldir类型。 是，执行2。 否，执行3。 查看设置的spoolDir监控目录，是否所有的文件均已传输完毕。 是，处理完毕。
-mkdir -p /user/developuser/myjobs/apps/spark2x/hive 将表格中的文件上传到对应目录，请参考表2。 表2 文件上传列表 初始文件路径 文件 上传目标目录 Spark客户端目录（如“/opt/client/Spark2x/spark/conf”）
更多 > 下载认证凭据”下载认证凭据文件，保存后解压得到该用户的“user.keytab”文件与“krb5.conf”文件。 选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型”设置为“仅配置文件”，单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。
IDEA工具，同时完成JDK、Maven等初始配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要
如果想在之前的“properties.propretites”文件上进行修改后继续使用，则登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Flume > 配置工具 > 导入”，将该文件导入后再修改非加密传输的相关配置项即可。 导入配置文件时，建议配置source/c
下载认证凭据”，选择集群信息后单击“确定”，下载keytab文件。 解压keytab文件，使用WinSCP工具将解压得到的“user.keytab”文件上传到待操作节点的Hive客户端安装目录下，例如：“/opt/client”。 使用以下命令打开hive客户端目录下面的配置文件Hive/component_env：
下载认证凭据”，选择集群信息后单击“确定”，下载keytab文件。 解压keytab文件，使用WinSCP工具将解压得到的“user.keytab”文件上传到待操作节点的Hive客户端安装目录下，例如：“/opt/client”。 使用以下命令打开hive客户端目录下面的配置文件Hive/component_env：
已准备开发环境及MRS集群相关配置文件，详情请参考准备连接MapReduce集群配置文件。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程，可根据实际业务场景选择对应的样例，相关样例介绍请参见MapReduce样例工程介绍。 将已获取的认证文件和配置文件，放置在MapReduce样例工程的“
-d /tmp/ -c 10 -m 100 -s true -e sftp 此脚本将修改告警信息备份配置文件“alarm_collect_upload.properties”。文件存储路径为“${BIGDATA_HOME}/om-server/tomcat/webapps/web/
下载样例工程的Maven工程源码和配置文件，请参见获取代码样例工程。 将样例代码导入IDEA中。 获取配置文件。 从集群的客户端中获取文件。在“$SPARK_HOME/conf”中下载hive-site.xml与spark-defaults.conf文件到本地。 在HDFS中上传数据。
ase /user/developuser/myjobs/apps/spark2x/hive 将表格中的文件上传到对应目录，请参考表2。 表2 文件上传列表 初始文件路径 文件 上传目标目录 Spark客户端目录（如“/opt/client/Spark2x/spark/conf”）
根据6中的文件数据量和7中NameNode配置的非堆参数，检查当前配置的非堆内存是否不合理。 是，执行9。 否，执行12。 HDFS的文件对象数量（filesystem objects=files+blocks）和NameNode配置的JVM参数的对应关系建议如下： 文件对象数量达到10
“flume_sChat.jks”是Flume角色服务端的证书库，“flume_sChat.crt”是“flume_sChat.jks”证书的导出文件，“-f”配置项是证书和证书库的密码； “flume_cChat.jks”是Flume角色客户端的证书库，“flume_cChat.crt”是“flume_cChat
\HetuEngine\config”，手动将配置文件导入到HetuEngine样例工程的配置文件目录中（例如：D:\hetuclient\conf）。 主要配置文件说明如表3所示（根据需要获取所需文件）。 表3 配置文件 文件名称 作用 hdfs-site.xml 配置HDFS详细参数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
