检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
enabled”的参数值是否为“true”，如果不是，修改为“true”，并单击“保存”，重启HDFS。 查看代码。 如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /** * 设置存储策略
enabled”的参数值是否为“true”，如果不是，修改为“true”，并单击“保存”，重启HDFS。 查看代码。 如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /** * 设置存储策略
enabled”的参数值是否为“true”，如果不是，修改为“true”，并单击“保存”，重启HDFS。 查看代码。 如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /** * 设置存储策略
是hive在创建表/分区时创建的默认路径。 该语句不会对表或分区原有数据产生影响，也不会修改原有的表或分区目录，但是新增的数据，都会保存到新指定的目录下。 修改表或分区的数据文件保存格式。 ALTER TABLE table_name [PARTITION partition_spec]
1或其他兼容版本。 说明： 若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 若使用Open JDK，请确保IntelliJ IDEA中的JDK配置为Open
Auto Data Movement工具进行数据搬迁，调用HDFS冷热数据迁移工具并跨层迁移数据的行为操作。 SET_REPL：为文件设置新的副本数的行为操作。 MOVE_TO_FOLDER：将文件移动到目标文件夹的行为操作。 DELETE：删除文件/目录的行为操作。 SET_N
名和IP地址请保持一一对应。 未安装客户端时： Linux环境已安装JDK，版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时，需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
在Spark样例工程代码中，不同的样例工程，使用的认证代码不同，基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参数如表2所示，请根据实际情况修改对应参数值。 表2 参数描述 参数 示例参数值 描述 userPrincipal sparkuser 用户用于认证的账号Pr
1或其他兼容版本。 说明： 若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 若使用Open JDK，请确保IntelliJ IDEA中的JDK配置为Open
代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。
代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME”
e完成任务。 配置Spark2x 使用SparkSql编辑器之前需要先修改Spark2x配置。 进入Spark2x的全部配置页面，具体操作请参考修改集群服务配置参数。 设置Spark2x多实例模式，搜索并修改Spark2x服务的以下参数： 参数名称 值 spark.thriftserver
id=hoodie-delta-streamer offset.rang.limit=10000 指定HoodieDeltaStreamer执行参数（具体参数配置，请查看官网https://hudi.apache.org/ ）执行如下命令： spark-submit --master yarn --jars
Server服务，此处“hbase-thrift-example”为ThriftServer实例服务的调用实现。 前提条件 已获取样例工程运行所需的配置文件及认证文件，详细操作请参见准备连接HBase集群配置文件。 配置样例代码 代码认证 以下代码在“hbase-thrift-example”样例工程的“com.huawei
完成后会在MRS系统中产生同IAM用户名的用户。IAM同步用户是否有提交作业权限，取决于IAM同步时，用户所绑定的IAM策略，提交作业策略请参考IAM用户同步MRS集群说明章节中表1。 用户提交作业，如果涉及到具体组件的资源使用，如HDFS的目录访问、Hive表的访问等相关组件的
告警”，单击此告警所在行的，查看该告警的备Manager服务器（即Peer Manager）IP地址。 以root用户登录集群主OMS节点，用户密码为安装前用户自定义，请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 执行ping 备Manag
否，执行16。 单击“备份路径”下的“查看”，获取备份路径。 以root用户登录节点，执行以下命令查看节点挂载详情，用户密码为安装前用户自定义，请咨询系统管理员： df -h 在挂载详情中查看备份路径挂载点的剩余空间是否小于20GB。 是，执行12。 否，执行16。 查看备份目录下是否有很多备份包。
在定位信息中单击产生该告警的主机名称。 在主机的概览界面观察“磁盘IO利用率”的实时数据5分钟左右，若磁盘IO利用率多次超过设置的阈值，请联系MRS集群管理员提升磁盘配置。 如果无“磁盘IO利用率”图表，可单击右侧下拉三角，选择“定制”并勾选对应项，单击“确定”。 排查当前业务
告警”，在告警列表中展开此告警的详细信息，在定位信息中单击产生该告警的主机名称。 在主机的概览界面观察“主机CPU使用率”实时数据5分钟左右，若CPU使用率多次超过设置的阈值，请联系MRS集群管理员提升CPU。 如果无对应图表，可单击右侧下拉三角，选择“定制”并勾选对应项，单击“确定”。 排查当前业务量是否处于高峰阶
改名为Spark，服务包含的角色名也有差异，例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 告警属性 告警ID 告警级别 是否自动清除 43018 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
