检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
志获取应用运行情况。 前提条件 已安装客户端时： 已安装HDFS客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时： Linux环境已安装JDK，版本号需要和IDEA导出Jar包使用的JDK版本一致。
导入并配置HDFS样例工程 操作场景 HDFS针对多个场景提供样例工程，帮助客户快速学习HDFS工程。 以下操作步骤以导入HDFS样例代码为例。 操作步骤 参考获取MRS应用开发样例工程，下载样例工程到本地。 导入样例工程到Eclipse开发环境。 第一种方法：打开Eclipse，选择“File
志获取应用运行情况。 前提条件 已安装客户端时： 已安装HDFS客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时： Linux环境已安装JDK，版本号需要和IDEA导出Jar包使用的JDK版本一致。
开启“SNMP服务”开关。 MRS 3.x之前版本 登录MRS Manager，单击“系统设置”。 在“配置”区域“监控和告警配置”下，开启“SNMP配置”开关。 根据表1所示的说明填写对接参数。 表1 对接参数 参数 示例 参数说明 版本 V3 SNMP协议版本号，取值范围： V2C：低版本，安全性较低。
index相关配置 参数 描述 默认值 hoodie.index.class 用户自定义索引的全路径名，索引类必须为HoodieIndex的子类，当指定该配置时，其会优先于hoodie.index.type配置。 "" hoodie.index.type 使用的索引类型，默认为布隆过滤器。可能的选项是[BLOOM
Syslog”。 开启“Syslog服务”开关。 MRS 3.x之前版本 登录MRS Manager，单击“系统设置”。 在“配置”区域“监控和告警配置”下，开启“Syslog配置”开关。 根据表1所示的说明填写北向参数。 表1 Syslog对接参数 参数区域 参数 示例 参数说明 Syslog协议
Presto如何配置其他数据源？ MRS 1.9.3 Ranger证书如何更新？ MRS的Storm集群提交任务时如何指定日志路径？ 如何检查Yarn的ResourceManager配置是否正常？ 如何修改Clickhouse服务的allow_drop_detached配置项? Cli
在本地Windows环境中调测Doris应用 单击IDEA右边Maven窗口的“Reimport All Maven Projects”，进行maven项目依赖import。 图1 reimport projects 编译运行程序。 放置好配置文件，并修改代码匹配登录用户后，文件列表如下图所示。
配置MRS租户 添加MRS租户 添加MRS子租户 为MRS集群用户绑定租户 添加MRS租户资源池 配置资源池的队列容量策略 配置MRS租户队列 父主题： 管理MRS集群租户
contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/D:/mavenlocal/org/apache/logging/log4j/log4j-slf4j-impl/2.6.2/log4j-slf4j-impl-2
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
Service）为客户提供ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎，支持数据湖、数据仓库、BI、AI融合等能力，完全兼容开源，快速帮助客户上云构建低成本、灵活开放、安全可靠、全栈式的云原生大数据平台，满足客户业务快速增长和敏捷创新诉求。
warehouse.dir配置 保存配置，然后单击“集群 > 服务”，在服务列表中重启Hive服务。 更新客户端配置文件。 登录Hive客户端所在的节点，执行以下命令修改Hive客户端配置文件目录下的“hivemetastore-site.xml”。 vi 客户端安装目录/Hive/co
志获取应用运行情况。 前提条件 已安装客户端时： 已安装HDFS客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时： Linux环境已安装JDK，版本号需要和IDEA导出Jar包使用的JDK版本一致。
默认情况下，系统会将container日志收集到HDFS中。如果您不需要将container日志收集到HDFS中，可以配置参数见表3。具体配置操作请参考修改集群服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。
efaults.conf配置文件中，在spark.driver.extraJavaOptions和spark.executor.extraJavaOptions配置项中添加参数："-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"
本地使用IDEA工具导入样例工程，等待Maven工程下载相关依赖包，具体操作可参考配置并导入样例工程。 图2 HBase样例工程示例 本地配置好Maven及SDK相关参数后，样例工程会自动加载相关依赖包。 将准备应用开发配置文件中获取的集群配置文件及用户认证文件放置在样例工程的“.
contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/D:/mavenlocal/org/apache/logging/log4j/log4j-slf4j-impl/2.6.2/log4j-slf4j-impl-2
导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*
compaction&cleaning配置 参数 描述 默认值 hoodie.clean.automatic 是否执行自动clean。 true hoodie.cleaner.policy 要使用的清理策略。Hudi将删除旧版本的parquet文件以回收空间。 任何引用此版本文件
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
