检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
e作业，提交作业之前，首先需要创建一个工作流。 前提条件 使用Hue提交Oozie作业之前，需要提前配置好Oozie客户端，并上传样例配置文件和jar至HDFS指定目录，具体操作请参考Oozie客户端配置说明章节。 操作步骤 准备一个具有对应组件操作权限的用户。 例如：使用admin用户登录FusionInsight
ClickHouse日志启动了自动压缩归档功能，缺省情况下，当日志大小超过100MB的时（此日志文件大小可进行配置），会自动压缩。 压缩后的日志文件名规则为：“<原有日志名>.[编号].gz”。 默认最多保留最近的10个压缩文件，压缩文件保留个数可以在Manager界面中配置。 父主题： ClickHouse数据库运维
以下操作皆以用户使用FusionInsight客户端提交Spark2x应用为基础，若用户使用了自己的配置文件目录，则需要修改本应用配置目录中的对应文件，并注意需要将配置文件上传到executor端。 由于hdfs和hbase客户端访问服务端时，使用hostname配置服务端地址
use.multiple.temp.dir 所属配置文件 carbon.properties 适用于 数据加载 场景描述 是否使用多个临时目录存储sort临时文件。 如何调优 设置为true，则数据加载时使用多个临时目录存储sort临时文件。此配置能提高数据加载性能并避免磁盘单点故障。
动释放“/system/balancer.id”文件，可再次正常执行Balance。 但在上述场景中，由于第一次的Balance操作是被异常停止的，所以第二次进行Balance操作时，“/system/balancer.id”文件仍然存在，则会触发append /system/balancer
“LocalDir”：表示将备份文件保存在主管理节点的本地磁盘上，备管理节点将自动同步备份文件。 默认保存目录为“数据存放路径/LocalBackup/”，例如“/srv/BigData/LocalBackup”。 选择此参数值，还需要配置“最大备份数”，表示备份目录中可保留的备份文件集数量。 “L
主要配置文件说明如表2所示。 表2 配置文件 文件名称 作用 core-site.xml 配置Flink详细参数。 hdfs-site.xml 配置HDFS详细参数。 yarn-site.xml 配置Yarn详细参数。 flink-conf.yaml Flink客户端配置文件。 检查客户端节点网络连接。
ite.xml文件配置项“yarn.app.mapreduce.am.staging-dir”获取此路径。 比对N是否占了M的大多数（N/M＞50%）。 是，执行8。 否，执行9。 执行命令来重新配置目录的文件副本数（文件副本数选择DataNode节点数或者默认文件副本数）： hdfs
自定义设置的密码值。 “path”目录是用来存放SSL keystore、truststore相关配置文件，该目录是由用户自定义创建。相对路径和绝对路径的不同导致执行命令存在差异，详细说明如下。 配置keystore或truststore文件路径为相对路径时，Flink Clie
将服务端主机名与IP映射关系添加到客户端的hosts文件中。 如果用户使用yarn-client模式，还需要将客户端的主机名与IP的映射关系添加到Yarn ResourceManager节点的hosts文件中。 linux环境文件位置为“/etc/hosts”，Windows环境文件位置为“C:\Windo
准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 准备连接Hive集群配置文件 配置并导入样例工程
truststore的password，表示需要用户输入自定义设置的密码值。 “path”目录是用来存放SSL keystore、truststore相关配置文件，该目录是由用户自定义创建。 配置客户端访问keystore或truststore文件路径。 相对路径（推荐） 请执行如下步骤配置“flink.keystore”和“flink
ackup，会使用到根目录磁盘空间，因为根目录磁盘空间不足，导致无法写入备份文件，导致集群周期备份失败。 处理步骤 分别登录主、备Master节点。 执行cd /srv/BigData/命令进入到备份文件所在目录。 执行unlink LocalBackup命令删除LocalBackup软连接。
MRS 2.1.0.7 修复问题列表： MRS Manager 解决DLF+Presto查询时字段中包含换行符，数据和文件显示问题 支持presto查询结果保存成一个文件 MRS 2.1.0.6 修复问题列表： MRS Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题
使用特定的规则扫描Hbase表。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的
getDirectory指定savepoint的存储路径，该路径必须是jobManager可以访问的，由于targetDirectory是可选的，如果用户没有配置targetDirectory，则是使用配置文件中“state.savepoints.dir”配置的目录来存放savepoint。
getDirectory指定savepoint的存储路径，该路径必须是jobManager可以访问的，由于targetDirectory是可选的，如果用户没有配置targetDirectory，则是使用配置文件中“state.savepoints.dir”配置的目录来存放savepoint。
初始入库BULK_INSET方式会使用Spark内部parquet文件的写入类进行写入，Spark对不同精度的Decimal类型处理是不同的。 UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。 解决方案： 执行BULK_INSERT时指定设置“hoodie
getDirectory指定savepoint的存储路径，该路径必须是jobManager可以访问的，由于targetDirectory是可选的，如果用户没有配置targetDirectory，则是使用配置文件中“state.savepoints.dir”配置的目录来存放savepoint。
”列选择“更多 > 下载认证凭据”。保存后解压得到用户的user.keytab文件与krb5.conf文件。用于在样例工程中进行安全认证。 参考信息 如果修改了组件的配置参数，需重新下载客户端配置文件并更新运行调测环境上的客户端。 父主题： 准备Impala应用开发环境
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
