检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该用户需要从属于hadoop、supergroup、hive组，同时添加Oozie的角色操作权限。如果使用Hive多实例，该用户还需要从属于具体的Hive实例组，如hive3。 用户同时还需要至少有manager_viewer权限的角色。 已获取运行状态的Oozie服务器（任意实例）URL，如“https://10
发的Reduce（化简）函数，用来保证所有映射的键值对共享相同的键组。 图1 分布式批处理引擎 MapReduce是用于并行处理大数据集的软件框架。MapReduce的根源是函数性编程中的Map和Reduce函数。Map函数接受一组数据并将其转换为一个键/值对列表，输入域中的每个
于加载的是客户端的spark.driver.extraJavaOptions，在集群节点上对应路径下找不到对应的kdc.conf文件，无法获取kerberos认证所需信息，导致ApplicationMaster启动失败。 解决办法 在客户端提交任务时，在命令行中配置自定义的spark
HetuEngine不支持Hudi的bootstrap表的读取。 添加Hudi数据源前提条件 创建Hudi数据源的代理用户，该代理用户为人机用户且需拥有hive组。 在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在集群的主机名称和对应的IP映射，及其“/etc/hosts”文件中的“10
业。 命令参考（由添加作业时的“运行程序参数”与“执行程序参数”组成）：在原有的命令后，按“, {新参数}”的格式继续新增参数。 增加新的运行程序参数：新的命令参考是“运行程序参数, {新的运行程序参数}, 执行程序参数”。 增加新的执行程序参数：新的命令参考是“运行程序参数, 执行程序参数
是否自动清除 14000 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 无法为基于HDFS服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 可能原因
切操作的使能器，其代表着Controller的功能。 Node Agent每隔3秒向Controller发送心跳信息，不支持配置时间间隔。 IAM 负责记录审计日志。在Manager的UI上每一个非查询类操作，都有对应的审计日志。 PMS 性能监控模块，搜集每一个OMA上的性能监控数据并提供查询。
tablename.to.index：表示创建索引的表的名称 indexnames.to.drop：表示应该和其数据一起删除的索引的名称（必须存在于表中） scan.caching（可选）：其中包含一个整数值，指示在扫描数据表时将传递给扫描器的缓存行数 上述命令中的参数描述如下： idx_1：表示索引名称
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器上源文件的读取权限。如果源文件在导入后文件名要增加后缀，则该用户还需具备源文件的写入权限。 检查磁盘空间，确保没有
本特性仅支持使用Yarn作为资源调度器的场景。 配置参数 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数： 参数 说明 默认值 spark.yarn.session.to.application.clean
设置完成后，如果语句中含有不是表示语句结束的“;”，需要进行转义，例如select concat_ws('\;', collect_set(col1)) from tbl。 使用Hive客户端（MRS 3.x及之后版本） 安装客户端，具体请参考安装客户端章节。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。
Hudi/component_env kinit 创建的用户 新创建的用户需要修改密码，更改密码后重新kinit登录。 普通模式（未开启kerberos认证）无需执行kinit命令。 多服务场景下，在source bigdata_env之后，请先source Spark服务的component_env，再去source
afka的监控指标“未完全同步的Partition总数”进行查看。 Kafka滚动重启过程中，建议设置客户端Producer的配置参数“acks”的值为“-1”（配置方式和其他Producer配置参数的配置方式一致），否则在逐个重启Broker实例的瞬间有丢失少量数据的风险。设置
Ranger的服务增多，需要调整Ranger的规格。 本章节仅适用MRS 3.2.0及之后版本。 内存参数配置 登录FusionInsight Manager页面，选择“集群 > 服务 > Ranger > 配置 > 全部配置”，搜索RangerAdmin JVM的参数“GC_O
仅有数据导出的Loader作业才支持数据备份。 此工具为Loder的内部接口，供上层组件HBase调用，只支持HDFS到SFTP的数据备份。 前提条件 完成了Loader客户端的安装与配置，具体操作请参见使用客户端运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端
该任务指导用户通过Hue界面提交Java类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“Java 程序”按钮，将其拖到操作区中。 在弹出的“Java program”窗口中配置“Jar name”的值，例如“/user/admin/examples/apps/ja
可选参数，为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。 HiveSql作业常用的运行程序参数如表2所示，可根据执行程序及集群资源情况进行配置。 - 服务配置参数 可选参数，用于为本次执行的作业修改服务配置参数。 该参数的修改仅适
要重启的服务，进入服务页面。在“服务状态”页签单击“更多”，选择“重启服务”或“滚动重启服务”。 在FusionInsight Manager界面，选择“集群 > 服务 > 待操作的服务名称”，单击右上角的“更多”，选择“重启服务”或“滚动重启服务”。 升级路径不一样重启的服务不一样，详情见如下表格。
该用户需要从属于hadoop、supergroup、hive组，同时添加Oozie的角色操作权限。如果使用Hive多实例，该用户还需要从属于具体的Hive实例组，如hive3。 用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器（任意实例）URL，如“https://10
用率。 Worker 资源使用 选取的队列中的worker资源使用情况。 Worker 资源使用率 选取的队列中的worker资源使用率。 Coordinators 和 Workers 个数 选取的队列中的coordinator和worker的数量。 Hive HiveServe
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
