检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行Jar包。 使用客户端安装用户登录客户端所在节点，切换到客户端目录： cd 客户端安装目录 执行以下命令加载环境变量： source bigdata_env 启用多实例功能后，为其他HBase服务实例进行应用程序开发时还需执行以下命令，切换指定服务实例的客户端。 例如HBase2：source
[编号]”。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Guardian日志列表 日志类型 日志文件名 描述 是否支持Manager在线检索 运行日志 token-server.log Guardian服务运行时的日志。 是 startDetail.log Guardian服务预启动日志。
切换Hive执行引擎为Tez 操作场景 Hive支持使用Tez引擎处理数据计算任务，用户在执行任务前可手动切换执行引擎为Tez。 前提条件 集群已安装Yarn服务的TimelineServer角色，且角色运行正常。 客户端切换执行引擎为Tez 安装并登录Hive客户端，具体操作请参考Hive客户端使用实践。
keytabpath/user.keytab查看。 如果集群有做过切换域名操作，需要保证url中使用的principal字段是新域名。 如默认为hive/hadoop.hadoop.com@HADOOP.COM，当集群有切换域名的操作时，该字段需要进行相关修改。如域名为abc.com时，则此处应填写hive/hadoop
r_{timestamp}_{processId}/copier.log 参考集群内ClickHouseServer节点间数据迁移使用迁移工具时产生的运行日志。 /var/log/Bigdata/clickhouse/migration/数据迁移任务名/clickhouse-co
切换MRS集群组件Ranger鉴权 新安装的已开启Kerberos认证的集群默认即安装了Ranger服务并启用了Ranger鉴权，用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权，集群管理员可在服务页面手动停用Ranger鉴权，停
该场景下MRS的优势如下所示。 低成本：利用OBS实现低成本存储。 海量数据分析：利用Hive实现TB/PB级的数据分析。 可视化的导入导出工具：通过可视化导入导出工具Loader，将数据导出到DWS，完成BI分析。 海量数据存储场景 用户拥有大量结构化数据后，通常需要提供基于索引的准实时查询
Loader数据导入导出概述 Loader数据导入简介 Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具，支持将数据或文件从关系型数据库或文件系统导入到MRS系统中。 Loader支持如下数据导入方式： 从关系型数据库导入数据到HDFS/OBS
集群管理 集群生命周期管理 集群在线扩缩容 创建Task节点 自动弹性伸缩 节点隔离 升级Master节点规格 节点标签管理 父主题： 产品功能
切换Hive执行引擎为Tez 操作场景 Hive支持使用Tez引擎处理数据计算任务，用户在执行任务前可手动切换执行引擎为Tez。 前提条件 集群已安装Yarn服务的TimelineServer角色，且角色运行正常。 客户端切换执行引擎为Tez 安装并登录Hive客户端，具体操作请参考Hive客户端使用实践。
址。 多个IP地址使用逗号分隔，例如配置为“10.10.10.100,10.10.10.101”。 sslUsed false 是否启用ssl加密，普通模式集群建议配置为“false”。 loadBalancerHttpPort 21425 LoadBalance的HTTP端口。
小，单位为MB。参数值必须大于或等于100，建议配置值为1000。不可与“Map数”同时配置。 - 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入
小，单位为MB。参数值必须大于或等于100，建议配置值为1000。不可与“Map数”同时配置。 - 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型
能以减小带宽使用。 选择“true”，表示开启压缩。 选择“false”，表示关闭压缩。 true 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入
址。 多个IP地址使用逗号分隔，例如配置为“10.10.10.100,10.10.10.101”。 sslUsed false 是否启用ssl加密，安全模式集群建议配置为“true”。 loadBalancerHttpPort 21425 LoadBalance的HTTP端口。若
开启Flink作业RocksDB监测步骤 使用具有FlinkServer管理员权限的用户登录FusionInsight Manager。 选择“集群 > 服务 > Flink”，在“Flink WebUI”右侧，单击链接，访问Flink的WebUI。 单击“作业管理”进入作业管理页面。 找到待调优的并处于非运行中的
的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。（普通模式跳过此步骤） kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。
delta_commits 选填 MOR表Compaction计划触发条件。 200 compaction.async.enabled 必填 是否开启在线压缩。将compaction操作转移到sparksql运行，提升写性能。 FALSE hive_sync.enable 选填 是否向Hive同步表信息。
用于MRS 3.x及之后版本）确认集群的主备管理节点（即主备OMS节点）。 在主备模式下，由于Master1和Master2之间会进行主备切换，Master1节点不一定是主管理节点。 通过执行脚本确定主备管理节点 获取MRS集群的Master节点信息。 登录MRS管理控制台，选择
如使用Storm API编写的Spout/Bolt。 操作步骤 在Flink中，对Storm拓扑中的Spout和Bolt进行嵌入式转换，将之转换为Flink的Operator，代码示例如下： //set up the execution environment final S
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
