检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据保护技术 数据完整性 通过数据校验，保证数据在存储、传输过程中的数据完整性。 MRS的用户数据保存在HDFS中，HDFS默认采用CRC32C算法校验数据的正确性，同时也支持CRC32校验算法，CRC32C校验速度快于CRC32。HDFS的DataNode节点负责存储校验数据，
from datagen; 查看并修改CompiledPlan文件中算子并行度。 登录FusionInsight Manager，选择“集群 > 服务 > HDFS”，单击“NameNode Web UI”后的链接，选择“Utilities > Browse the file s
调整HetuEngine INSERT写入步骤 使用HetuEngine管理员用户登录FusionInsight Manager页面，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。 选择“配置 > 全部配置”，搜索“task.writer-count
fig指定项中，安全模式必配 conf.put(Config.TOPOLOGY_AUTO_CREDENTIALS, auto_tgts); if(args.length >= 2) { //用户更改了默认的
单击“系统 > 权限 > 用户组 > 添加用户组”，为样例工程创建一个用户组，例如developgroup。 单击“系统 > 权限 > 用户 > 添加用户”，为样例工程创建一个用户。 填写用户名，例如developuser，按照表2选择相应的用户类型和需加入的用户组，并绑定角色developrole取得权限，单击“确定”。
定位信息”。查看告警上报实例所在的节点主机信息。 在FusionInsight Manager首页，选择“集群 > 服务 > JobGateway > 实例”。 勾选上报告警的实例，选择“更多 > 滚动重启实例”。 重启期间服务业务可能受损或中断，建议选择业务低峰期操作。 查看实例重启后运行状态是否为良好。
examples.SecurityKafkaWordCount。 普通集群需要将样例代码中com.huawei.bigdata.spark.examples.SecurityKafkaWordCount.scala中第49行代码“.option("kafka.security.protocol"
Flink Stream SQL Join Java样例代码 功能简介 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka，则需要引入MRS的kafka-client-xx.x.x.jar，该jar包可在MRS
所有的ClickHouseServer节点都需要执行该命令。 登录FusionInsight Manager页面，选择“集群 > 服务 > ClickHouse > 实例”，勾选所有的ClickHouseServer实例，选择“更多 > 重启实例”，重启所有ClickHouseServer实例。 执行如下命令，查看CPU优先级特性能力是否开启：
当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（化简）函数，用来保证所有映射的键值对共享相同的键组。 图1 分布式批处理引擎 MapReduce是用于并行处理大数据集的软件框架。MapReduce的根源是函数性编程中的Map和Reduce函数。Map函数
使用Hue提交Oozie Shell作业 操作场景 该任务指导用户通过Hue界面提交Shell类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“Shell”按钮，将其拖到操作区中。 在弹出的“Shell”窗口中配置“Shell comm
配置Controller与Agent间数据传输加密 以omm用户登录到主管理节点。 执行以下命令，防止超时退出。 TMOUT=0 执行完本章节操作后，请及时恢复超时退出时间，执行命令TMOUT=超时退出时间。例如：TMOUT=600，表示用户无操作600秒后超时退出。 执行以下命令，切换目录。
DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 参考修改集群服务配置参数，进入Hive服务“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别并保存。 配置Hive日志级别后可立即生效，无需重启服务。 日志格式
创建MRS集群数据恢复任务 Manager支持在界面上创建恢复任务，运行恢复任务将把指定的备份数据恢复到集群中。 创建数据恢复任务（MRS 3.x及之后版本） 登录FusionInsight Manager。 选择“运维 > 备份恢复 > 恢复管理 > 创建”。 设置“任务名称”。
flatMapGroupsWithState(...)操作中，用户自定义状态的schema或者超时类型都不允许发生变化；允许用户自定义state-mapping函数变化，但是变更结果取决于用户代码；如果需要支持schema变更，用户可以将状态数据编码/解码成二进制数据以支持schema迁移。
查看告警信息。 登录FusionInsight Manager首页，选择“运维 > 告警 > 告警 > ALM-24011 Flume证书文件即将过期 > 定位信息”。查看告警上报的实例的IP地址。 检查系统中合法证书文件的有效期，重新生成证书文件。 以root用户登录告警所在节点主机，并执行su
执行结果 可在Yarn上查看执行的任务。 登录FusionInsight Manager页面，选择“集群 > 服务 > Yarn > 概览”，单击“ResourceManager WebUI”后面对应的链接，进入Yarn的WebUI页面，查看对应任务。 图3 作业任务 父主题： Flink企业级能力增强
HiveServer实例迁移之后，用户需要更新示例程序中使用的HiveServer的IP地址。 在HAConnection的第三个参数填写正确的用户名，密码可以不填写。创建连接，执行HQL，样例代码中仅执行查询所有表功能，可根据实际情况修改HQL内容，输出查询的列名和结果到控制台。
ZooKeeper可用连接数不足，当连接率超过100%时无法处理外部连接，导致上游组件（例如Yarn、Flink等）无法正常运行。 可能原因 该节点ZooKeeper连接量过大，超过阈值。某些连接进程存在连接泄露，或配置的最大连接数不符合实际使用场景。 处理步骤 检查连接状态。 在FusionInsight
Hive默认数据仓库被删除，会导致在默认数据仓库中创建库、创建表失败，影响业务正常使用。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库被删除。 处理步骤 检查Hive默认数据仓库。 以root用户登录客户端所在节点，用户密码为安装前用户自定义，请咨询系统管理员。 执行以
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
