检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看调测结果 Spark应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果数据查看应用程序运行情况。 结果数据存储路径和格式已经由Spark应用程序指定，可通过指定文件获取。 登录Spark WebUI查看应用程序运行情况。 Spark主要有两个Web页面。
本章节仅适用于MRS 3.3.1-LTS及之后版本。 命令功能 对Hudi MOR表一键式执行Compaction/Clean/Archive，其中Compaction仅执行已存在的Scheudle。 单表执行表服务命令 命令格式 call run_table_service(table =>
描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 登录FusionInsight
） 功能简介 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。 在使用C
） 功能简介 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。 在使用C
管理员。 执行ping 备DBService心跳IP地址命令检查备DBService节点是否可达。 是，执行6。 否，执行4。 联系网络管理员查看是否为网络故障。 是，执行5。 否，执行6。 修复网络故障，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行6。 检查备DBService状态是否正常
以omm用户登录产生告警的主机，执行gdb --version命令查看该主机是否安装有gdb工具： 否，请先安装gdb工具，再执行3。 是，执行3。 使用gdb工具查看core文件的详细堆栈信息： 进入“DumpedFilePath”目录，找到core文件。 执行如下命令获取core文件符号表：
配置为“BufferedLine”时，对文件读取的一行或多行的字符进行批量转码，性能更优。 deserializer.maxLineLength 2048 按行解析最大长度。0到 2,147,483,647。 deserializer.maxBatchLine 1 按行解析最多行数，如果行数设置为多行，“maxLin
https://oozie实例的业务IP:21003/oozie https://10.10.10.176:21003/oozie 选择运行的样例工程： OozieMapReduceExcample样例工程，执行5。 OozieSparkHBaseExample和OozieSparkHiveExample样例工程，
等待2分钟，查看告警是否自动恢复。 是，处理完毕。 否，执行2。 对系统进行扩容。 打开MRS集群详情页面，在告警管理页签的告警列表中，单击此告警所在行，在告警详情中，查看该告警的节点地址。 登录告警节点。 执行cat /proc/stat | awk 'NR==1'|awk
Reports”，可查看各组件所有的安全访问策略。 系统策略较多时，可通过策略名称、类型、组件、资源对象、策略标签、安全区域、用户或用户组等信息进行过滤搜索，也可以单击“Export”导出相关策略内容。 对于同一个固定资源对象通常只能配置一条策略，多条策略针对的具体资源对象重复时将无法保存。
examples.SparkOnStreamingToHbase。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例： /** * 运行streaming任务，根据value值从hbase table1表读取数据，把两者数据做操作后，更新到hbase table1表 */
打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看该告警的主机地址。 以root用户登录告警所在主机，用户密码为安装前用户自定义，请咨询系统管理员。 执行命令su - omm，切换到omm用户。 执行命令vi $BIGDATA_LOG_HOME/omm/oms
如果无对应图表，可单击右侧下拉三角，选择“定制”并勾选对应项，单击“确定”。 是，执行3。 否，执行6。 联系运维人员修改对应进程的内存使用配置。 重启对应进程。 观察界面告警是否清除。 是，处理完毕。 否，执行6。 收集故障信息 在FusionInsight Manager页面，选择“运维
/opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证（普通模式跳过此步骤）。 kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka 使用“kafka-balancer.sh”进行用户集群均衡，常用命令如下：
等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行4。 检查网络是否异常。 联系网络管理员，检查网络是否存在异常。 是，恢复网络故障，执行5。 否，执行6。 等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行6。 收集故障信息。 在主集群的FusionInsight
ms_sChat.crt 是，执行9。 否，执行5。 执行以下命令进入Flume脚本目录。 cd ${BIGDATA_HOME}/FusionInsight_Porter_*/install/FusionInsight-Flume-*/flume/bin 执行以下命令重新生成证书，等待1小时，观察此告警是否被清除。
setParallelism(1); // 解析运行参数 ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图，从Kafka读取数据并换行打印 DataStream<String> messageStream
keytab”文件与“krb5.conf”文件。 准备运行环境配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。
执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。 source /opt/client/bigdata_env 执行以下命令，进行用户认证。（普通模式跳过此步骤）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
