检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启动调试。 在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口,接着开始SparkPi的调试,比如单步调试、查看调用栈、跟踪变量值等,如图5所示。 图5 调试 父主题: Spark应用开发常见问题
启动调试。 在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口,接着开始SparkPi的调试,比如单步调试、查看调用栈、跟踪变量值等,如图5所示。 图5 调试 父主题: Spark应用开发常见问题
启动调试。 在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口,接着开始SparkPi的调试,比如单步调试、查看调用栈、跟踪变量值等,如图5所示。 图5 调试 父主题: Spark应用开发常见问题
into print select * from myhive.`default`.datagen; 在Flink作业原生界面可查看已设置的过滤条件,如下表示“a<>1”过滤条件。 父主题: Flink企业级能力增强
平滑次数为在告警检查阶段连续检查多少次超过阈值,则发送告警。 单击“操作”列的“修改”,基于实际使用情况,更改告警阈值,单击“确定”。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 >
单击“平滑次数”后的编辑按钮,基于实际使用情况,修改平滑次数配置项,单击“确定”。 单击“操作”列的“修改”,基于实际使用情况,更改告警阈值,单击“确定”。 等待两分钟,查看告警是否清除。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
在“拓扑调整”页面勾选服务部署的节点(Guardian建议部署在master节点上)。 单击“确认”。服务添加完成后,在“组件管理”页面可以查看所添加的服务。 在Console上添加服务会自动同步到Manager页面。 确认集群已完成存算分离的配置,即完成 “配置存算分离集群(委托
对系统的影响 通信闪断,业务超时。 可能原因 告警阈值配置不合理。 网络环境异常。 处理步骤 检查阈值设置是否合理。 登录MRS Manager,查看该告警阈值是否合理(默认0.5%为合理值,用户可以根据自己的实际需求调节)。 是,执行4。 否,执行2。 根据实际服务的使用情况在“系统设置
DFS文件数。 HDFS文件数可以通单击“服务管理 > HDFS”,在右侧“实时”区域中单击“定制”按钮,选择“HDFS File”监控项查看。 等待5分钟后,检查本告警是否清除。 是,处理完毕。 否,执行3。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。
的总和是否是100。 是,则说明配置正常。 否,则说明配置异常,请执行后续步骤修复。 登录MRS Manager页面,选择“主机管理”。 查找主Master节点,主机名称前带实心五角星的Master节点即为主Master节点。 以root用户登录主Master节点。 执行su -
令前建议关闭系统的history命令记录功能,避免信息泄露。 查看是否打开“Security Cookie”开关,即查看配置“flink-conf.yaml”文件中的“security.enable: true”,查看“security cookie”是否已配置成功,例如: security
创建一个新的python3任务,使用Spark读取文件。 图4 创建Python任务 登录到集群Manager界面,在Yarn的WebUI页面上查看提交的pyspark应用。 图5 查看任务运行情况 验证pandas库调用。 图6 验证pandas 对接Jupyter常见问题 pandas本地import使用时,报错如下:
/d/aa6fe387b27443afaba40f5b584c1fa7 执行以下命令查看HFile内容: hbase hfile -f <hfile路径> -p “<hfile路径> ”为6查看到的HFile文件所在目录。 该命令将报“com.huawei.hadoop.hbase
在FusionInsight Manager首页,查看当前的HDFS文件数。HDFS文件数可以通单击“集群 > 待操作集群的名称 > 服务 > HDFS”,单击图表区域右上角的下拉菜单,选择“定制 > 文件和块”,勾选“HDFS文件”和“HDFS块数”监控项查看。 在“集群 > 待操作集群的名称
启动调试。 在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口,接着开始SparkPi的调试,比如单步调试、查看调用栈、跟踪变量值等,如图5所示。 图5 调试 父主题: Spark应用开发常见问题
Connecting to …… Beeline version 1.1.0 by Apache Hive (可选)通过beeline -help命令查看关于客户端显示的设置。如下: -u <database url> the JDBC URL to connect
16:37:20" 进入“/var/log/Bigdata/clickhouse/systemTableDump/oneclickTable”目录,查看一键转储压缩日志。 父主题: ClickHouse运维管理
选择“现有集群” ,单击集群名称进入集群详情页面。 在“概览”页签单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。 单击“组件管理”,查看各服务的角色操作状态,如果存在“未启动”的角色,单击“更多 > 启动实例”,启动该实例。 如果启动失败,根据任务列表里中任务的报错信息进行修复再尝试重启。
业务性能下降或者个别业务出现超时问题。 可能原因 告警阈值配置不合理。 网络环境异常。 处理步骤 检查阈值设置是否合理。 登录MRS Manager,查看该告警阈值是否合理(默认0.5%为合理值,用户可以根据自己的实际需求调节)。 是,执行4。 否,执行2。 根据实际服务的使用情况在“系统设置
Workflow”),可以直接单击该名称进行修改,例如“Distcp-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题: 使用Hue提交Oozie作业