检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Hue WebUI使用作业浏览器 操作场景 用户需要使用图形化界面查看集群中所有作业时,可以通过Hue完成任务。 访问“Job Browser” 访问Hue WebUI,请参考访问Hue WebUI界面。 单击“Job Browser”。 默认显示当前集群的所有作业。 “Job
设置的存储策略,如果不满足,则进行数据迁移,使目标目录或文件满足设定的存储策略。 本章节适用于MRS 3.x及后续版本。 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 dfs.mover.auto
option("nullValue", "").save("/tmp/outputDir") 回答 Spark2x中对join语句重名字段做了判断,需要修改代码保证保存的数据中无重复字段。 父主题: Spark2x常见问题
为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出? 如何避免对历史数据进行minor compaction? 如何在CarbonData数据加载时修改默认的组名? 为什么INSERT INTO CARBON TABLE失败? 为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同?
Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43019”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 实例”,单击告警上报的IndexSer
Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43021”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 实例”,单击告警上报的IndexSer
若Flume数据写入的组件未启动,启动对应组件;若组件异常,请联系服务技术支持。 Sink未启动,检查配置文件是否配置正确,若配置错误,则正确修改配置文件后重启Flume进程,如果配置正确,则查看日志错误信息,根据具体错误信息制定解决办法。 父主题: 使用Flume
设置的存储策略,如果不满足,则进行数据迁移,使目标目录或文件满足设定的存储策略。 本章节适用于MRS 3.x及后续版本。 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 dfs.mover.auto
在产品未发布对应解决方案前,建议您参考以下的相关预防措施。 加固物理设备安全边界,防止外网直接访问及攻击内网管理平面。 排查平台各组件节点是否使用默认密码,如果有,建议修改新密码。 加强环境管理面账户密码管控,确保不泄露不扩散。 部分安全厂商已经提供了针对该漏洞的预防措施,您可联系对应的安全厂商,通过在安全设备上设置拦截规则来预防此类攻击。
执行Spark作业时无法加载部分jar,导致找不到class。 处理步骤 使用 --jars 加载flume-ng-sdk-{version}.jar依赖包。 同时修改“spark-default.conf”中两个配置项。 spark.driver.extraClassPath=$PWD/*:{加上原来配置的值}
Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43008”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 实例”,单击告警上报的JobHisto
number”配置项,调大服务在ZooKeeper上的顶层目录的数量配额,单击“保存”。 如果告警对应的顶级Znode服务组件为ClickHouse,则请修改“clickhouse.zookeeper.quota.node.count”参数的配置项。 观察界面告警是否清除。 是,处理完毕。 否,执行7。
FS Router堆内存使用率超出阈值范围时,产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > HDFS”修改阈值。 当HDFS Router堆内存使用率小于或等于阈值时,告警恢复。 该告警仅适用于MRS 3.5.0及之后版本。 告警属性 告警ID
典型场景:从HDFS导入数据到ClickHouse 操作场景 该任务指导用户使用Loader将文件从HDFS导入到ClickHouse。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS目录和数据。 ClickHous
熔断,并不强制改变用户的SQL提交方式、SQL语法,对业务零改动且易落地。 支持管理员界面化配置SQL防御策略,同时可支持防御规则的查询和修改。 每个SQL引擎在进行SQL业务响应、执行过程中,基于SQL防御策略进行主动防御行为。 管理员可将SQL防御行为在“提示”、“拦截”、“
解决ClickHouse Mysql引擎偶现卡顿问题(root补丁修复)。 解决ClickHouse内存暴涨后出现停止响应的问题。 解决修改ClickHouse配置时nodeagent会增加Zookeeper连接,旧连接不会释放导致Zookeeper不可用的问题。 解决Clic
告警 > 阈值设置 > 待操作集群的名称 > Hive > 连接到HiveServer的session数占最大允许session数的百分比”修改阈值。 平滑次数为1,百分比指标小于或等于阈值时,告警恢复;平滑次数大于1,百分比指标小于或等于阈值的90%时,告警恢复。 告警属性 告警ID
er,用户类型为“人机”用户,加入用户组flinkgroup和hadoop,并绑定角色flinkrole取得权限,单击“确定”。 在客户端修改flinkuser密码后才能使用本用户。 若用户需要对接Kafka,则需创建具有Flink和Kafka组件的混合集群,或者为拥有Flink
storage.directory"配置选项设置成自定义目录时,需要手动赋予用户该目录的owner权限。以下以MRS的admin用户为例。 修改Flink客户端配置文件conf/flink-conf.yaml,配置blob.storage.directory: /home/testdir/testdirdir/xxx。
VIEW_ORIGINAL_TEXT字段的编码是否为UTF 8。 show full columns from TBLS; 执行以下命令,修改字段编码信息。 ALTER TABLE TBLS modify COLUMN VIEW_EXPANDED_TEXT mediumtext CHARACTER