正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理步骤 登录FusionInsight Manager首页,选择“集群 > 服务 > JobGateway > 实例”。进入实例页面查看JobServer或JobBalancer全部实例是否故障或未启动,并查看故障或未启动实例所在节点的主机名。 在FusionInsight Man
a高可靠性功能,防止当Kafka发生故障或者Kafka重启时传输的数据丢失。 表1 使用MRS Kafka同步数据的CDL任务 数据源 目的端 描述 MySQL Hudi 该任务支持从MySQL同步数据到Hudi。 Kafka 该任务支持从MySQL同步数据到Kafka。 PgSQL
批处理应用更关注原始数据处理的吞吐量,因此,目前已有的HDFS模型都运作良好。 然而,随着技术的发展,Hadoop逐渐被用于以随机I/O访问模式的操作为主的上层应用上,如Hive、HBase等,而这种时延要求较高的场景中,低时延的高速磁盘(如SSD磁盘)可以得到广泛的应用。为了支
登录认证用户必须与所加载环境变量(component_env)一 一对应,否则使用storm命令提交拓扑任务出错。 加载客户端环境变量且对应用户登录成功后,该用户可以在任意storm客户端下执行storm命令来提交拓扑任务,但提交拓扑命令执行完成后,提交成功的拓扑仍然在用户所对应
存不足时在排序阶段会将数据溢出到磁盘,在连接阶段因数据有序,在内存中只保留当前相同key的数据,使用的内存较小。 配置描述 参数入口: 在应用提交时通过“--conf”设置这些参数,或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数
存不足时在排序阶段会将数据溢出到磁盘,在连接阶段因数据有序,在内存中只保留当前相同key的数据,使用的内存较小。 配置描述 参数入口: 在应用提交时通过“--conf”设置这些参数,或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数
SlapdServer CPU使用率”,查看告警的平滑次数和告警阈值是否设置合理。 是,执行4。 否,执行2。 根据实际CPU使用情况修改平滑次数和告警阈值,并应用修改后的规则。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行4。 检查CPU使用率是否达到上限。 在FusionInsight
可以参考备份数据将数据备份到第三方服务器,例如备份到:远端HDFS(RemoteHDFS)、NAS(NFS/CIFS)、SFTP服务器(SFTP)、OBS。 创建备份任务成功后,等待2分钟,检查告警是否消除。 是,处理完毕。 否,执行6。 收集故障信息。 在FusionInsight Manager界面,选择“运维
Maximum password life: 0 days 00:00:00 …… 执行以下命令,将新的策略“streampol”应用到Storm用户“testpol”。 modprinc -policy streampol testpol 其中“streampol”是策略名称,“testpol”是用户名。
-overwrite 覆盖目标位置的文件。 -update 如果源位置和目标位置的文件的大小,校验和不同,则更新目标位置的文件。 -append 当同时使用-update选项时,追加源位置的文件内容到目标位置的文件。 -f <urilist_uri> 将<urilist_uri>文件的内容作为需要拷贝的文件列表。
输入数据文件。 指定输入的文件或者输入的目录,输入的目录中如果存在当前格式则解析,如果不存在则跳过。可以指定本地文件或者目录,也可以指定HDFS/OBS文件或者目录。 input-directory 输入数据文件所在的目录,子文件多个的情况下使用。 例如,执行以下命令排查orc文件“hdf
-overwrite 覆盖目标位置的文件。 -update 如果源位置和目标位置的文件的大小,校验和不同,则更新目标位置的文件。 -append 当同时使用-update选项时,追加源位置的文件内容到目标位置的文件。 -f <urilist_uri> 将<urilist_uri>文件的内容作为需要拷贝的文件列表。
节点自定义引导操作 特性简介 MRS提供标准的云上弹性大数据集群,目前可安装部署包括Hadoop、Spark等大数据组件。当前标准的云上大数据集群不能满足所有用户需求,例如如下几种场景: 通用的操作系统配置不能满足实际数据处理需求,例如需调大系统最大连接数。 需要安装自身业务所需
123, 'name0', '2021-07-05 17:45:06'); 导出DWS表数据为CSV格式文件。 在Data Studio左侧的“对象浏览器”中,右键要导出的表,选择“导出表数据”。在导出界面选择具体的导出路径,格式选择CSV、分隔符选择逗号,在安全免责声明下选择“我同意
例如Oracle数据库中的“date”类型,系统会自动识别为“timestamp”类型,如果不手动处理会导致后续Hive表在查询数据时报错。 配置输出算子,输出到HDFS/OBS,结果如下: 父主题: Loader输入类算子
例如Oracle数据库中的“date”类型,系统会自动识别为“timestamp”类型,若不手动处理会导致后续Hive表在查询数据时报错。 配置输出算子,输出到HDFS/OBS,结果如下: 父主题: 输入算子
123, 'name0', '2021-07-05 17:45:06'); 导出DWS表数据为CSV格式文件。 在Data Studio左侧的“对象浏览器”中,右键要导出的表,选择“导出表数据”。在导出界面选择具体的导出路径,格式选择CSV、分隔符选择逗号,在安全免责声明下选择“我同意
rolling-policy.check-interval 1min Duration 检查基于时间的滚动策略的时间间隔。 分区目录的文件合并。 支持文件压缩,允许应用程序具有更小的检查点间隔,而无需生成大量文件。 仅压缩单个检查点中的文件,即生成的文件数量至少与检查点数量相同。合并前的文件是不可见的,因
"modification_time" : 1587179516623, "owner" : "hdfs", "path_suffix" : "app-logs", "permission" : 777, "replication" : 0, "type" : "DIRECTORY"
RPC BackOff配置 参数 描述 默认值 ipc.<port>.backoff.enable 启用Backoff配置参数。当前,如果应用程序中包含较多的用户调用,假设没有达到操作系统的连接限制,则RPC请求将处于阻塞状态。或者,当RPC或NameNode在重负载时,可以基于