检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多则不便于维护)。 最佳实践示例 假设一个集群,共有主机100台,分别在两个机房中:机房A有40台主机,机房B有60台主机。在机房A中,物理机架Ra1有11台主机,物理机架Ra2有29台。在机房B中,物理机架Rb1有6台主机,物理机架Rb2有33台主机,物理机架Rb3有18台主机,物理机架Rb4有3台主机。
登录Kafka客户端: cd Kafka客户端安装目录/Kafka/kafka kinit flume_kafka(输入密码) 读取KafkaTopic中的数据(修改命令中的中文为实际参数)。 bin/kafka-console-consumer.sh --topic 主题名称 --bootstrap-server
JayDeBeApi-1.2.3表示已安装成功。 客户端机器必须安装Java,支持的版本可参考表1中的“安装JDK”。 获取Python3样例代码。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\hetu-examples”目录下的样例工程文件夹“python3-examples”。
登录Kafka客户端: cd Kafka客户端安装目录/Kafka/kafka kinit flume_kafka(输入密码) 读取KafkaTopic中的数据(修改命令中的中文为实际参数)。 bin/kafka-console-consumer.sh --topic 主题名称 --bootstrap-server
被抢占。队列B会从队列A中获取25%的集群资源以满足任务2的执行。 当任务2完成后,集群中存在足够的资源时,任务1将重新执行。 Superior 调度器抢占原理 在资源充足时,Superior Scheduler允许队列使用超出queue policy中配置(minimum, s
使用Ranger Hive启用Ranger鉴权后,在Hue页面能查看到没有权限的表和库
副本会进行数据的异步复制。 下图中的Node1和Node2对应为集群配置中的host1和host2主机节点。 ClickHouse集群创建成功后,默认会创建3个Zookeeper节点,ZooKeeper中存储了ClickHouse的表在复制过程中的元数据信息。 ZooKeeper节点信息可以参考config
update和overwrite选项的用法。 -update用于被拷贝的文件在目标位置中不存在,或者更新目标位置中被拷贝文件的内容; -overwrite用于覆盖在目标位置中已经存在的文件。 不加选项和加两个选项中任一个选项的区别,示例如下: 假设,源位置的文件结构如下: hdfs://c
使用IE浏览器配置Loader作业时无法保存数据 将Oracle数据库中的数据导入HDFS时各连接器的区别 SQLServer全数据类型导入HDFS数据跳过 Loader作业导入大量数据至HDFS时报错 sftp-connector连接器相关作业运行失败 父主题: 使用Loader
可能原因 数据库异常。 处理步骤 检查主备管理节点的数据库状态。 以root用户分别登录主备管理节点,用户密码为安装前用户自定义,请咨询系统管理员,执行su - ommdba命令切换到ommdba用户,执行gs_ctl query命令。查看回显是否显示以下信息。管理节点的主备状
操作步骤 MRS 3.x之前版本: 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。选择“节点管理 > 节点名称” ,进入弹性云服务器界面。单击“远程登录”按钮,完成Hive节点的登录。 MRS3.x及后续版本: 以root用户登录已安装Hive客户端的节点。 执行以
调用失败数-所有实例”图表上查看OBS的readFully接口调用失败数最大值所在的实例的主机名称,例如,下图所示的主机名称为:node-ana-corevpeO003: 选择“运维 > 日志 > 下载”,在“服务”中勾选“meta > meta”。 在“主机”中勾选4查看的主机。
接口调用失败数-所有实例”图表上查看OBS的read接口调用失败数最大值所在的实例的主机名称,例如,下图所示的主机名称为:node-ana-corevpeO003: 选择“运维 > 日志 > 下载”,在“服务”中勾选“meta > meta”。 在“主机”中勾选4查看的主机。 单
作业操作:在管理控制台创建作业、停止作业和删除作业。 数据操作:IAM用户任务、新增用户、新增用户组等操作。 查看云服务操作日志 登录MRS管理控制台。 单击“操作日志”,查看日志详情。 日志列表默认按时间顺序排列,时间最近的日志显示在最前端。 日志信息中的各字段说明如表1所示。 表1 日志说明 参数 参数说明
tions,标识一次数据传输成功可靠地完成。 当接收Agent接收到发送Agent发送的消息时,开始一个新的Transactions,当该数据被成功处理(写入Channel中),那么接收Agent提交该Transactions,并向发送Agent发送成功响应。 如果在某次提交(c
2021-03-22_12-00-07 查看日志中,告警时间点前后是否有报错信息。 是,根据相关报错信息进行处理。然后执行13。 例如,查询出报错信息如下,表示目录权限不足,则请修改对应目录权限与正常节点保持一致。 否,执行14。 等待大约10分钟,查看告警列表中,该告警是否已清除。 是,处理完毕。
密码即将过期的用户名称。 对系统的影响 用户密码过期,该用户将无法正常使用。 可能原因 用户密码即将过期。 处理步骤 修改用户密码。 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”,在告警列表中展开此告警的详细信息,查看并记录附加信息中即将过期的用户名称。
Doris”,在左侧图表分类中单击“连接”,查看“FE的MySQL端口连接数”监控图表,如果连接数较大;选择“实例 > FE > 图表”,在左侧图表分类中单击“CPU和内存”,查看“FE的CPU使用率”监控图表,如果CPU使用率较高;查看FE审计日志“/var/log/Bigdata/audit/doris/fe/fe
该节点配置了DNS客户端。 该节点安装并启动了DNS服务端。 处理步骤 检查是否配置了DNS客户端。 登录MRS集群详情页面,选择“告警管理”。 查看该告警的详细信息,查看定位信息中对应的“HostName”字段值,获取该告警产生的主机名。 使用PuTTY工具,以root用户登录告警所在节点。
oop。 操作步骤 下载并安装Hudi客户端,具体请参考安装客户端(3.x及之后版本)章节。 目前Hudi集成在Spark2x中,用户从Manager页面下载Spark2x客户端即可,例如客户端安装目录为:“/opt/client”。 使用root登录客户端安装节点,执行如下命令: