检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
administrator”角色,主组为“hive”。 使用1创建的用户登录FusionInsight Manager(首次登录需要修改密码),选择“集群 > 服务 > Hue”,单击“Hue WebUI”右侧的链接,进入Hue WebUI界面。 在界面左侧导航栏单击 ,选择“W
administrator”角色,主组为“hive”。 使用1创建的用户登录FusionInsight Manager(首次登录需要修改密码),选择“集群 > 服务 > Hue”,单击“Hue WebUI”右侧的链接,进入Hue WebUI界面。 在界面左侧导航栏单击 ,选择“W
标合并在一个作业计算。当一个作业是相同主键、相同的输入和输出时,该作业支持多个窗口的计算。 支持AVG、SUM、COUNT、MAX和MIN统计方法。 Flink SQL可视化定义 集群连接管理,配置Kafka、HDFS等服务所属的集群信息。 数据连接管理,配置Kafka、HDFS等服务信息。
CDL”,单击“CDLService UI”右侧的超链接进入CDLService WebUI界面,在数据同步任务作业列表界面选择需进行DDL变更作业所在行的“更多 > 停止”,停止CDL作业。 使用客户端安装用户登录安装了客户端的节点,并执行以下命令: cd 客户端安装目录 source
Loader常见问题 使用IE浏览器配置Loader作业时无法保存数据 将Oracle数据库中的数据导入HDFS时各连接器的区别 SQLServer全数据类型导入HDFS数据跳过 Loader作业导入大量数据至HDFS时报错 sftp-connector连接器相关作业运行失败 父主题:
所有涉及{MRS补丁版本号}目录名称的操作,均以实际安装的补丁号为准。 例如: cd /opt/Bigdata/patches/MRS_3.3.0-LTS.1.1/client/ 安全集群需要认证对HDFS有权限的用户,普通集群无需执行: kinit {用户} 执行以下命令升级HDFS上的zip包: sh
Loader常见问题 IE 10&IE 11浏览器无法保存数据 将Oracle数据库中的数据导入HDFS时各连接器的区别 父主题: 使用Loader
开发Manager应用 Manager样例程序开发思路 Manager登录认证 添加Manager用户 查找Manager用户 修改Manager用户 删除Manager用户 导出Manager用户列表 父主题: Manager管理开发指南
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS NameNode内存使用率过高,会影响HDFS的数据读写性能。 可能原因
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS DataNode内存使用率过高,会影响到HDFS的数据读写性能。 可能原因
Kakfa消费者读取单条记录过长问题 问题背景与现象 和“Kafka生产者写入单条记录过长问题”相对应的,在写入数据后,用户开发一个应用,以消费者调用新接口(org.apache.kafka.clients.consumer.*)到Kafka上读取数据,但读取失败,报异常大致如下:
Hue常见问题 使用IE浏览器在Hue中执行HQL失败 Hue WebUI中Oozie编辑器的时区设置问题 父主题: 使用Hue
使用Hive输入use database语句失效 使用Hue WebUI访问HDFS文件失败 在Hue页面上传大文件失败 Hue WebUI中Oozie编辑器的时区设置问题 访问Hue原生页面时间长,文件浏览器报错Read timed out 父主题: 使用Hue(MRS 3.x及之后版本)
配置Yarn权限控制开关 手动指定运行Yarn任务的用户 配置AM失败重试次数 配置AM自动调整分配内存 配置AM作业自动保留 配置Yarn数据访问通道协议 配置自定义调度器的WebUI 配置NodeManager角色实例使用的资源 配置ResourceManager重启后自动加载Container信息
配置Yarn权限控制开关 手动指定运行Yarn任务的用户 配置AM失败重试次数 配置AM自动调整分配内存 配置AM作业自动保留 配置Yarn数据访问通道协议 配置自定义调度器的WebUI 配置NodeManager角色实例使用的资源 配置ResourceManager重启后自动加载Container信息
SparkSQL天然与Hive集成,无需考虑元数据问题。该条建议针对的是通过Spark Datasource API或者Flin写Hudi表的场景,通过这两种方式写Hudi时需要增加向Hive同步元数据的配置项;该配置的目的是将Hudi表的元数据统一托管到Hive元数据服务中,为后续的跨引擎操作数据以及数据管理提供便利。
管理MRS租户资源 管理MRS租户资源目录 管理MRS租户资源池 清除MRS租户队列配置 重装Yarn服务后手动恢复MRS租户数据 删除MRS租户 Superior调度器模式下管理MRS全局用户策略 Capacity调度器模式下清除租户非关联队列 父主题: 管理MRS集群租户
Hue故障排除 使用Hive输入use database语句失效 使用Hue WebUI访问HDFS文件失败 在Hue页面上传大文件失败 集群未安装Hive服务时Hue原生页面无法正常显示 访问Hue原生页面时间长,文件浏览器报错Read timed out 父主题: 使用Hue
Xmx最大内存数/4GB * 1500000 ClickHouse在ZooKeeper上的顶层目录的节点数量配额。 数量配额的单位是个,最小值是-1(无限制),不能等于0。 注意: 设置的数量配额值,如果小于当前ZooKeeper目录的实际值,保存配置可成功,但是配置值不会生效,并且界面会上报告警。 clickhouse
Xmx最大内存数/4GB * 1500000 ClickHouse在ZooKeeper上的顶层目录的节点数量配额。 数量配额的单位是个,最小值是-1(无限制),不能等于0。 注意: 设置的数量配额值,如果小于当前ZooKeeper目录的实际值,保存配置可成功,但是配置值不会生效,并且界面会上报告警。 clickhouse