检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取登录“Loader WebUI”的账户和密码。 操作步骤 关联操作 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader
时,注意需要手动指定队列名称,否则当父队列下有多个子队列时,系统并不会自动判断,从而将任务提交到了“default”队列。 单击“确定”完成。 MRS 3.x及以后版本集群执行以下操作: 登录Manager,选择“系统 > 权限 > 角色”。 单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。
准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境: Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下:
在Spark应用程序运行节点,执行如下命令使用Spark Launcher方式提交。之后,可通过Spark WebUI查看运行情况,或通过获取指定文件查看运行结果,可参见在Linux环境中查看Spark程序调测结果。 java -cp $SPARK_HOME/conf:$SPARK_HOME/j
修改用户组、主组、角色分配权限和描述。 修改用户信息(MRS 3.x及之后版本) 登录FusionInsight Manager。 选择“系统 > 权限 > 用户”。 在要修改信息的用户所在行,单击“修改”。 根据实际情况,修改对应参数。 修改用户的用户组,或者修改用户的角色权限,最长可能需要3分钟时间生效。
HBase应用开发简介 HBase简介 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。
高Streaming的吞吐能力,在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。 操作步骤 一个简单的流处理系统由以下三部分组件组成:数据源 + 接收器 + 处理器。数据源为Kafka,接收器为Streaming中的Kafka数据源接收器,处理器为Streaming。
对于包年/包月计费模式的资源,例如包年/包月的MRS集群,用户在购买时会一次性付费,服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订等条件返还一定金额到您的账户。详细的退订规则请参见云服务退订规则概览。 如果您已开启“自动续费”功能,为避
环境。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 磁盘角色 表1 MRS集群节点磁盘类型 磁盘角色 描述 系统盘 节点系统盘的存储类型和存储空间。 存储类型: SAS:高IO SSD:超高IO GPSSD:通用型SSD 数据盘 节点数据磁盘存储空间。为增
oKeeper上的/flink目录,导致新创建的用户访问不了ZooKeeper上的/flink目录。 新用户可以通过以下操作来解决问题。 查看客户端的配置文件“conf/flink-conf.yaml”。 修改配置项“high-availability.zookeeper.path
时报错 如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 如何处理无法直接通过URL访问Flink Web 如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题
ZooKeeper所在节点的IP:端口 ZooKeeper所在节点的IP即为1中查到的结果,多个IP之间以逗号间隔。 使用ls /等常用的命令查看ZooKeeper上的信息。 父主题: 使用ZooKeeper
ClickHouse数据库调优 ClickHouse调优思路 ClickHouse系统调优 ClickHouse SQL调优 ClickHouse参数调优实践 父主题: ClickHouse应用开发规范
r 服务。 sh /opt/Bigdata/om-server/om/sbin/restart-controller.sh 在主OMS节点查看进程。 ps -ef |grep ControllerService 如果包含参数“ -Dfastjson.parser.safeMode
Workflow”),可以直接单击该名称进行修改,例如“Loader-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题: 使用Hue提交Oozie作业
以omm用户登录主OMS节点,执行以下命令重启knox进程。 sh /opt/knox/bin/restart-knox.sh 等待五分钟,查看是否可以正常访问组件WebUI页面。 是,处理完毕。 否,请联系运维人员进行处理。 父主题: 访问MRS组件Web UI界面常见异常问题
刷新MRS控制台集群详情页面,“IAM用户同步”会显示“未同步”。 单击“IAM用户同步”右侧的“同步”。同步状态在MRS控制台页面选择“操作日志”查看当前用户是否被修改。 是,则可以重新提交Hive作业。 否,则检视上述步骤是否全部已执行完成。 是,请联系运维人员处理。 否,请等待执行完成后再提交Hive作业。
Workflow”),可以直接单击该名称进行修改,例如“Loader-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题: 使用Hue提交Oozie作业
Hive负载均衡 配置Hive单表动态视图的访问控制权限 配置创建临时函数的用户不需要具有ADMIN权限 配置具备表select权限的用户可查看表结构 配置仅Hive管理员用户能创建库和在default库建表 配置Hive支持创建超过32个角色 创建Hive用户自定义函数 配置Hive
ClickHouse用户权限管理 ClickHouse用户权限说明 创建ClickHouse角色 配置ClickHouse对接OpenLDAP认证系统 父主题: 使用ClickHouse