检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看Flink应用调测结果 调优程序 您可以根据程序运行情况,对程序进行调优,使其性能满足业务场景需求。 调优完成后,请重新进行编译和运行。 组件操作指南中的“Flink性能调优” 父主题: Flink开发指南(安全模式)
/opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令,切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 执行以下命令,针对Topic修改配置和删除配置。
quest request) Client通过此接口从RM中获取队列的相关信息。 getQueueUserAcls(GetQueueUserAclsInfoRequest request) Client通过此接口从RM中获取当前用户的队列访问权限信息。 moveApplicati
Storm-HDFS开发指引 操作场景 本章节只适用于Storm和HDFS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和HDFS组件已经安装,并正常运行。 将storm-examples导入到IntelliJ IDEA开发环境,请参见准备Storm应用开发环境。
createTopology()); } 部署运行及结果查看 导出本地jar包,请参见打包Strom样例工程应用。 将1中导出的本地Jar包,4中获取的配置文件和5中获取的jar包合并统一打出完整的业务jar包,请参见打包Strom应用业务。 执行命令提交拓扑。 storm jar
计算资源 为当前租户选择动态计算资源。 选择“Yarn”时,系统自动在Yarn中以租户名称创建任务队列。 如果是叶子租户,叶子租户可直接提交到任务队列中。 如果是非叶子租户,非叶子租户不能直接将任务提交到队列中。但是,Yarn会额外为非叶子租户增加一个任务队列(隐含),队列默认命名为
法建立新的连接。 可能原因 连接HiveServer的客户端过多。 处理步骤 增加Hive最大连接数配置。 登录MRS集群详情页面,选择“组件管理”。 选择“Hive > 服务配置”,将“基础配置”切换为“全部配置”。 然后查找“hive.server.session.control
API 提供除Shell、Java API和C API以外的其他接口,可通过此接口监控HDFS状态等信息。 WEB UI 提供Web可视化组件管理界面。 父主题: HDFS开发指南(普通模式)
API 提供除Shell、Java API和C API以外的其他接口,可通过此接口监控HDFS状态等信息。 WEB UI 提供Web可视化组件管理界面。 父主题: HDFS开发指南(普通模式)
Hive的元数据信息,存储在MySQL等数据库中。MRS Hive集群的元数据会默认存储到MRS DBService组件,也可以选择RDS(MySQL)作为外置元数据库。 Hive的业务数据,存储在HDFS文件系统或OBS对象存储中。 图1 Hive数据迁移示意 方案优势 场景化
parkrole取得权限,单击“确定”。 Spark Streaming程序使用的用户需要加kafkaadmin组权限,用来操作Kafka组件。 在MRS Manager界面选择“系统设置>用户管理”,在用户名中选择sparkuser,单击操作中下载认证凭据文件,保存后解压得到用户的keytab文件与krb5
RegionServer堆大小较小。 资源不足。 相关参数配置不合理。 处理步骤 检查HBase相关配置是否合理。 登录MRS集群详情页面,选择“组件管理 > HBase > 服务配置”,将“基础配置”切换为“全部配置”,搜索“hbase.hstore.compaction.min”,“hbase
回滚补丁后操作 回退HDFS上的组件包 登录集群主节点并执行以下命令: su - omm cd /opt/Bigdata/patches/{MRS补丁版本号}/client/ source /opt/Bigdata/client/bigdata_env 所有涉及{MRS补丁版本号
停止业务。 获取主NameNode的主机名。 在客户端执行如下命令: source /opt/client/bigdata_env kinit 组件用户 说明:“/opt/client”需要改为实际客户端的安装路径。 执行如下命令,让主NameNode进入安全模式,其中linux22换为主NameNode的主机名。
表2 MRS集群运行状态说明 状态 说明 启动中 集群正在创建,则其状态为“启动中”。 运行中 集群创建成功且运行正常,则其状态为“运行中”。 扩容中 集群Master节点、Core节点或者Task节点正在扩容,则其状态为“扩容中”。 缩容中 当对集群节点进行缩容、弹性缩容、包周期集
客户端替换“${install_home}/fusioninsight-flume-flume组件版本号/conf/ENV_VARS文件中JAVA_HOME”的值,服务端替换“etc”目录下“ENV_VARS”文件中“JAVA_HOME”的值。 其中“JAVA_HOME”的值可通过登录正常启动Flume的节点,执行echo
HDFS集群磁盘容量不足,会影响到HDFS的数据写入。 可能原因 HDFS集群配置的磁盘空间不足。 处理步骤 查看磁盘容量,清除无用文件。 在MRS集群详情页面,单击“组件管理 > HDFS”,弹出“服务状态”页面。 在“图表”区域中,通过监控项“Percentage of HDFS Capacity”查看H
以电力场景为例,说明如何在IoTDB中创建一个正确的数据模型。 图1 电力场景属性层级组织结构 如图1所示,即“电力集团层-电厂层-设备层-传感器层”。其中ROOT为根节点,传感器层的每一个节点为叶子节点。IoTDB的语法规定,ROOT节点到叶子节点的路径以“.”连接,以此完整路径命名IoTDB中的一个时间
3.2.0-LTS.1.8补丁,安装完需要重启相关服务,具体请参考MRS 3.2.0-LTS.1.8版本补丁说明。 检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案,是否有记录相关非标操作。 是,需要详细评估补丁跟非标配置的兼容性。 否,检查结束。
在弹出页面中搜索框内搜索“OBS OperateAccess”策略,勾选“OBS OperateAccess”策略如图2所示。 图2 配置权限 单击“下一步”,选择权限范围方案,默认选择“所有资源”,单击“展开其他方案”,选择“全局服务资源”,单击“确定”。 在弹出的提示框中单击“知