检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据组件都有自己的WebUI页面管理自身系统,但是由于网络隔离的原因,用户并不能很简便地访问到该页面。 例如访问HDFS的WebUI页面,传统的操作方法是需要用户创建ECS,使用ECS远程登录组件的UI,这使得组件的页面UI访问很是繁琐,对于很多初次接触大数据的用户很不友好。 MRS提供了基于弹性公网IP来便捷访问
本章节只适用于Storm和HDFS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和HDFS组件已经安装,并正常运行。 将storm-examples导入到IntelliJ IDEA开发环境,请参见准备Storm应用开发环境。 下载并安装HDFS客户端。
【Hue WebUI】Hue WebUI页面无法访问 现象描述 Hue服务组件的Hue WebUI页面打不开。 原因分析 端口未对外开放。 浮动IP配置错误。 一次性查询大量的数据,导致查询耗时长,占用了Hue中Hive的链接,导致Hue访问出现异常。 排查思路 在浏览器所在的本
0.122:2181/kafka test - marked for deletion 通过Manager查看Kafka Broker实例的运行状态。 通过cd /var/log/Bigdata/kafka/broker命令进入RunningAsController节点日志目录,在controller
Server,则需要重复3。 单击“保存”。 如果某个Loader作业已集成一个Loader连接,那么编辑连接参数后可能导致Loader作业运行效果也产生变化。 删除连接 在Loader页面,单击“管理连接”。 在指定连接所在行,单击“删除”。 在弹出的对话框窗口,单击“是,将其删除”。
少天以内的归档文件,默认值30(天)。 注意事项 归档文件,没有备份,删除之后无法恢复。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
COLUMNS (a1 INT, b1 STRING) TBLPROPERTIES('DEFAULT.VALUE.a1'='10'); 系统响应 通过运行DESCRIBE命令,可显示新添加的列。 父主题: CarbonData语法参考
将列a1的精度从10更改为18。 ALTER TABLE test_db.carbon CHANGE a1 a1 DECIMAL(18,2); 系统响应 通过运行DESCRIBE命令,将显示被修改列变更后的数据类型。 父主题: CarbonData语法参考
COLUMNS (a1 INT, b1 STRING) TBLPROPERTIES('DEFAULT.VALUE.a1'='10'); 系统响应 通过运行DESCRIBE命令,可显示新添加的列。 父主题: DDL
图1 从OBS导入数据至HDFS 提交Spark SQL语句。 在MRS控制台选择“作业管理”,具体请参见运行Spark作业。 只有“mrs_20160907”集群处于“运行中”状态时才能提交Spark SQL语句。 输入创建表的Spark SQL语句。 输入Spark SQL语
'properties.hbase.security.authentication' = 'kerberos' 查看作业管理界面,作业状态为“运行中”。 参考管理Kafka Topic中的消息,向kafka中写入数据。 sh kafka-console-producer.sh --broker-list
Array of strings 参数解释: master节点支持的规格列表。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 core Array of strings 参数解释: core节点支持的规格列表。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及
造成任务卡顿。 在未安装HBase的环境,要执行Hive on Spark任务,可以按如下操作处理。如果是从已有HBase低版本环境升级上来的,升级完成之后可不进行设置。 操作步骤 登录FusionInsight Manager 。 选择“集群 > 待操作集群的名称 > 服务 >
大原数值的20%)。 查看本告警是否恢复。 是,操作结束。 否,执行6。 升级Coordinator规格或扩容Worker节点组。 若Coordinator线程数过多,考虑升级Coordinator节点规格,提升CPU核数;若Worker线程数过多,考虑扩容Worker节点组。 查看本告警是否恢复。
造成任务卡顿。 在未安装HBase的环境,要执行Hive on Spark任务,可以按如下操作处理。如果是从已有HBase低版本环境升级上来的,升级完成之后可不进行设置。 操作步骤 登录FusionInsight Manager 。 选择“集群 > 服务 > Hive > 配置 >
CommonOperations MRS ReadOnlyAccess MRS Administrator 创建集群 √ x x √ 调整集群 √ x x √ 升级节点规格 √ x x √ 删除集群 √ x x √ 查询集群详情 √ √ √ √ 查询集群列表 √ √ √ √ 设置弹性伸缩策略 √ x x √
r添加Ranger权限,可参考添加HetuEngine的Ranger访问权限策略。 创建HetuEngine计算实例。 创建计算实例并确保运行正常,可参考创建HetuEngine计算实例。 步骤二:获取JDBC jar包并配置主机映射 下载HetuEngine客户端获取JDBC jar包。
题分区数大于1。 需要将Kafka客户端配置文件“client.properties”和“log4j.properties”文件放置在程序运行的配置文件目录下。 在IoTDBSessionPool对象的参数里,设置IoTDBServer所在的节点IP、端口、用户名和密码。 在FusionInsight
33,按照传统的计算方式,10/100=0.1,远小于该阈值。这就造成这10个节点永远无法得到释放,Map&Reduce任务一直无法获取节点,应用程序无法正常运行。实际需要根据与Map&Reduce任务的有效节点关联的节点总数进行计算,即10/10=1,大于黑名单节点释放阈值,节点被释放。 因此即使
sql.thriftserver.scheduler.pool=PoolName; 执行相应的SQL命令,Spark任务将会在上面的调度池中运行。 设置BroadCastHashJoin的超时时间。 BroadCastHashJoin有超时参数,一旦超过预设的时间,该查询任务直接失