检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景描述 在MRS集群中新增并提交一个作业。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。
获取部署了JobServer的节点中,IP最小的节点(以下简称“最小IP节点”)。若最小IP节点更新服务客户端失败,执行3, 否则执行4。 若JobServer部署节点IP为:192.168.0.192、192.168.0.168、192.168.0.23 , 则最小IP为192.168.0
用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要获取的数据的rowKey构造成rdd,然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于BulkPut接口使用章节创建的HBase表及其中的数据进行操作。 开发思路
用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要获取的数据的rowKey构造成rdd,然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于BulkPut接口使用章节创建的HBase表及其中的数据进行操作。 开发思路
实例”,获取HSFabric所有实例的业务IP;在“配置”页签,搜索“gateway.port”,获取HSFabric的端口号。 user 访问HetuEngine的用户名,即在集群中创建的“人机”用户的用户名。 password 在集群中创建的“人机”用户的用户密码。 tenant 指
扩容时是否在新增节点上跳过执行创建集群时指定的引导操作。 约束限制: 不涉及 取值范围: true:跳过执行创建集群时指定的引导操作。 false:不跳过执行创建集群时指定的引导操作。 默认取值: true scale_without_start 否 Boolean 参数解释: 扩容后是否选择不启动扩容节点上的组件。
用户停止操作失败。 未知 后台系统重启后,服务的初始状态。 健康状态 良好 该服务中所有角色实例正常运行。 故障 至少一个角色实例运行状态为“故障”或被依赖的服务状态不正常。 服务的运行状态为“故障”,会触发告警,请根据告警信息处理。 未知 该服务中所有角色实例状态为“未知”。 正在恢复 后台系统正在尝试自动启动服务。
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 获取指定目录文件列表成功 错误码 请参见错误码。 父主题:
索。 稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏。 HBase接口类型介绍 由于HBase本身是由java语言开发出来的,且java语言具有简洁通用易懂的特性,推荐用户使用java语言进行HBase应用程序开发。 HBase采用的接口与Apache
名称。进入ClickHouseServer“概览”页面,单击“配置文件”中的users.xml文件,查看ClickHouse用户密码。 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 创建指定数据库只读权限角色,有如下两种方案:
如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,然后选择“集群 > 待操作的集群名称 > 服务 > Presto > 配置 > 全部配置”。
ric实例。HSFabric实例的新增,删除,迁移和端口的修改,都需要重启Hue服务。 已在集群中创建HetuEngine管理员“人机”用户,如hetu_user,可参考创建HetuEngine权限角色。启用Ranger鉴权的集群需根据业务需求为该hetu_user添加Range
还原DBService HA模块的SSL配置 操作场景 本任务将对安装DBService的集群进行还原DBService服务HA模块SSL的操作。 前提条件 DBService服务HA模块已开启SSL配置。 检查DBService服务HA模块是否开启SSL配置: 查看“$BIGD
HBase启动后原生页面显示RegionServer个数多于实际个数 RegionServer实例异常,处于Restoring状态 新安装的集群HBase启动失败 acl表目录丢失导致HBase启动失败 集群上下电之后HBase启动失败 文件块过大导致HBase数据导入失败 使用
Hive在做Select查询时,一般会扫描整个表内容,会消耗较多时间去扫描不关注的数据。此时,可根据业务需求及其查询维度,建立合理的表分区,从而提高查询效率。 操作步骤 以root用户登录已安装Hive客户端的节点。 执行以下命令,进入客户端安装目录,例如“/opt/client”。 cd
创建RDD. 以数据源的方式操作HBase,将上面生成的RDD写入HBase表中. 读取HBase表中的数据,并且对其进行简单的操作。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到
创建RDD. 以数据源的方式操作HBase,将上面生成的RDD写入HBase表中. 读取HBase表中的数据,并且对其进行简单的操作。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到S
Manager和Logout等部分。 在YARN的Web UI界面,查找到对应的Flink应用程序。单击应用信息的最后一列“ApplicationMaster”,即可进入Flink Web页面。 查看程序执行的打印结果:找到对应的Task Manager,查看对应的Stdout标签日志信息。 查看Flink日志获取应用运行情况
配置HBase冷热数据分离存储 在海量大数据场景下,HBase表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低,同时这部分历史数据体量非常大,比如订单数据或者监控数据,如果降低这部分数据的存储成本将会极大的节省企业的成本。 HBase支持冷热分离功能,将数据分类存储在不同介
该任务指导用户通过Storm业务完整迁移的方式转换并运行完整的由Storm API开发的Storm拓扑。 操作步骤 打开Storm业务工程,修改工程的pom文件,增加“flink-storm” 、“flink-core”和“flink-streaming-java_2.11”的引用。如下: <dependency>