检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
常见概念 HBase表 HBase的表是三个维度排序的映射。从行主键、列主键和时间戳映射为单元格的值。所有的数据存储在HBase的表单元格中。 列 HBase表的一个维度。列名称的格式为“<family>:<label>”,<family>和<label>为任意字符组合。表由<famil
ume-1.9.0/conf”目录下。 “-s”(可选):Cgroup阈值,阈值取值范围为1~100*N之间的整数,N表示机器cpu核数。默认阈值为“-1”,表示加入到Cgroup的进程不受cpu使用率限制。 “-l”(可选):日志路径,默认值为“/var/log/Bigdata
请求参数 无 响应参数 状态码: 202 表2 响应Body参数 参数 参数类型 描述 job_detail JobQueryBean object 参数解释: 作业详细信息。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 表3 JobQueryBean 参数 参数类型
Storm/config/* root@客户端节点IP地址:/opt/client/conf 准备MRS应用开发用户时获取的keytab文件也需放置于该目录下,主要配置文件说明如表3所示。 表3 配置文件 文件名称 作用 storm.yaml 配置Storm集群信息。 user.keytab 对于Kerberos安全认证提供用户信息。
拓扑定义需要包含以下几个部分: 拓扑名称 定义拓扑时需要的组件列表 拓扑的配置 拓扑的定义,包含spout列表、bolt列表和stream列表 定义拓扑名称: name: "yaml-topology" 定义组件列表示例: #简单的component定义 components:
在“任务名称”填写备份任务的名称。 在“备份对象”选择待操作的集群。 在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份,“手动备份”表示由手工执行备份。 表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。
快速使用HetuEngine访问Hive数据源 本章节指导用户从零开始使用HetuEngine对接Hive数据源,并通过HetuEngine查询本集群Hive数据源的数据库表。 前提条件 集群已安装HetuEngine、Hive服务及其所依赖的服务(DBService、KrbServer、Zookeeper、HD
shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的Hase表: create 'bulktable','cf1' 开发思路 创建RDD。 以HBaseContext的方式操作HBase,将上面生成的RDD写入HBase表中。 打包项目 通过IDEA自带的Maven工具,打包项目,
如需使用Hive在beeline模式下创建表时,配置内置用户“hive”。 单击“确定”。 勾选“我同意授权MRS用户(组)与IAM委托之间的信任关系。”,并单击“确定”,完成MRS用户与OBS权限的映射关系。 当集群详情页面“概览”页签的“OBS权限控制”后出现或OBS权限控制的映射表已刷新,表示映射生效(过程大约需要1分钟)。
解计费详情”,根据计费详情来了解产品价格。 单击“返回集群列表”,可以查看到集群创建的状态。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 集群创建的状态过程请参见表1中的“状态”参数说明。 MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。
序分析的源表及数据表。 source /opt/client/bigdata_env kinit hiveuser beeline create table t1(col1 int); create table t2(col1 int,col2 int); 向源数据表t1中插入测试数据:
拓扑定义需要包含以下几个部分: 拓扑名称 定义拓扑时需要的组件列表 拓扑的配置 拓扑的定义,包含spout列表、bolt列表和stream列表 定义拓扑名称: name: "yaml-topology" 定义组件列表示例: #简单的component定义 components:
root@客户端节点IP地址:/opt/hadoopclient/conf 准备MRS应用开发用户时获取的keytab文件也放置于该目录下,主要配置文件说明如表2所示。 表2 配置文件 文件名称 作用 core-site.xml 配置Flink详细参数。 hdfs-site.xml 配置HDFS详细参数。
owKey构造成rdd,然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于BulkPut接口使用章节中创建的HBase表及其中的数据进行操作。 开发思路 创建包含了要获取的rowkey信息的RDD。 以HBaseC
系统查询到“net.ipv4.ip_forward=1”表示已配置转发,则请执行9。 系统查询到“net.ipv4.ip_forward=0”表示未配置转发,则请执行8。 系统查询不到“net.ipv4.ip_forward”参数表示该参数未配置,则请执行以下命令后再执行9。 echo
系统查询到“net.ipv4.ip_forward=1”表示已配置转发,则请执行9。 系统查询到“net.ipv4.ip_forward=0”表示未配置转发,则请执行8。 系统查询不到“net.ipv4.ip_forward”参数表示该参数未配置,则请执行以下命令后再执行9。 echo
e样例工程的配置文件目录中(通常为“resources”文件夹)。 准备MRS应用开发用户时获取的keytab文件也放置于该目录下,主要配置文件说明如表4所示。 表4 配置文件 文件名称 作用 hivemetastore-site.xml 配置Hive详细参数。 hiveclient
与MRS集群所在的网络一致。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MRS HDFS。 图2 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 步骤2:创建MRS HDFS连接 在CDM集群管理界面
shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的Hase表: create 'bulktable','cf1' 开发思路 创建RDD。 以HBaseContext的方式操作HBase,将上面生成的RDD写入HBase表中。 打包项目 通过IDEA自带的Maven工具,打包项目,
“目标名称空间”建议选择一个备份命名空间不同的位置。 在“强制覆盖”选择“true”,表示存在同名数据表时强制恢复备份的所有数据,如果数据表中存在备份后新增加的数据,那恢复后将丢失这些数据。选择“false”表示存在同名表时不执行恢复任务。 单击“校验”查看恢复任务的配置是否正确。 如果队列名称不正确,校验失败。