检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备MRS应用开发用户 操作场景 开发用户用于运行样例工程。进行不同服务的组件开发时,需要赋予不同的用户权限。 操作步骤 登录FusionInsight Manager。 在FusionInsight Manager界面选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的
主集群故障修复后,备集群新增的数据需要通过备份恢复的方式同步到主集群。如果需要自动同步数据,需要切换HBase容灾主备集群。 操作步骤 登录备集群FusionInsight Manager。 下载并安装HBase客户端。 在备集群HBase客户端,以hbase用户执行以下命令指定备集群写数据状态启用。
try { // 获取JDBC连接 // 第二个参数需要填写正确的用户名,否则会以匿名用户(anonymous)登录 connection = DriverManager.getConnection(url, "userName", "");
目前支持使用Hive读取DB2和Oracle两种关系型数据库的数据。 前提条件 已安装Hive客户端。 操作步骤 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 例如安装目录为“/opt/client”,则执行以下命令:
前提条件 MRS集群管理员已明确业务需求,并准备一个系统用户。 已开启Token认证机制。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。
侧代码无需特殊修改,简单易用。 MRS 3.3.0及之后版本的集群默认启用HBase全局二级索引功能,如果需要修改全局二级索引相关参数,需登录FusionInsight Manager,选择“集群 > 服务 > HBase > 配置 > 全部配置”,在“RegionServer(角色)
[{"topic":"test_2"},{"topic":"test_3"}], "version":1 } 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env
storm.example.obs.SimpleOBSTopology obs://my-bucket obs-test 拓扑提交成功后请登录OBS Browser查看。 父主题: Storm应用开发常见问题
xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 安全登录 请根据实际情况,修改“userName”为实际用户名,例如“developuser”。 在Windows环境下和Linux环境下请使用对应的路径获取方式。
主集群故障修复后,备集群新增的数据需要通过备份恢复的方式同步到主集群。如果需要自动同步数据,需要切换HBase容灾主备集群。 操作步骤 登录备集群FusionInsight Manager。 下载并安装HBase客户端。 在备集群HBase客户端,以hbase用户执行以下命令指定备集群写数据状态启用。
限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题,取消表的任意权限,系统不会自动取消数据库目录的HDFS权限,但对应的用户只能登录数据库和查看表名。 如果为角色添加或删除数据库的查询权限,数据库中的表也将自动添加或删除查询权限。 MRS 3.2.0及之后版本,如果数据
计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用(弹性云服务器、云硬盘)组成。 图1 MRS费用组成 具体内容如表1所示。 表1 MRS集群计费项 计费项 计费项说明 适用的计费模式 计费公式 MRS服务管理费用 计费因子:MRS服务管理,以核为单位计费,每个Region计费不相同。包括:
port配置),可以通过Beeline或者JDBC客户端代码来连接它,从而执行SQL命令。 如果您需要了解JDBCServer的其他信息,请参见Spark官网:http://archive.apache.org/dist/spark/docs/3.3.1/sql-programming-guide
不合理的防御规则对相关SQL请求进行拦截或阻断后,可能会对上层业务造成影响。 添加SQL防御规则 使用具有Manager界面管理权限的用户登录FusionInsight Manager。 选择“集群 > SQL防御”,打开SQL防御页面。 可以单击“查看所有支持规则”查看当前集群所有支持的SQL防御规则。
port配置),可以通过Beeline或者JDBC客户端代码来连接它,从而执行SQL命令。 如果您需要了解JDBCServer的其他信息,请参见Spark官网:http://archive.apache.org/dist/spark/docs/3.3.1/sql-programming-guide
使用该功能需提前准备依赖文件。如果通过“指定路径”方式将依赖上传到集群,需提前创建HDFS路径,并将jar包上传至HDFS中。 上传依赖包 登录FusionInsight Manager,访问Flink WebUI,请参考访问FlinkServer WebUI界面。 单击“依赖管理”进入依赖管理页面。
ive表的访问等相关组件的权限时,需由admin(Manager管理员)用户进行授权,给提交作业用户赋予相关组件权限。 使用admin用户登录集群Manager界面。 参考管理MRS集群角色内容,增加用户具体需要的组件权限的角色。 参考管理MRS集群用户组修改提交作业用户所属的用
HBase应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 通过运行结果查看应用程序运行情况。 通过HBase日志获取应用程序运行情况。 登录HBase WebUI查看应用程序运行情况。可参见“更多信息 > 对外接口 > Web UI ”。 通过HBase shell命令查看应用程序运行情况。可参见“更多信息
ive”组,绑定角色“hive_hbase_create”,用于创建Hive表和HBase表。 请根据客户端所在位置,参考安装客户端章节,登录安装客户端的节点。 执行以下命令,配置环境变量。 source /opt/client/bigdata_env 执行以下命令,认证用户。 kinit
5版本的集群为例,组件包含Hadoop、Hive组件,集群开启Kerberos认证。 单击“立即购买”,等待MRS集群创建成功。 准备应用开发配置文件 集群创建成功后,登录FusionInsight Manager创建用于创建Hive数据表及提交HCatalog程序的集群用户。 选择“系统 > 权限 > 用户