检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager的主管理节点后才能使用客户端。 操作步骤 在主管理节点使用客户端。 安装客户端,具体请参考安装客户端章节。 以客户端安装用户登录客户端安装节点,执行以下命令切换到客户端目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
information表示记录系统及各事件正常运行状态信息。 debug debug表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight Manager系统。 选择“集群 > 服务 > ClickHouse > 配置”。 单击“全部配置”。 左边菜
变更计费模式概述 在购买MRS集群后,如果发现当前计费模式无法满足业务需求,您可以变更集群的计费模式,对应的IaaS基础设施资源费用同步变更。MRS仅支持将按需计费集群转为包年/包月集群,支持该变更计费模式的MRS计费项如表1所示。将MRS集群的计费模式从按需计费转为包年/包月,可以让您享受一定程度的价格优惠。
STRING); Impala使用OBS存储。 需要在集群管理页面Manager里面设置指定的参数到“core-site.xml”,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret.key=SK; fs
jar com.huawei.storm.example.hdfs.SimpleHDFSTopology hdfs-test 拓扑提交成功后请登录HDFS集群查看。 父主题: Storm应用开发常见问题
STRING); Impala使用OBS存储。 需要在集群管理页面Manager里面设置指定的参数到“core-site.xml”,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret.key=SK; fs
已根据业务需要创建具有相应权限的组件业务用户。“机机”用户需要下载keytab文件,“人机”用户第一次登录时需修改密码。 使用HIndexImportTsv批量生成HBase本地二级索引数据 以客户端安装用户登录安装了客户端的节点。 执行以下命令配置环境变量并认证用户: cd 客户端安装目录 source
相应的表,若不存在需要手动建表,HBase shell建表语句如下create 'WordCount', 'cf'。 拓扑提交成功后请自行登录HBase集群查看。 父主题: Storm应用开发常见问题
Impala使用OBS存储。 需要在集群管理页面MRS Manager里面设置指定的参数到core-site.xml,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret.key=SK; fs
使用CDM服务迁移MySQL数据至MRS Hive 应用场景 MapReduce服务(MapReduce Service,简称MRS)提供企业级大数据集群云服务,里面包含HDFS、Hive、Spark等组件,适用于企业海量数据分析。 其中Hive提供类SQL查询语言,帮助用户对大
已根据业务需要创建具有相应权限的组件业务用户。“机机”用户需要下载keytab文件,“人机”用户第一次登录时需修改密码。 使用HIndexImportTsv批量生成HBase本地二级索引数据 以客户端安装用户登录安装了客户端的节点。 执行以下命令配置环境变量并认证用户: cd 客户端安装目录 source
value string) stored as RCFile; HIVE使用OBS存储。 需要在beeline里面设置指定的参数,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 set fs.obs.access.key=AK; set fs.obs.secret.key=SK;
准备本地应用开发环境 选择Windows开发环境下,安装Eclipse,安装JDK。 JDK使用1.8版本,Eclipse使用4.3.2及以上版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle
itions替代repartition与sort类操作。 repartitionAndSortWithinPartitions是Spark官网推荐的一个算子,官方建议,如果需要在 repartition重分区之后,还要进行排序,建议直接使用repartitionAndSortWithinPartitions
获取MRS集群主机列表接口时提示用户无权限 用户问题 使用AK/SK获取MRS集群主机列表/v1.1/<project_id>/clusters/<cluster_id>/hosts接口时,提示用户无权限“User do not have right to access cluster”。
在Windows中调测Impala JDBC应用 运行样例。 导入和修改样例后,即可在开发环境中,右击“ExampleMain.java”,选择“ExampleMain.main()”运行对应的应用程序工程。 使用Windows访问MRS集群来操作Impala,有如下两种方式。
在Windows中调测Impala JDBC应用 运行样例。 导入和修改样例后,即可在开发环境中,右击“JDBCExample.java”,选择“Run 'JDBCExample.main()'”运行对应的应用程序工程。 使用Windows访问MRS集群来操作Impala,有如下两种方式。
DROP、TRUNCATE、DELETE、INSERT OVERWRITE、LOAD OVERWRITE操作权限的用户。 配置OBS目录生命周期规则 登录OBS控制台。 选择“并行文件系统”,单击当前MRS集群使用的文件系统名称。 选择“基础配置 > 生命周期规则”,单击“创建”,创建指定目
hbase_creates_user”配置“Create”权限,具体操作可参考添加Hive的Ranger访问权限策略。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,配置环境变量。 source /opt/client/bigdata_env 执行以下命令,认证用户。 kinit
HDFS常用配置参数 参数入口 请参考修改集群服务配置参数进入HDFS服务配置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值: com.huawei.mrs.