检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
timeouts 客户端与服务端建立Socket连接超时时,客户端的重试次数。 取值范围:1~256 45 ipc.client.connect.timeout 客户端与服务端建立socket连接的超时时间。增大该参数值,可以增加建立连接的超时时间。 单位:毫秒。取值范围:1~3600000
bulkload功能提示权限不足。 回答 创建租户的时候需要关联HBase服务和Yarn队列。 例如: 新建用户user并绑定租户同名的角色。 用户user需要使用bulkload功能还需要额外权限。 以下以用户user为例: 参见“批量导入数据”章节举例,以下是一些差异点。 将数据文件目录建在“/tmp”目录下,执行以下命令:
使用MRS客户端,MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 登录FusionInsight Manager页面,下载集群客户端软件包至主管理节点并解压,然后以root用户登录主管理节点,进入集群客户端解压路径下,复制“FusionInsight_Cluste
HBase HBase jar包冲突列表 Jar包名称 描述 hbase-client-2.2.3-*.jar 连接HBase服务必须的jar包。 zookeeper-*.jar 连接ZooKeeper服务必须的jar包。 解决方案 使用MRS集群的ZooKeeper包“zookeeper*
配置自定义rowkey实现 使用BulkLoad工具批量导入HBase数据时,支持用户自定义的组合rowkey实现。用户可编写rowkey实现代码,导入时根据该代码逻辑进行组合rowkey导入。 配置自定义rowkey实现步骤如下: 用户编写自定义rowkey的实现类,需要继承接口,该接口所在的Ja
重启Hive服务失败 用户问题 修改Hive服务配置后,保存配置失败,Manager页面Hive服务的配置状态为配置失败。 问题现象 用户A在MRS节点后台上打开了Hive相关配置文件且未关闭,此时用户B在MRS Manager页面的“服务管理”中修改Hive配置项,保存配置并重
创建HBase全局二级索引 场景介绍 在用户的表中预先存在大量数据的情况下,可以在某个列上添加索引。 对于未建立索引的用户表,该工具允许用户同时添加和构建索引。 创建HBase全局二级索引 在HBase客户端执行以下命令即可添加或创建索引,执行命令后,指定的索引将被添加到表中: hbase
bulkload功能提示权限不足。 回答 创建租户的时候需要关联HBase服务和Yarn队列。 例如: 新建用户user并绑定租户同名的角色。 用户user需要使用bulkload功能还需要额外权限。 以下以用户user为例: 参见“批量导入数据”章节举例,以下是一些差异点。 将数据文件目录建在“/tmp”目录下,执行以下命令:
如果只有小文件,确定不会有大文件的场景下,建议使用HBase的原始接口进行操作。 HFS接口需要同时对HBase和HDFS进行操作,所以客户端用户需要同时拥有这两个组件的操作权限。 直接存放在HDFS中的大文件,HFS在存储时会加入一些元数据信息,所以存储的文件不是直接等于原文件的。
参数:TableName 用户想要添加指定索引的表的名称 参数:TableIndices 要添加到表中的表索引 返回类型:void dropIndices(TableName tableName,List <String> list) 参数:TableName 用户想要删除索引的表的名称
查询可用区信息 功能介绍 在创建集群时,需要配置实例所在的可用区ID,可通过该接口查询可用区的ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{region_id}/available-zones 表1 路径参数 参数 是否必选 参数类型 描述 region_id
开启Kerberos认证的MRS集群提交Flink作业报错 用户问题 用户在开启Kerberos认证的MRS集群中提交Flink作业报错。 问题现象 用户提交Flink样例程序./flink run /opt/client/Flink/flink/examples/streaming/WordCount
执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时,出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示: 2016-10-19 01:33:34
read.threadpool.size”参数,修改该参数值为“0”。 单击“保存”保存配置。 单击“实例”,勾选所有RegionServer实例,选择“更多 > 滚动重启实例”,滚动重启RegionServer使配置生效。 父主题: HBase常见问题
new SparkContext(master, appName, [SparkHome], [jars]) 参数介绍: master:连接字符串,连接方式有local、yarn-cluster、yarn-client等。 appName:构建的Application名称。 Spar
/opt/huawei/Bigdata/tmp”。 当用户将"blob.storage.directory"配置选项设置成自定义目录时,需要手动赋予用户该目录的owner权限。以下以FusionInsight的admin用户为例。 修改Flink客户端配置文件conf/flink-conf
作业管理 MRS作业管理为用户提供向集群提交作业的入口,支持包括MapReduce、Spark、HQL和SparkSQL等类型的作业。 结合华为云数据治理中心DataArts Studio,提供一站式的大数据协同开发环境、全托管的大数据调度能力,帮助用户快速构建大数据处理中心。 通过数据治理中心DataArts
发现全新价值点和企业商机。 维护策略声明 MRS集群资源归属于用户,MRS提供基于该资源的半托管云服务能力,用户拥有对集群的完全控制权,默认情况下,云服务无权限对客户集群进行操作,集群日常运维管理由用户负责,如果在大数据集群运维过程中遇到了相关技术问题,可以联系技术支持团队获得帮
/opt/huawei/Bigdata/tmp”。 当用户将"blob.storage.directory"配置选项设置成自定义目录时,需要手动赋予用户该目录的owner权限。以下以FusionInsight的admin用户为例。 修改Flink客户端配置文件conf/flink-conf
执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时,出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示: 2016-10-19 01:33:34