检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
级的数据。 如数量在一定范围内需要显示,请调整hive客户端的jvm参数, 在hive客户端目录/Hive下的component_env中添加export HIVE_OPTS=-Xmx1024M(具体数值请根据业务调整),并重新执行source 客户端目录/bigdata_env配置环境变量。
在“集群管理”页面单击待操作集群对应“操作”列的“作业管理”。 在“连接管理”页签,单击“新建连接”。 参考CDM服务的新建连接页面,分别添加到迁移源端集群和迁移目的端集群的两个HDFS连接。 连接类型根据实际集群来选择,如果是MRS集群,连接器类型可以选择“MRS HDFS”,如果是自建集群可以选择“Apache
“GC_OPTS”参数中“-XX:MaxDirectMemorySize”默认没有配置,如需配置,用户可在“GC_OPTS”参数中自定义添加。 Put相关参数 RegionServer处理Put请求的数据,会将数据写入MemStore和HLog: 当MemStore大小达到设置的“hbase
the tree definition Example values for [kind]: metrics, tagk (tag name), tagv (tag value). --config=PATH Path to a configuration file (default:
-MEASURES [可选]:指定匹配成功的事件的属性值。 -ONE ROW PER MATCH | ALL ROWS PER MATCH [可选]:定义如何输出结果。ONE ROW PER MATCH表示每次匹配只输出一行,ALL ROWS PER MATCH表示每次匹配的每一个事件输出一行。
单击sparksql文件系统名称,并选择“文件”。 单击“新建文件夹”,创建input文件夹。 进入input文件夹,单击“上传文件 > 添加文件”,选择本地的txt文件,然后单击“上传”。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 将OBS中的txt文件导入至HDFS中。
com.huawei.bigdata.hdfs.examples包的“ColocationExample”类样例程序不仅需要基础安全认证,还需要添加ZooKeeper服务端Principal才能完成安全认证。示例代码如下: ... private static final String
Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”。搜索参数项“clickhouse-config-customize”添加名称为“mysql_port”,值为“9004”的参数值。 参数值可以自行设置。 修改完成后,单击“保存”。 单击“概览”页签,选择“ 更多
运行Hive客户端命令,实现A业务。 内部表操作 执行以下命令登录Hive客户端命令行: beeline 根据表1创建用户信息表user_info并添加相关数据,例如: create table user_info(id string,name string,gender string,age
配置 > 全部配置 > HMaster(角色) > 自定义”,在“hbase.hmaster.config.expandor”自定义参数中添加配置“hbase.status.multicast.ni.name”,值为挂载业务IP的网卡名称。 使用客户端安装用户登录安装了HBase客户端的节点。
sight Manager创建的角色中关于该组件的权限将失效(HDFS与Yarn的组件ACL规则仍将生效),用户需通过Ranger管理界面添加策略进行资源的赋权。 Ranger的权限模型由多条权限策略组成,权限策略主要由以下几方面组成: 资源 组件所提供的可由用户访问的对象,例如
新Partition数目建议配置为Kafka数据磁盘数量的倍数。 当前步骤修改可能不会很快解决当前告警,需要结合数据保存时间逐渐均衡数据。 考虑是否需要扩容。 是,请为集群添加节点,然后执行17。 否,执行17。 等待一段时间,检查告警是否清除。 是,操作结束。 否,执行18。 收集故障信息。 在MRS Manager界面,单击“系统设置
删除用户绑定的supergroup用户组 删除supergroup用户组会导致相关用户权限变小,影响业务访问。 修改前确认需要添加的权限,确保用户绑定的supergroup权限删除前,相关权限已经添加,不会对业务造成影响。 重启、停止服务 重启过程中会中断服务,如果勾选同时重启上层服务会导致依赖该服务的上层服务中断。
如果当前客户端为旧版本,需要重新下载和安装客户端。 已创建或获取访问Oozie服务的人机用户账号及密码。 该用户需要从属于hadoop、supergroup、hive组,同时添加Oozie的角色操作权限。如果使用Hive多实例,该用户还需要从属于具体的Hive实例组,如hive3。 用户同时还需要至少有manager_viewer权限的角色。
already cancelled问题 解决实例配置页面无单位转换问题 解决相同AZ下,扩容的节点返回的AZ有误问题 解决[YARN-10854]问题 添加自定义的超时推测机制 使hive.mapreduce.per.task.max.splits适用于Tez GetSplit的listStatus优化
格式数据。 语法介绍 创建Stream Load导入任务 Stream Load通过HTTP协议提交和传输数据。该操作通过curl命令演示如何提交导入,也可以使用其他HTTP Client进行操作。 集群已启用Kerberos认证(安全模式): curl -k --location-trusted
K_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX:OnOutOfMemoryError='kill -9 %p' 父主题: Spark应用开发常见问题
K_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX:OnOutOfMemoryError='kill -9 %p' 父主题: Spark应用开发常见问题
K_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX:OnOutOfMemoryError='kill -9 %p' 父主题: Spark应用开发常见问题
使用spark-submit或者spark-sql运行SQL语句,执行3。 使用spark-beeline运行SQL语句,执行4。 执行SQL语句时,需要添加参数“--driver-memory”,设置内存大小,例如: /spark-sql --master=local[4] --driver-memory=512M