检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击HBase,进入“HBase Browser”页面。 新建HBase表 访问Hue WebUI。 单击HBase,进入“HBase Browser”页面。 单击右侧“新建表”按钮,输入表名和列族参数,单击“提交”,完成HBase表创建。 图1 新建表 查询HBase表数据 访问Hue WebUI。 单击HBase,进入“HBase
如果批量初始化前表里已经存在数据且没有truncate table,则会导致批量数据写成非常大的log文件,对后续compaction形成很大压力需要更多资源才能完成 Hudi表在Hive元数据中,应该会存在1张内部表(手动创建),2张外部表(写入数据后自动创建)。 2张外部表,表名_ro
s-word001/table/目录中创建表test。 create table test(id int) location 'obs://mrs-word001/table/'; 执行如下命令查询所有表,返回结果中存在表test,即表示访问OBS成功。 show tables;
'\n', kafka_handle_error_mode='stream'; 相关参数说明如下表: 参数 参数说明 kafka_broker_list Kafka集群Broker实例的IP和端口列表。例如:kafka集群broker实例IP1:9092,kafka集群broker实例IP2:9092
的配置文件用scp命令拷贝到Master2节点对应目录替换原文件。 执行chown omm:wheel mapred-site.xml命令更改所属组和用户。 在Manager界面重启故障的HiveServer和WebHCat进程,恢复正常。 父主题: 使用Hive
情请参考访问MRS集群Manager。 如果队列需要清除与某个资源池的绑定关系,该资源池不能作为队列的默认资源池,需要先将队列的默认资源池更改为其他资源池,请参见配置MRS租户队列。 清除队列配置 进入资源分布策略页面。 Manager页面: MRS 3.x及之后版本:在Manager页面,选择“租户资源
Hive表的HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错 问题 Hive表HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错。 回答 这是一种误操作的异常情况,需要手动删除对应表的元数据后重试。 例如: 执行以下命令进入控制台: source ${BIG
Spark从Hive读取数据再写入HBase样例程序(Python) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现。 下面代
Spark从Hive读取数据再写入HBase样例程序(Python) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现。 下面代
作业浏览器显示的数字表示集群中所有作业的总数。 “作业浏览器”将显示作业以下信息: 表1 MRS作业属性介绍 属性名 描述 名称 表示作业的名称。 用户 表示启动该作业的用户。 类型 表示作业的类型。 状态 表示作业的状态,包含“成功”、“正在运行”、“失败”。 进度 表示作业运行进度。
回滚savepoint call rollback_to_savepoint('hudi_test1', '20220908155421949'); MoR表暂时不支持savepoint。 父主题: 数据管理维护
的WebUI界面,并对当前用户的SQL有查询和运维的权限。 启用了Ranger鉴权时,如果用户创建后需要继续为用户配置操作数据源的数据库、表、列的管理权限,请参考添加HetuEngine的Ranger访问权限策略。 在使用HetuEngine服务请确保已提前规划并创建HetuEngine用户待关联的租户。
data_type) stored as orc tblproperties ("orc.compress"="ZLIB"); xx为具体使用的Hive表名。 父主题: Hive性能调优
a AND b OR 两个值其中一个为true,则为true a OR b NOT 值为false,结果则为true NOT a 以下真值表反映了AND和OR如何处理NULL值: a b a AND b a OR b TRUE TRUE TRUE TRUE TRUE FALSE FALSE
xml”添加自定义参数,设置“名称”为“hive.overwrite.directory.move.trash”,“值”为“true”,修改后重启所有Hive实例。 父主题: Hive企业级能力增强
kadmin/admin 3.x及之后版本默认密码:Admin@123。3.x之前版本默认密码:KAdmin@123。 首次登录后会提示该密码过期,请按照提示修改密码并妥善保存。 执行以下命令 ,查看被锁用户数据密码错误次数“Failed password attempts”参数值是否大于或等于5,如果是,则证明账户被锁。
角色”,添加一个拥有Hive管理员权限的角色。 在FusionInsight Manager页面,选择“系统 > 权限 > 用户 ”。 在指定用户对应的“操作”列单击“修改”。 为用户绑定拥有Hive管理员权限的角色,并单击“确定”完成权限添加。 父主题: 使用Hive
服务配置”,将“参数类别”设置为“全部配置”。 搜索并查看“dfs.storage.policy.enabled”的参数值是否为“true”,如果不是,修改为“true”,并单击“保存配置”,重启HDFS。 查看代码。 如下是代码片段,详细代码请参考com.huawei.bigdata.hdfs
storeKey=true debug=true; }; “jaas-zk.conf”配置文件中“keyTab”的路径需根据实际的路径修改。 例如: Windows路径:“D:\\hetu-examples\\hetu-examples-security\\src\\main\\resources\\user
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */