检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一致性。 目前HBase双读功能仅用于查询。主集群宕机时,最新数据无法同步,备集群可能查询不到最新数据。 HBase的Scan操作可能分解为多次RPC。由于相关session信息在不同集群间不同步,数据不能保证完全一致,因此双读只在第一次RPC时生效,ResultScanner
不输出至taskmanager.log,无法使用Web页面进行查看相应日志信息。 修改客户端的配置文件“conf/logback.xml”,在文件中添加如下日志配置信息,加粗标注部分根据需要进行修改。 <appender name="TEST" class="ch.qos
不输出至taskmanager.log,无法使用Web页面进行查看相应日志信息。 修改客户端的配置文件“conf/logback.xml”,在文件中添加如下日志配置信息,加粗标注部分根据需要进行修改。 <appender name="TEST" class="ch.qos
SQL任务章节,获取“user.keytab”和“krb5.conf”文件,并放置到自定义目录中。 编辑样例代码,根据集群实际情况修改url、user、password等信息,并根据实际路径修改“jdbc_location”。 Windows系统路径填写示例:"D:\\hetu-examples-py
自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 父主题: MRS集群补丁说明
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
commits + 20 执行compaction后再执行clean和archive,由于clean和archivelog对资源要求较小,为避免资源浪费,使用DataArts调度的话可以compaction作为一个任务,clean、archive作为一个任务分别配置不同的资源执行来节省资源使用。
索引表数据的rowkey由索引列构成,并且包含分隔符,格式为“\x01索引值\x00”,因此预分区需要指定成对应格式,例如,当使用id列和age列作为索引列时,两个列均为整数,使用id列完成预分区,可以指定索引表预分区点为: \x010,\x011,\x012.... 代码样例 以下代码片段在com
一致性。 目前HBase双读功能仅用于查询。主集群宕机时,最新数据无法同步,备集群可能查询不到最新数据。 HBase的Scan操作可能分解为多次RPC。由于相关session信息在不同集群间不同步,数据不能保证完全一致,因此双读只在第一次RPC时生效,ResultScanner
开启Guardian组件对接OBS开关并配置组件。 修改Guardian服务相关配置参数,配置IAM委托认证信息。 配置组件数据回收站目录的清理策略。 在存算分离场景下,对接OBS的组件默认开启了数据防误删功能,用户删除数据时,被删除对象会移动至用户对应的回收站目录内,用户需要在OBS文件系统中为对应的目录配置生命周期策略,以避免存储空间被占满的风险。
number”配置项,调大服务在ZooKeeper上的顶层目录的数量配额,单击“保存”。 如果告警对应的顶级Znode服务组件为ClickHouse,则请修改“clickhouse.zookeeper.quota.node.count”参数的配置项。 观察界面告警是否清除。 是,处理完毕。
使用Spark执行Hudi样例程序(Scala) 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。 插入数据: def insertData(spark: SparkSession
使用Spark执行Hudi样例程序(Scala) 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。 插入数据: def insertData(spark: SparkSession
自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 父主题: MRS集群补丁说明
Privileges”Hive表的读写权限,此时显示列Hive中的所有数据库。 勾选角色需要的权限并单击“确定”完成角色创建。 在MRS Manager页面,选择“系统配置 > 用户管理”。 在已创建的新用户对应的“操作”列单击“修改”。 单击“选择添加的用户组”,如需使用Hive服务,必须添加Hive组。
索引表数据的rowkey由索引列构成,并且包含分隔符,格式为“\x01索引值\x00”,因此预分区需要指定成对应格式,例如,当使用id列和age列作为索引列时,两个列均为整数,使用id列完成预分区,可以指定索引表预分区点为: \x010,\x011,\x012.... 代码样例 以下代码片段在com
ap任务多条键值对进行处理,决定并行启动的map任务数目。MapReduce框架根据用户指定的OutputFormat,把生成的键值对输出为特定格式的数据。 map、reduce两个阶段都处理在<key,value>键值对上,也就是说,框架把作业的输入作为一组<key,value>键值对,同样也产出一组<key
> 域和互信”,查看“本端域”参数值获取。 zookeeper.sasl.client:如果集群是安全模式,该值设置为“true”,否则设置为“false”,设置为“false”的情况下,“zookeeper.sasl.clientconfig”和“zookeeper.server
TABLESAMPLE 有BERNOULLI和SYSTEM两种采样方法。 这两种采样方法都不允许限制结果集返回的行数。 BERNOULLI 每一行都将基于指定的采样率选择到采样表中。当使用Bernoulli方法对表进行采样时,将扫描表的所有物理块并跳过某些行(基于采样百分比和运行
Kafka角色实例所在节点IP地址,填写Broker角色实例其中任意一个的IP地址即可。 如果集群启用Kerberos认证,则端口需要修改为“21007”。 默认情况下,ZooKeeper的“clientPort”为“2181”。 父主题: 管理Kafka Topic