检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Key构造成rdd,然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划 基于BulkPut接口使用章节创建的HBase表及其中的数据进行操作。 开发思路 创建包含了要删除的rowkey信息的RDD。 以HBas
rowKey构造成rdd,然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于BulkPut接口使用章节创建的HBase表及其中的数据进行操作。 开发思路 创建包含了要获取的rowkey信息的RDD。 以HBaseC
CarbonData表操作并发语法说明 DDL和DML中的操作,执行前,需要获取对应的锁,各操作需要获取锁的情况见表1 操作获取锁一览表,√表示需要获取该锁,一个操作仅在获取到所有需要获取的锁后,才能继续执行。 任意两个操作是否可以并发执行,可以通过如下方法确定:表1两行代表两个操作,这
MapReduce服务中的样例工程和应用开发没有区别,两者都可以选择。 MRS服务支持Python代码,部分提供了Python样例代码的组件样例工程可参考《开发指南》对应章节。 父主题: 应用开发类
的配置信息查找对应的ClickHouse实例节点。 database_name:数据库名称。 table_name:数据库下对应的本地表名称,用于将分布式表映射到本地表上。 sharding_key:分片键(可选参数),分布式表会按照这个规则,将数据分发到各个本地表中。 Distributed表引擎使用示例:
在“New Project”页面,选择“Scala”开发环境,并选择“IDEA”,然后单击“Next”。 如果您需要新建Java语言的工程,选择对应参数即可。 图2 选择开发环境 在工程信息页面,填写工程名称和存放路径,设置JDK版本、Scala SDK版本,然后单击“Finish”完成工程创建。
在“New Project”页面,选择“Scala”开发环境,并选择“IDEA”,然后单击“Next”。 如果您需要新建Java语言的工程,选择对应参数即可。 图2 选择开发环境 在工程信息页面,填写工程名称和存放路径,设置JDK版本、Scala SDK版本,然后单击“Finish”完成工程创建。
在“New Project”页面,选择“Scala”开发环境,并选择“IDEA”,然后单击“Next”。 如果您需要新建Java语言的工程,选择对应参数即可。 图2 选择开发环境 在工程信息页面,填写工程名称和存放路径,设置JDK版本、Scala SDK版本,然后单击“Finish”完成工程创建。
printStackTrace(); } } } } } 上述代码中各参数说明如表1所示: 表1 参数及参数说明 参数名称 参数说明 url jdbc:xxx://HSBroker1_IP:HSBroker1_Port,HSBr
每个block对应的机架信息组成为:/default/rack0/:,/default/rack0/datanodeip:port。 该问题是由于某个block块损坏或者丢失,导致该block对应的机器ip和port为空引起的,出现该问题的时候使用hdfs fsck检查对应文件块的健
在“New Project”页面,选择“Scala”开发环境,并选择“IDEA”,然后单击“Next”。 如果您需要新建Java语言的工程,选择对应参数即可。 图2 选择开发环境 在工程信息页面,填写工程名称和存放路径,设置JDK版本、Scala SDK版本,然后单击“Finish”完成工程创建。
test_db 回答 这种情况通常在试图对Hudi数据集执行Hive同步,但配置的hive_sync数据库不存在时发生。 请在您的Hive集群上创建对应的数据库后重试。 父主题: Hive同步
test_db 回答 这种情况通常在试图对Hudi数据集执行Hive同步,但配置的hive_sync数据库不存在时发生。 请在您的Hive集群上创建对应的数据库后重试。 父主题: Hudi故障处理
每个block对应的机架信息组成为:/default/rack0/:,/default/rack0/datanodeip:port。 该问题是由于某个block块损坏或者丢失,导致该block对应的机器ip和port为空引起的,出现该问题的时候使用hdfs fsck检查对应文件块的健
据业务调整对应SQL防御规则的参数。 前提条件 已安装包含ClickHouse服务的集群客户端,例如安装目录为“/opt/hadoopclient”。 ClickHouse逻辑集群运行状态正常。 对于开启了Kerberos认证的集群,需要创建具有ClickHouse表操作权限的业
登录Manager,选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 实例”,单击相应的quorumpeer实例名称,进入对应实例的详情页面,即可查看到该实例的“服务器状态”。 父主题: ZooKeeper常见问题
登录Manager,选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 实例”,单击相应的quorumpeer实例名称,进入对应实例的详情页面,即可查看到该实例的“服务器状态”。 父主题: ZooKeeper常见问题
配置Spark表、列和数据库的用户权限 操作场景 使用SparkSQL操作表或者数据库时,如果用户访问别人创建的表或数据库,需要授予对应的权限。为了实现更严格权限控制,SparkSQL也支持列级别的权限控制。如果要访问别人创建的表上某些列,需要授予列权限。以下介绍使用Manage
商用 - 2020年7月 序号 功能名称 功能描述 阶段 相关文档 1 新增获取指定目录文件列表接口 支持在MRS集群中通过接口获取指定目录文件列表。 商用 获取指定目录文件列表 2020年6月 序号 功能名称 功能描述 阶段 相关文档 1 支持自定义集群拓扑 MRS新增“自
本章节介绍创建Doris数据库样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQL语句在集群中创建dbName变量对应的数据库。 String createDatabaseSql = "create database if not exists " + dbName;