检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HetuEngine常用数据源语法兼容性说明 语法 Hive MPPDB Elasticsearch HBase HetuEngine(跨域) ClickHouse Hudi MySQL 数据库的show schemas Y Y Y Y Y Y Y Y 数据库的create schema
为什么drop数据库发生Missing Privileges异常? 问题 为什么drop数据库发生以下异常? Error: org.apache.spark.sql.AnalysisException: Missing Privileges;(State=,code=0) 回答 当数据库的所有者执行drop
Spark DAG设计规范说明 操作场景 合理的设计程序结构,可以优化执行效率。在程序编写过程中要尽量减少shuffle操作,合并窄依赖操作。 操作步骤 以“同行车判断”例子讲解DAG设计的思路。 数据格式:通过收费站时间、车牌号、收费站编号...... 逻辑:以下两种情况下判定这两辆车是同行车:
ZooKeeper服务端与客户端(ZKFC)通信时所使用的session不一致,ZooKeeper服务端的sessionId为0x164cb2b3e4b36ae4,ZKFC的sessionId为0x144cb2b3e4b36ae4。这意味着ZooKeeper服务端与客户端(ZKFC)之间数据交互失败。
Kafka样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Kafka相关样例工程:
Kafka样例工程简介 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Kafka相关样例工程:
场景说明 场景说明 假定用户有某个周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Spark应用程序实现如下功能: 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“
Spark Streaming程序 场景说明 Java样例代码 Scala样例代码 父主题: 开发Spark应用
创建Storm Bolt 功能介绍 所有的消息处理逻辑都被封装在各个Bolt中。Bolt包含多种功能:过滤、聚合等。 如果Bolt之后还有其他拓扑算子,可以使用OutputFieldsDeclarer.declareStream定义Stream,使用OutputCollector
Stream SQL Join程序 Flink Stream SQL Join应用开发思路 Flink Stream SQL Join Java样例代码 父主题: 开发Flink应用
添加Manager用户 功能介绍 通过访问Manager接口完成添加用户。 代码样例 以下代码片段是添加用户的示例,在“rest”包的“UserManager”类的main方法中。 //访问Manager接口完成添加用户 operationName = "AddUser";
查找Manager用户 功能简介 通过访问Manager接口完成查找用户。 代码样例 以下代码片段是查找用户的示例,在“rest”包的“UserManager”类的main方法中。 //访问Manager接口完成查找用户列表 operationName =
删除Manager用户 功能简介 通过访问Manager接口完成删除用户。 代码样例 以下代码片段是删除用户的示例,在“rest”包的“UserManager”类的main方法中。 //访问Manager接口完成删除用户 operationName
Oozie样例代码说明 job.properties workflow.xml Start Action End Action Kill Action FS Action MapReduce Action coordinator.xml 父主题: 开发Oozie应用
Flink Kafka样例程序 Flink Kafka样例程序开发思路 Flink Kafka样例程序(Java) Flink Kafka样例程序(Scala) 父主题: 开发Flink应用
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为: 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后,需关闭所申请资源。 代码样例 如下是读文件的代码片段,详细代码请参考com.huawei
创建HDFS多线程任务 功能简介 建立多线程任务,同时启动多个实例执行文件操作。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 // 业务示例2:多线程 final int THREAD_COUNT
HetuEngine样例程序(Java) 通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 通
UPDATE 语法 UPDATE tablename SET column = value [, column = value ...] [WHERE expression] 描述 根据条件更新表数据。 限制 仅支持orc格式的事务表,并且不能为external Table。 不支持set(column_name1
DESCRIBE 语法 DESCRIBE [EXTENDED| FORMATTED] table_name DESCRIBE [EXTENDED| FORMATTED] table_name PARTITION (partition_spec) 描述 查看指定表的元数据信息。该语