检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调测IoTDB应用 在本地Windows环境中调测IoTDB应用 在Linux中调测JDBC或Session应用 在Flink WebUI和Linux中调测Flink应用 在Linux环境中调测Kafka应用 在IoTDBServer节点调测UDF应用 父主题: IoTDB开发指南(普通模式)
创建FlinkServer应用 通过应用来隔离不同的上层业务。 使用具有FlinkServer管理员权限的用户访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 应用管理”,进入应用管理页面。 单击“创建应用”,在弹出的页面中填写应用信息,单击“确定”,完成应用创建。
er模式设置的应用名不生效。 解决措施: 在spark-submit脚本提交任务时用--name设置应用名和sparkconf.setAppName(appname)里面的应用名一样。 比如代码里设置的应用名为Spark Pi,用yarn-cluster模式提交应用时可以这样设置
入参位置一一对应。 Result get(Get get) 通过指定的rowkey读取数据。 Result[] get(List<Get> gets) 通过指定一批rowkey的方式批量读取数据。 ResultScanner getScanner(Scan scan) 获取该表的
Spark读取HBase表样例程序 操作Avro格式数据 操作HBase数据源 BulkPut接口使用 BulkGet接口使用 BulkDelete接口使用 BulkLoad接口使用 foreachPartition接口使用 分布式Scan HBase表 mapPartitions接口使用
获取用户定义的多个元素的数据,作为输入流数据。 data是多个元素的具体数据。 def fromCollection[T: TypeInformation](data: Seq[T]): DataStream[T] 获取用户定义的集合数据,作为输入流数据。 data可以是集合数据或者可迭代的数据体。
Scala样例代码 功能介绍 在Spark应用中,通过使用Streaming调用kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示,具体代码参见:com
foreachPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划 在客户端执行:hbase shell命令进入HBase命令行。
BulkLoad接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile文件导入HBase表的
基于Python3的Hive样例程序 功能介绍 本章节介绍如何使用Python3连接Hive执行数据分析任务。 样例代码 安全模式连接Hive前需要使用集群客户端进行认证,使用kinit命令认证相应权限的Kerberos用户,认证后执行分析任务示例在“hive-examples/
场景说明 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 数据规划 StructuredStreaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户)。
er模式设置的应用名不生效。 解决措施: 在spark-submit脚本提交任务时用--name设置应用名和sparkconf.setAppName(appname)里面的应用名一样。 比如代码里设置的应用名为Spark Pi,用yarn-cluster模式提交应用时可以这样设置
er模式设置的应用名不生效。 解决措施: 在spark-submit脚本提交任务时用--name设置应用名和sparkconf.setAppName(appname)里面的应用名一样。 比如代码里设置的应用名为Spark Pi,用yarn-cluster模式提交应用时可以这样设置
数据表报错Too many parts解决方法 问题排查步骤 磁盘或其他存储介质问题导致merge过慢或者中止。 登录Manager页面,检查是否存在磁盘容量不足或其他磁盘告警,如果存在,请按照告警指导处理。 如果是磁盘容量不足,也可以联系客户删除部分过期数据,释放空间,快速恢复业务。
Flink Join样例程序(Java) 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入kafka-clients-*.jar,该jar包可在client目录下获取。
HBase全局二级索引样例程序开发思路 创建HBase全局二级索引 查询HBase全局二级索引信息 基于全局二级索引查询HBase表数据 禁用HBase全局二级索引 删除HBase全局二级索引 父主题: 开发HBase应用
Flink Stream SQL Join Java样例代码 功能简介 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka,则需要引入MRS的kafka-client-xx.x.x.jar,该jar包可在MRS
区字段为入职时间。 创建表代码实现请见创建Hive表。 加载雇员信息数据到雇员信息表“employees_info”中。 加载数据代码实现请见加载数据到Hive表中。 雇员信息数据如表1所示: 表1 雇员信息数据 编号 姓名 支付薪水币种 薪水金额 缴税税种 工作地 入职时间 1
运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 问题现象 已经拥有Topic访问权限,但是运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata for
运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 问题现象 已经拥有Topic访问权限,但是运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata for