检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JDBCExample为举例，具体以实际样例代码为准。 执行run.sh脚本，运行Jar包。 sh /opt/client/IoTDB/iotdb/run.sh 查看调测结果 运行结果会有如下成功信息： 图3 运行结果 父主题： 调测IoTDB应用
/src/main/resources com.huawei.bigdata.iotdb.KafkaConsumerMultThread 查看调测结果 运行结果会有如下成功信息： 父主题： 调测IoTDB应用
可以勾选“同时重启上层服务。”一次性重启所有影响组件，期间将导致影响服务不可用，谨慎使用。 单击“确定”，等待服务重启成功。 选择“集群 > 主备集群容灾”，查看当前集群是否配置了主备容灾。 是，执行7。 否，操作结束。 主集群与容灾集群内ZooKeeper服务的“ssl.enabled”配置需保持
Spark从Hive读取数据再写入HBase样例程序（Scala） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
服务 > Oozie > 实例”，即可获取任一oozie实例的IP地址；单击“配置”，在搜索框中搜索“OOZIE_HTTPS_PORT”，即可查看使用的端口号。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文
通过IntelliJ IDEA可直接运行Producer.java，如图1所示： 图1 运行Producer.java 运行后弹出控制台窗口，可以查看到Producer正在向默认Topic（example-metric1）发送消息，每发送10条，打印一条日志。 图2 Producer运行窗口
/src/main/resources com.huawei.bigdata.iotdb.KafkaConsumerMultThread 查看调测结果 运行结果会有如下成功信息： 父主题： 调测IoTDB应用
filetype 指定当前工具要解析哪种格式的数据文件，目前仅支持orc、rc（RCFile）、parquet三种格式。 rc格式目前只支持查看数据。 -c 打印当前元信息中列的信息。 列信息包含类名、类型、序号。 -d 打印数据文件中的数据，可通过“'limit=x'”限制数据量。
ive/hadoop.<系统域名>@<系统域名>" 执行命令时将“10.5.159.13”替换为任意一个ZooKeeper实例的IP地址，查找方式为“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 实例”。 “zooKeeperNamespace=”后面的“hi
服务 > Oozie > 实例”，即可获取任一oozie实例的IP地址；单击“配置”，在搜索框中搜索“OOZIE_HTTPS_PORT”，即可查看使用的端口号。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文
面。 如果是已经添加到任务里面，但是依旧没有取到，可能是因为配置文件的driver或者executor的classpath配置不正确，可以查看日志确认是否加载到环境。 另外可能报错是类初始化失败导致后面使用这个类的时候出现上述报错，需要确认是否在之前就有初始化失败或者其他报错的情况发生。
spark-archive-2x-x86.zip x86/* zip -qDj spark-archive-2x-arm.zip arm/* 执行以下命令查看hdfs上的spark2x依赖的jar包： hdfs dfs -ls /user/spark2x/jars/8.1.0.1 8.1.0.1是版本号，不同版本不同。
spark-archive-2x-x86.zip x86/* zip -qDj spark-archive-2x-arm.zip arm/* 执行以下命令查看hdfs上的spark2x依赖的jar包： hdfs dfs -ls /user/spark2x/jars/8.1.0.1 8.1.0.1是版本号，不同版本不同。
面。 如果是已经添加到任务里面，但是依旧没有取到，可能是因为配置文件的driver或者executor的classpath配置不正确，可以查看日志确认是否加载到环境。 另外可能报错是类初始化失败导致后面使用这个类的时候出现上述报错，需要确认是否在之前就有初始化失败或者其他报错的情况发生。
Spark从Hive读取数据再写入HBase样例程序（Python） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。
Iceberg Iceberg原理介绍 Iceberg是一种开放的数据湖表格式，可以基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。 Iceberg当前为公测阶段，若需使用需联系技术支持申请白名单开通。 当前版本Iceberg仅支持Spark引擎，如需使用其他引擎构建数据湖服务，请使用Hudi。
Spark应用开发常见问题 Spark接口介绍 Spark应用调优 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出
通过IntelliJ IDEA可直接运行Producer.java，如图1所示： 图1 运行Producer.java 运行后弹出控制台窗口，可以查看到Producer正在向默认Topic（example-metric1）发送消息，每发送10条，打印一条日志。 图2 Producer运行窗口
r2的地址连接。 hiveserver2服务的主机名可以在Manager界面选择“集群 > 服务 > Hive > 实例”，在“实例”界面查看“HiveServer”的“主机名称”获取。 在运行样例代码前，需要将样例代码中的PRNCIPAL_NAME改为安全认证的用户名。 父主题：
持默认即可。 单击“立即购买”，确认配置信息，并单击“提交”。 创建完成后，在“负载均衡器”界面，选择对应的区域即可看到新建的负载均衡器。查看并获取该负载均衡器的私有IP地址。 添加ELB监听器 详细操作步骤请参考添加监听器。 在“负载均衡器”界面，单击需要添加监听器的负载均衡名称。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
