检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“false”，表示关闭压缩。 true 单击“保存并运行”，开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面，待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题： 创建Loader数据导出作业
选择“false”，表示关闭压缩。 true 单击“保存并运行”，开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面，待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题： 数据导出
确认本地环境网络正常。 打开浏览器访问：华为提供开源镜像站（网址为https://mirrors.huaweicloud.com/），查看网站是否能正常访问。如果访问异常，请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。 比如以2020
选择“false”，表示关闭压缩。 true 单击“保存并运行”，开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面，待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题： 创建Loader数据导出作业
在“脏数据目录”填写一个脏数据的保存位置，例如“/user/sqoop/obs2hdfs-dd”。 单击“保存并运行”。 在“管理作业界面”，查看作业运行结果。可以单击“刷新列表”获取作业的最新状态。 父主题： 使用Loader
Spark从Hive读取数据再写入HBase样例程序（Python） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。
Spark应用开发常见问题 Spark接口介绍 Spark应用调优 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出
Iceberg Iceberg原理介绍 Iceberg是一种开放的数据湖表格式，可以基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。 Iceberg当前为公测阶段，若需使用需联系技术支持申请白名单开通。 当前版本Iceberg仅支持Spark引擎，如需使用其他引擎构建数据湖服务，请使用Hudi。
ght Manager（MRS 3.x及之后版本）。然后选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”。 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况，准备好客户端，登录安装客户端的节点。
ive/hadoop.<系统域名>@<系统域名>" 执行命令时将“10.5.159.13”替换为任意一个ZooKeeper实例的IP地址，查找方式为“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 实例”。 “zooKeeperNamespace=”后面的“hi
服务 > Oozie > 实例”，即可获取任一oozie实例的IP地址；单击“配置”，在搜索框中搜索“OOZIE_HTTPS_PORT”，即可查看使用的端口号。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文
/src/main/resources com.huawei.bigdata.iotdb.KafkaConsumerMultThread 查看调测结果 运行结果会有如下成功信息： 父主题： 调测IoTDB应用
通过IntelliJ IDEA可直接运行Producer.java，如图1所示： 图1 运行Producer.java 运行后弹出控制台窗口，可以查看到Producer正在向默认Topic（example-metric1）发送消息，每发送10条，打印一条日志。 图2 Producer运行窗口
filetype 指定当前工具要解析哪种格式的数据文件，目前仅支持orc、rc（RCFile）、parquet三种格式。 rc格式目前只支持查看数据。 -c 打印当前元信息中列的信息。 列信息包含类名、类型、序号。 -d 打印数据文件中的数据，可通过“'limit=x'”限制数据量。
通过IntelliJ IDEA可直接运行Producer.java，如图1所示： 图1 运行Producer.java 运行后弹出控制台窗口，可以查看到Producer正在向默认Topic（example-metric1）发送消息，每发送10条，打印一条日志。 图2 Producer运行窗口
JDBCExample为举例，具体以实际样例代码为准。 执行run.sh脚本，运行Jar包。 sh /opt/client/IoTDB/iotdb/run.sh 查看调测结果 运行结果会有如下成功信息： 图3 运行结果 父主题： 调测IoTDB应用
/src/main/resources com.huawei.bigdata.iotdb.KafkaConsumerMultThread 查看调测结果 运行结果会有如下成功信息： 父主题： 调测IoTDB应用
r2的地址连接。 hiveserver2服务的主机名可以在Manager界面选择“集群 > 服务 > Hive > 实例”，在“实例”界面查看“HiveServer”的“主机名称”获取。 父主题： Hive应用开发常见问题
可以勾选“同时重启上层服务。”一次性重启所有影响组件，期间将导致影响服务不可用，谨慎使用。 单击“确定”，等待服务重启成功。 选择“集群 > 主备集群容灾”，查看当前集群是否配置了主备容灾。 是，执行7。 否，操作结束。 主集群与容灾集群内ZooKeeper服务的“ssl.enabled”配置需保持
Spark从HBase读取数据再写入HBase样例程序（Python） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 由于pyspark不提供Hbase相关ap
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
