检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建HBase表: create 'hbase_test','f1','f2'; 配置“HBase输出”算子,如下图: 作业执行成功后,查看hbase_test表中数据: 父主题: 输出算子
启动调试。 在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口,接着开始SparkPi的调试,比如单步调试、查看调用栈、跟踪变量值等,如图5所示。 图5 调试 父主题: Spark应用开发常见问题
启动调试。 在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口,接着开始SparkPi的调试,比如单步调试、查看调用栈、跟踪变量值等,如图5所示。 图5 调试 父主题: Spark应用开发常见问题
确认本地环境网络正常。 打开浏览器访问:华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。 比如以2020
ght Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”。 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,登录安装客户端的节点。
服务 > Oozie > 实例”,即可获取任一oozie实例的IP地址;单击“配置”,在搜索框中搜索“OOZIE_HTTPS_PORT”,即可查看使用的端口号。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文
通过IntelliJ IDEA可直接运行Producer.java,如图1所示: 图1 运行Producer.java 运行后弹出控制台窗口,可以查看到Producer正在向默认Topic(example-metric1)发送消息,每发送10条,打印一条日志。 图2 Producer运行窗口
filetype 指定当前工具要解析哪种格式的数据文件,目前仅支持orc、rc(RCFile)、parquet三种格式。 rc格式目前只支持查看数据。 -c 打印当前元信息中列的信息。 列信息包含类名、类型、序号。 -d 打印数据文件中的数据,可通过“'limit=x'”限制数据量。
clickhouse-examples-*.jar 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况。 即查看当前jar文件所在目录的“logs/clickhouse-example
r2的地址连接。 hiveserver2服务的主机名可以在Manager界面选择“集群 > 服务 > Hive > 实例”,在“实例”界面查看“HiveServer”的“主机名称”获取。 父主题: Hive应用开发常见问题
JDBCExample为举例,具体以实际样例代码为准。 执行run.sh脚本,运行Jar包。 sh /opt/client/IoTDB/iotdb/run.sh 查看调测结果 运行结果会有如下成功信息: 图3 运行结果 父主题: 调测IoTDB应用
IDEA开发工具时,可选择“File > Settings > Build, Execution, Deployment > Build Tools > Maven”查看当前“settings.xml”文件放置目录,确保该目录为“<本地Maven安装目录>\conf\settings.xml”。 图3 “settings
r2的地址连接。 HiveServer2服务的主机名可以在Manager界面选择“集群 > 服务 > Hive > 实例”,在“实例”界面查看“HiveServer”的“主机名称”获取。 父主题: Hive应用开发常见问题
创建HBase表: create 'hbase_test','f1','f2'; 配置“HBase输出”算子,如下图: 作业执行成功后,查看hbase_test表中数据: 父主题: Loader输出类算子
败)添加“obs://hs-test/user/hive/warehouse/o4”表的读写权限,配置如下: 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如果不再使用策略,可单击按钮删除策略。 父主题: Ranger权限策略配置示例
/src/main/resources com.huawei.bigdata.iotdb.KafkaConsumerMultThread 查看调测结果 运行结果会有如下成功信息: 父主题: 调测IoTDB应用
登录FusionInsight Manager,具体请参见访问集群Manager。然后选择“集群 > 服务 > ZooKeeper > 实例”。 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,参考使用MRS客户端章节,登录安装客户端的节点。
通过IntelliJ IDEA可直接运行Producer.java,如图1所示: 图1 运行Producer.java 运行后弹出控制台窗口,可以查看到Producer正在向默认Topic(example-metric1)发送消息,每发送10条,打印一条日志。 图2 Producer运行窗口
/src/main/resources com.huawei.bigdata.iotdb.KafkaConsumerMultThread 查看调测结果 运行结果会有如下成功信息: 父主题: 调测IoTDB应用
通过IntelliJ IDEA可直接运行Producer.java,如图1所示: 图1 运行Producer.java 运行后弹出控制台窗口,可以查看到Producer正在向默认Topic(example-metric1)发送消息,每发送10条,打印一条日志。 图2 Producer运行窗口