检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
from Existing Sources....”配置页面 选择要导入的样例工程,例如“storm-examples”。 图8 选择要导入的样例工程 选择以maven工程的形式导入。 图9 以maven工程的形式导入 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。
导入结束,单击“Finish”,IDEA主页显示导入的样例工程。 图18 导入结束 图19 已导入工程 导入样例工程依赖的Jar包。 如果通过开源镜像站方式获取的样例工程代码,在配置好Maven后, 相关依赖jar包将自动下载,不需手动添加。 当样例代码使用其他FusionInsight组件
选择样例工程文件夹“hbase-example”,然后单击“OK”。 图7 Select File or Directory to Import 导入结束,IDEA主页显示导入的样例工程。 图8 导入样例工程成功 右键单击“pom.xml”,选择“Add as Maven Project”,将该项目添加为Maven
导入并配置HDFS样例工程 操作场景 HDFS针对多个场景提供样例工程,帮助客户快速学习HDFS工程。 以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 导入样例工程 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例
导入并配置HetuEngine样例工程 操作场景 客户端安装程序目录中包含了HetuEngine开发样例工程,将从工程导入样例开始学习,本文以IntelliJ IDEA 2020.1.3 (Community Edition)为例。 前提条件 确保本地PC的时间与集群的时间差要小
SDK 确认工程名称和路径,单击“Finish”完成导入。 图15 Confirm the project name and file location 导入完成后,IDEA主页显示导入的样例工程。 图16 已导入工程 (可选)如果导入Scala语言开发的样例程序,还需要为工程设置语言。
配置并导入JDBC样例工程 操作场景 为了运行Doris组件的JDBC接口样例代码,需要完成下面的操作。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\doris-examples”目录下的样例工程文件夹“doris-jdbc-example”。 导入样例工程到IntelliJ
选择样例工程文件夹“hbase-example”,然后单击“OK”。 图7 Select File or Directory to Import 导入结束,IDEA主页显示导入的样例工程。 图8 导入样例工程成功 右键单击“pom.xml”,选择“Add as Maven Project”,将该项目添加为Maven
导入并配置Hive样例工程 导入并配置Hive JDBC样例工程 导入并配置Hive HCatalog样例工程 导入并配置SpringBoot样例工程 配置Hive Python样例工程 配置Hive Python3样例工程 父主题: 准备Hive应用开发环境
导入并配置HetuEngine样例工程 操作场景 客户端安装程序目录中包含了HetuEngine开发样例工程,将从工程导入样例开始学习,本文以IntelliJ IDEA 2020.1.3 (Community Edition)为例。 前提条件 确保本地PC的时间与集群的时间差要小
使用BulkLoad工具批量导入HBase数据 操作场景 您可以按照自定义的方式,通过命令批量导入数据到HBase中并创建索引。 您可以在“configuration.xml”文件中定义多个方式来批量导入数据,导入数据时可不创建索引。 列的名称不能包含特殊字符,只能由字母、数字和下划线组成。
Load的最大导入文件大小,默认值为10G,单位为MB。 如果原始文件超过该值,则需要适当调整该参数值。 由于Stream Load是由BE进行导入并分发数据,建议导入数据量在1G到10G之间。由于默认最大Stream Load的导入数据量为10G,所以如果要导入超过10G的文件
MonitorServer证书文件非法或已损坏 本章节适用于MRS 3.2.0及以后版本。 告警解释 MonitorServer每隔一个小时,检查当前MonitorServer证书文件是否合法(证书是否存在,证书格式是否正确),如果证书文件非法或已损坏,产生该告警。证书文件恢复合法,告警恢复。
导入并配置HetuEngine Python3样例工程 本章节适用于MRS 3.3.0及以后版本。 操作场景 为了运行FusionInsight MRS产品HetuEngine组件的Python3样例代码,需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3,其版本不低于3
echo "installing phoenix jars to hbase successfully..." 请使用txt文本格式复制导入如上脚本,以避免导入格式错误问题。 <PHOENIX_HBASE_VERSION>:当前使用的phoenix版本。例如MRS 3.x之前可使用的phoenix版本为4
使用sqoop-shell工具导入数据到HDFS 操作场景 本文将以从SFTP服务器导入数据到HDFS的作业为例,介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 前提条件 已安装并配置Loader客户端,具体操作请参见使用客户端运行Loader作业。
使用sqoop-shell工具导入数据到HBase 操作场景 本文将以从Oracle导入数据到HBase的作业为例,介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 前提条件 已安装并配置Loader客户端,具体操作请参见使用客户端运行Loader作业。
Broker Load导入数据时报超时错误 现象描述 使用Broker Load导入数据时报错: org.apache.thrift.transport.TTransportException: java.net.SocketException: Broken pipe 原因分析
使用Broker Load导入数据报错 现象描述 使用Broker Load导入数据时报错“failed to send batch”或“TabletWriter add batch with unknown id”。 原因分析 系统并发量较大或数据量大导致任务执行超时。 处理步骤
kafka_format 消费数据的格式化类型,JSONEachRow表示每行一条数据的json格式,CSV格式表示逗号分隔的一行数据。更多请参考:https://clickhouse.tech/docs/en/interfaces/formats/。 kafka_row_delimiter 每个消息体(记录)之间的分隔符。