检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
交互模式示例 使用安装客户端的用户登录Loader客户端所在节点。 执行以下命令,进入sqoop-shell工具的“conf”目录。例如,Loader客户端安装目录为“/opt/client/Loader/”。 cd /opt/client/Loader/loader-tools-1.99
用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar,该jar包可在Kafka的客户端目录下获取。 下面代码片段仅为演示,完整代码参见FlinkKafkaJavaExample样例工程下的com.huawei.bigdata.flink
运行Producer.java样例运行获取元数据失败如何处理 解决步骤 检查工程conf目录下“client.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确。 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。
在Linux中调测Hive HCatalog应用 执行mvn package生成jar包,在工程目录target目录下获取,比如: hive-examples-1.0.jar。 将上一步生成的hive-examples-1.0.jar上传至运行调测环境的指定路径,例如“/opt/
该任务指导用户使用Loader将数据从HDFS/OBS导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。
代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入kafka-clients-*.jar,该jar包可在client目录下获取。 下面列出producer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。 完整代码参见com
用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar,该jar包可在Kafka客户端目录下获取。 下面列出producer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。 完整代码参见com
导入并配置IoTDB样例工程 背景信息 获取IoTDB开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src/iotdb-examples”目录下的样例工程,可根据实际业务场景选择对应的样例。
用户在开发前需要使用对接安全模式的Kafka,则需要引入MRS的kafka-client-xx.x.x.jar,该jar包可在MRS client目录下获取。 代码样例 下面列出producer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。 完整代码参见com
python.org/ftp/python/3.6.6/Python-3.6.6.tgz 执行如下命令,解压python源码压缩包,例如下载在“opt”目录下。 cd /opt tar -xvf Python-3.6.6.tgz 创建Python的安装目录,此处以“/opt/python36”为例。
果用户应用在使用组件时调用了第三方jar包,可放置到每个节点上指定目录中,重启组件后该目录下的jar会被相应的组件程序自动加载。 放置目录为:组件安装节点的“<集群安装目录>/third_lib/<组件名>”目录。 例如: 将使用HBase服务要用到的jar包文件放入HBase节
使用客户端安装用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env 修改配置文件: vim 客户端安装目录/Hudi/hudi/conf/hdfs-site.xml <property>
使用Google浏览器访问。 前提条件 已安装Presto服务的集群。 已安装集群客户端,例如安装目录为“/opt/client”。以下操作的客户端目录只是举例,请根据实际安装目录修改。 访问Presto的WebUI 方法一(适用于MRS 3.x及之后版本): 登录FusionInsight
访问Spark应用获取的restful接口信息有误 问题 当Spark应用结束后,访问该应用的restful接口获取job信息,发现job信息中“numActiveTasks”的值是负数,如图1所示。 图1 job信息 numActiveTasks是指当前正在运行task的个数。
向ZooKeeper数据目录空间写入大量数据,导致ZooKeeper无法对外正常提供服务,导致依赖告警目录的上游组件(例如Yarn、Flink、Spark等)的业务异常。 可能原因 往ZooKeeper数据目录空间写入大量数据。 自定义阈值设置不合理。 处理步骤 检查告警目录是否写入大量数据
set:”选择“UTF-8”。 单击“Open”登录云服务器。 如果首次登录云服务器,PuTTY会显示安全警告对话框,询问是否接受服务器的安全证书。单击“是”将证书保存到本地注册表中。 建立到云服务器的SSH连接后,根据提示输入用户名和密码登录弹性云服务器。 用户名、密码分别是root和创建集群时设置的密码。
登录客户端所在节点,新建“dataLoad”目录,作为程序运行目录,后面编写的文件均保存在该目录下。例如“/opt/client/Oozie/oozie-client-*/examples/apps/dataLoad/”。 可以直接复制样例目录中“map-reduce”文件夹内的内容
登录Oozie客户端所在节点,新建“dataLoad”目录,作为程序运行目录,后面编写的文件均保存在该目录下。例如“/opt/client/Oozie/oozie-client-*/examples/apps/dataLoad/”。 可以直接复制样例目录中“map-reduce”文件夹内的内容
tar: OK 解压获取的安装文件。 tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar 进入安装包所在目录,执行如下命令安装客户端到指定目录(绝对路径),例如安装到“/opt/hadoopclient”目录。 cd /t
用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar,该jar包可在Kafka客户端目录下获取。下面列出producer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。 每秒钟往Kafk