检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
oop或Flink进行数据处理。 对于分析的结果,可以写回成TsFile文件。 IoTDB和TsFile还提供了相应的客户端工具,满足用户以SQL形式、脚本形式和图形形式写入和查看数据的各种需求。 操作流程 步骤1:创建MRS集群:创建一个包含有HBase、HetuEngine、Hive、IoTDB组件的MRS集群。
Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME”
日志记录。请注意不能通过此选项设置Spark属性或heap大小。Spark属性应该使用SparkConf对象或调用spark-submit脚本时指定的spark-defaults.conf文件来设置。Heap大小可以通过spark.executor.memory来设置。 -Xloggc:<LOG_DIR>/gc
日志记录。请注意不能通过此选项设置Spark属性或heap大小。Spark属性应该使用SparkConf对象或调用spark-submit脚本时指定的spark-defaults.conf文件来设置。Heap大小可以通过spark.executor.memory来设置。 -Xloggc:<LOG_DIR>/gc
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase的运行依赖 TableMapReduceUtil.addDependencyJars(job);
登录MRS管理控制台页面,选择“现有集群”,在集群列表中单击指定的集群名称,然后单击补丁管理,进入补丁信息界面,确定当前安装的最新补丁版本号,执行脚本: sh /opt/Bigdata/patches/{补丁版本号}/generate_client_patch.sh 如看到“generate
Python3开发环境(使用Python样例工程需配置)适用于MRS 3.3.0及以后版本 准备项 说明 Python3 用于开发HetuEngine Python应用程序的工具,版本要求不低于3.6,最高不超过3.9。 安装setuptools Python3开发环境的基本配置,版本如47.3.1。 jaydebeapi
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase的运行依赖 TableMapReduceUtil.addDependencyJars(job);
ntext_tls.html#matchsslcontext_tls。 安装和配置IntelliJ IDEA 用于开发Spark应用程序的工具,建议使用2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle
参数说明可通过本节内容了解。 MRS 3.x及之后版本部分参数可通过Manager界面配置,选择“集群 > 服务 > Flume > 配置工具”,选择要使用的Source、Channel以及Sink,将其拖到右侧的操作界面中,双击对应的Source、Channel以及Sink,根
Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器
clickhouse-examples > Lifecycle > install”,双击“install”运行maven的insatll命令。 图2 maven工具的clean和install 将target目录下的clickhouse-examples-*.jar文件和“clickhouse-exa
ntext_tls.html#matchsslcontext_tls。 安装和配置IntelliJ IDEA 用于开发Spark应用程序的工具,建议使用2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle
Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME”
> 样例工程名称 > Lifecycle > compile”,双击“compile”运行maven的compile命令。 图2 maven工具 clean和compile 方法二 在IDEA的下方Terminal窗口进入“pom.xml”所在目录,手动输入mvn clean compile命令进行编译。
Python3开发环境(使用Python样例工程需配置)适用于MRS 3.3.0及以后版本 准备项 说明 Python3 用于开发HetuEngine Python应用程序的工具,版本要求不低于3.6,最高不超过3.9。 安装setuptools Python3开发环境的基本配置,版本如47.3.1。 jaydebeapi
选择“保存 > 确定”后等待操作成功。 滚动重启Yarn服务,输入密码并单击“确定”后等待操作成功。 进入主管理节点重启AOS服务。 使用PuTTY工具以omm用户登录主OMS服务器。 执行以下命令,防止“PuTTY”超时退出。 TMOUT=0 执行完本章节操作后,请及时恢复超时退出时间,
解决写入HBase数据将磁盘写满的问题。 解决检查HBase进程的异常日志hs_err_pid_*.log归档到etc目录下,导致配置目录过大的问题。 解决健康检查脚本执行异常导致上报HBase服务不可用误告警的问题。 开源问题HBASE-27580处理。 解决Master启动过程中如果WAL创建失败,导致NPE异常的问题。
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase运行依赖到Job TableMapReduceUtil.addDependencyJars(job);
生额外的费用。详细操作步骤请参见删除MRS集群。 相关信息 更多HBase权限管理、使用索引及全局二级索引查询表数据、使用BulkLoad工具迁移HBase数据等操作请参见使用HBase。