检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入到Hive分区表内表时，Hive默认不会扫描新导入的数据，需要执行如下HQL修复表才可以查询到新导入数据： MSCK REPAIR TABLE table_name; 转换步骤配置不正确时，传输的数据将无法转换并成为脏数据，脏数据标记规则如下： 任意输入类型步骤中，原数据包含字段的个数小于配置字段的个数
OUTPUT_DIR_NAME)); // 设置输出键值类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); // HBase提供工具类添加
表2 Python3开发环境（使用Python样例工程需配置）适用于MRS 3.3.0及以后版本 准备项 说明 Python3 用于开发HetuEngine Python应用程序的工具，版本要求不低于3.6，最高不超过3.9。
安装和配置IntelliJ IDEA 用于开发Spark应用程序的工具，建议使用2019.1或其他兼容版本。 说明： 若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。
打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。
图2 maven工具 clean和compile 方法二 在IDEA的下方Terminal窗口进入“pom.xml”所在目录，手动输入mvn clean compile命令进行编译。
下载样例工程的Maven工程源码和配置文件，并在本地配置好相关开发工具，可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支，下载并获取MRS相关样例工程。
打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。
表2 Python3开发环境（使用Python样例工程需配置）适用于MRS 3.3.0及以后版本 准备项 说明 Python3 用于开发HetuEngine Python应用程序的工具，版本要求不低于3.6，最高不超过3.9。
使用PuTTY工具以omm用户登录主OMS服务器。 执行以下命令，防止“PuTTY”超时退出。 TMOUT=0 执行完本章节操作后，请及时恢复超时退出时间，执行命令TMOUT=超时退出时间。例如：TMOUT=600，表示用户无操作600秒后超时退出。
netcat -l -p 9000 若回显提示“command not found”，请用户自行安装netcat工具后再次执行。 启动程序接受Socket数据，并执行联合查询。
相关信息 更多HBase权限管理、使用索引及全局二级索引查询表数据、使用BulkLoad工具迁移HBase数据等操作请参见使用HBase。
使用WinSCP工具，以客户端安装用户将压缩文件保存到客户端安装的目录，例如“/opt/hadoopclient”。 解压软件包。
为了解决上述场景下对搬迁能力的要求，MRS提供了ClickHouse集群数据一键式工具搬迁能力，将源集群中的ClickHouse数据库、表对象DDL、业务数据迁移到新建集群中。
OUTPUT_DIR_NAME)); // 设置输出键值类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); // HBase提供工具类添加
OUTPUT_DIR_NAME)); // 设置输出键值类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); // HBase提供工具类添加
“-c”（可选）：指定业务配置文件，该文件需要用户根据自己业务生成，具体操作可在Flume服务端中“配置工具”页面参考Flume业务配置指南章节生成，并上传到待安装客户端节点上的任一目录下。
作为查询大数据的工具的补充，Impala不会替代基于MapReduce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。
图2 maven工具的clean和install 将target目录下的clickhouse-examples-*.jar文件和“clickhouse-examples”目录下的“conf”文件夹复制到ClickHouse客户端安装目录下，例如“客户端安装目录/JDBC”目录或“客户端安装目录
ClickHouse的迁移工具内部有数据迁移时长限制，数据量较大时迁移失败。 Nodeagent进程连接ZooKeeper，异常链接不释放。 数据库进入只读导致任务失败。 内存连续增长，导致进程无内存可用。 健康检查阻塞导致资源打满。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
