检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
private void createTable(String databaseName, String tableName, String clusterName) throws Exception { String createSql = "create table "
/** * 读文件 * * @throws java.io.IOException */ private void read() throws IOException { String strPath = DEST_PATH + File.separator + FILE_NAME
如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。
private static class MultiComponentMapper extends Mapper<Object, Text, Text, Text> { Configuration conf; @Override protected void map
表1 MRS集群参数克隆说明 参数 说明 计费模式、版本类型、集群版本、集群类型、组件列表、可用区、企业项目、虚拟私有云、子网、安全组(默认共用克隆集群的)、节点组配置、Kerberos认证、主机名前缀、标签、委托(集群节点默认绑定的委托名称)、日志转储、日志记录 默认克隆 元数据
检查客户端节点网络连接。
JDBC客户端代码 在网络拥塞的情况下,这个特性可以避免客户端由于无限等待服务端的返回而挂起。
import java.util.Properties; import java.util.Timer; import java.util.TimerTask; public class JDBCExampleStatementProgressPercentage{ private
数据规划 如果使用自定义数据源,需保证源端集群和目标端之间网络端口通信正常。 如果使用Kafka,MySQL等外源数据,需要确保对应用户具备数据操作的权限。 开发思路 导入Flink相关依赖包,版本需与集群Flink版本一致。 构建源端数据源。
Spark Core 日志聚合下,如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中,
* <li>HOT * <li>WARM * <li>COLD * <li>LAZY_PERSIST * <li>ALL_SSD * <li>ONE_SSD * @throws IOException */ private
示例代片段参考如下: private void queryData(String databaseName, String tableName) throws Exception { String querySql1 = "select * from " + databaseName
private static void init() throws IOException { // Default load from conf directory conf = HBaseConfiguration.create();
private static void login(String keytabFile, String principal) throws IOException { conf = HBaseConfiguration.create(); //In
private static void login(String keytabFile, String principal) throws IOException { conf = HBaseConfiguration.create(); //In
系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “源端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。 “源端路径”:填写备集群保存备份数据的完整HDFS路径。
创建GaussDB(DWS)集群,为确保网络连通,GaussDB(DWS)集群需与MRS集群“可用区”、“虚拟私有云”、“安全组”配置相同。 已获取连接GaussDB(DWS)数据库的IP地址、端口、数据库名称、用户名和密码。
检查网络是否存在问题,如果网络没有问题,检查是否配置主机和IP的对应关系 Linux 执行cat /etc/hosts命令。 Windows 打开“C:\Windows\System32\drivers\etc\hosts”。 解决方法参考4。
系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “源端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。 “源端路径”:填写备集群保存备份数据的完整HDFS路径。
用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备连接HBase集群配置文件 配置并导入样例工程 HBase提供了不同场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。