检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启动前无法提供服务。 服务参数配置如果使用旧的存储目录,需要更新为新目录。 更改NodeManager的存储目录以后,需要重新下载并安装客户端。 前提条件 在各个数据节点准备并安装好新磁盘,并格式化磁盘。 规划好新的目录路径,用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。
若配置业务日志与TaskManager运行日志分开打印后,业务日志不输出至taskmanager.log,无法使用Web页面进行查看相应日志信息。 修改客户端的配置文件“conf/logback.xml”,在文件中添加如下日志配置信息,加粗标注部分根据需要进行修改。 <appender name="TEST"
OVERRIDE”直接覆盖旧文件。仅支持如下连接器: generic-jdbc-connector oracle-connector mysql-fastpath-connector false 文件名标识 (适用于MRS 3.5.0及以后版本) 文件名标识,用来生成导入的文件名。
ite.xml”、“core-site.xml”、“hbase-site.xml”。 方法二:通过准备HBase应用开发和运行环境中解压客户端文件的方法获取配置文件,需要在获取的“hbase-site.xml”中手动添加以下配置,其中“hbase.thrift.security.qop”的参数值与1保持一致。
or配置 参数 说明 名称 指定一个Loader连接的名称。 数据库类型 表示Loader连接支持的数据,可以选择“ORACLE”、“MYSQL”和“MPPDB”。 数据库服务器 表示数据库的访问地址,可以是IP地址或者域名。 端口 表示数据库的访问端口。 数据库名称 表示保存数据的具体数据库名。
查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 使用ClickHouse客户端,查询ClickHouse表数据是否和HDFS导入的数据一致。 父主题: 数据导入
加用户组yarnviewgroup。 ClickHouse表已创建,确保用户已授权访问作业执行时操作该表的权限,参照ClickHouse客户端使用实践创建本地复制表和分布式表,导出时选择本地复制表。 确保没有出现ClickHouse相关告警。 操作步骤 准备操作 在ClickHo
-i:<port>命令,查看连接详细信息。其中port为实际端口号。 发现29101端口连接对端端口为21005,而21005为Kafka服务端端口。 说明业务层作为客户端连接Kafka获取消息,业务端口分配通过OS的随机端口分配范围来确定。 通过cat /proc/sys/net/ipv4/ip_local
更多CDL作业示例请参见创建CDL作业。 前提条件 集群已安装CDL、Kafka服务且运行正常。 PostgreSQL数据库需要修改预写日志的策略,操作步骤请参考PostgreSQL数据库修改预写日志的策略。 在FusionInsight Manager中创建一个人机用户,例如“
put(BOOTSTRAP_SERVER, kafkaProc.getValues(BOOTSTRAP_SERVER, "localhost:21007")); // 客户端ID props.put(CLIENT_ID, kafkaProc.getValues(CLIENT_ID, "DemoProducer"));
INSERT INTO [database_name.]table [(c1, c2, c3)] VALUES (v11, v12, v13), (v21, v22, v23), ... 方法二:使用SELECT的结果写入。 INSERT INTO [database_name.]table
开启kerberos功能的集群需要配置该参数值为kerberos,否则不用配置。 上述参数可通过登录任一Master节点,从hbase客户端配置(“/opt/client/HBase/hbase/conf”)中获取。以获取 "hbase.zookeeper.quorum"的值为
无需执行此步骤)。 kinit hive 输入用户hive密码,默认密码为Hive@123,第一次使用需要修改密码。 执行Hive组件的客户端命令。 beeline 在beeline中直接使用OBS的目录进行访问。例如,执行如下命令创建Hive表并指定数据存储在mrs-demo0
本代码样例操作流程如下: 使用JDBC连接到Doris。 创建数据库。 在数据库中创建表。 向表中插入数据。 查询表数据。 删除表。 开发思路 Doris兼容MySQL协议,使用SQL语言就可以进行常见的操作。 开发流程主要分为以下几部分: 建立连接:建立和Doris服务实例的连接。 创建库:创建Doris数据库。
本代码样例操作流程如下: 使用JDBC连接到Doris。 创建数据库。 在数据库中创建表。 向表中插入数据。 查询表数据。 删除表。 开发思路 Doris兼容MySQL协议,使用SQL语言就可以进行常见的操作。 开发流程主要分为以下几部分: 建立连接:建立和Doris服务实例的连接。 创建库:创建Doris数据库。
SQLServer全数据类型导入HDFS数据跳过 问题 SQLServer全数据类型导入HDFS,数据全部跳过。 答案 数据中包含SQLServer中特有的Timestamp类型,该数据类型与时间和日期无关,需要替换为Datetime类型。 父主题: Loader常见问题
keytab 说明: user.keytab文件从下载用户flume_hdfs的kerberos证书文件中获取,另外,确保用于安装和运行Flume客户端的用户对user.keytab文件有读写权限。 hdfs.useLocalTimeStamp 是否使用本地时间,取值为"true"或者"false"。
keytab 说明: user.keytab文件从下载用户flume_hdfs的kerberos证书文件中获取,另外,确保用于安装和运行Flume客户端的用户对user.keytab文件有读写权限。 hdfs.useLocalTimeStamp 是否使用本地时间,取值为"true"或者"false"。
keytab 说明: user.keytab文件从下载用户flume_hdfs的kerberos证书文件中获取,另外,确保用于安装和运行Flume客户端的用户对user.keytab文件有读写权限。 hdfs.useLocalTimeStamp 是否使用本地时间,取值为"true"或者"false"。
put(BOOTSTRAP_SERVER, kafkaProc.getValues(BOOTSTRAP_SERVER, "localhost:21007")); // 客户端ID props.put(CLIENT_ID, kafkaProc.getValues(CLIENT_ID, "DemoProducer"));