检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在CDM集群管理界面,单击集群后的“作业管理”,选择“表/文件迁移 > 新建作业”,开始创建从MRS HDFS导出数据到OBS的任务。 图4 创建MRS HDFS到OBS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择步骤2:创建MRS HDFS连接中的“hdfs_link”。
况下,segment内的UPDATE增量文件变得适合水平压缩,并压缩为单个UPDATE增量文件。默认情况下,该参数值设置为1。可以设置为1到10000之间的值。 carbon.horizontal.delete.compaction.threshold 1 该参数指定segmen
ckHouse实例节点,查询ClickHouse表数据。例如,查询kafka_dest_tbl3本地复制表,Kafka消息中的数据已经同步到该表。 select * from kafka_dest_tbl3; 父主题: ClickHouse数据导入
理”,选择“表/文件迁移 > 新建作业”,开始创建数据迁移任务,如图7所示。 图7 创建MySQL到Hive的迁移任务 “导入前清空数据”选“是”,这样每次导入前,会将之前已经导入到Hive表的数据清空。 作业参数配置完成后,单击“下一步”,进入字段映射界面,如图8所示。 映射M
Hive表desc描述过长导致无法完整显示 Hive表中增加分区列后再插入数据显示为NULL 集群中创建的新用户执行查询Hive操作时无权限 执行SQL提交任务到指定队列时报错 执行load data inpath命令报错 执行load data local inpath命令报错 执行create external
'mapred-default.xml' 查询到该配置文件在“/opt/Bigdata/*/*_WebHCat/etc/”目录下面,且该文件内容为空。 登录到Master1节点,将“/opt/Bigdata/*/*_WebHCat/etc/mapred-default.xml”文件拷贝到Master2节点,
var/log/Bigdata/clickhouse”目录下的“clickhouse-server.log”日志文件,发现以下报错: 进入到其他ClickHouse节点也发现了同样的报错日志,由此可知Kafka消息堆积是因为ClickHouse解析Kafka数据时出现异常。 解决办法
使用Spark BulkLoad工具同步数据到HBase表中 Spark BulkLoad工具支持快速同步Hive或Spark表数据到HBase表中,支持全量或增量导入ORC/PAQUET等格式的表数据。 使用Spark BulkLoad同步数据类型数据到HBase表中时,存在以下限制:
xml将发生变化,需要下载最新的core-site.xml并放入到打包hive二次开发样例代码进程的classpath路径下面。 解决办法 下载集群Hive最新的客户端,获取最新的“core-site.xml”。 将core-site.xml放入到打包Hive二次开发样例代码进程的classpath路径下面。
对比用户密码策略结果 重置后的密码 8到17位 4 已满足用户密码策略 Admin@123Test@123 18位 4 需补充一个@ Admin@123@Test@123 19位 4 需补充两个@ Admin@123@@Test@123 8到18位 5 需补充一个空格 Admin@123
查看到聚合的container日志。 正在运行的任务的日志,用户可以通过“Executors”页面的日志链接进行查看,任务结束后日志会汇聚到HDFS上,“Executors”页面的日志链接就会失效,此时用户可以通过“AggregatedLogs”页面的logs链接查看聚合日志。 表1
xml文件是否有异常,该案例中该配置文件内容为空导致解析失败。 修复mapred-site.xml文件,将Master1节点上对应目录下的配置文件用scp命令拷贝到Master2节点对应目录替换原文件。 执行chown omm:wheel mapred-site.xml命令更改所属组和用户。 在Mana
sh文件中的-Dkerberos.domain.name项的值做修改,具体请根据实际域名进行配置。 上传所配置的properties.properties文件到${Flume客户端安装目录}/conf目录下。 父主题: Flume企业级能力增强
sh文件中的-Dkerberos.domain.name项的值做修改,具体请根据实际域名进行配置。 上传所配置的properties.properties文件到${Flume客户端安装目录}/conf目录下。 父主题: Flume企业级能力增强
查看到聚合的container日志。 正在运行的任务的日志,用户可以通过“Executors”页面的日志链接进行查看,任务结束后日志会汇聚到HDFS上,“Executors”页面的日志链接就会失效,此时用户可以通过“AggregatedLogs”页面的logs链接查看聚合日志。 表1
获取MRS集群主机列表接口时提示用户无权限 用户问题 使用AK/SK获取MRS集群主机列表/v1.1/<project_id>/clusters/<cluster_id>/hosts接口时,提示用户无权限“User do not have right to access cluster”。
etaStore存储数据库和HiveServer的内存之间数据同步有延迟。如果在单个HiveServer上删除永久函数,操作结果将无法同步到其他HiveServer上。 遇到如上情况,需要登录Hive客户端,连接到每个HiveServer,并分别删除永久函数。具体操作如下: 以H
etaStore存储数据库和HiveServer的内存之间数据同步有延迟。如果在单个HiveServer上删除永久函数,操作结果将无法同步到其他HiveServer上。 遇到如上情况,需要登录Hive客户端,连接到每个HiveServer,并分别删除永久函数。具体操作如下: 以H
域名>、user.keytab和krb5.conf为示例,实际操作时需要已将相应账号对应权限的keytab文件和krb5.conf文件放入到“conf”目录,安全登录方法如下代码所示。 public static final String PRINCIPAL= "test@<系统域名>";
用于跳过分隔符长度及白名单校验,不建议使用。 按自定义分隔符导入数据至HBase 将数据文件上传到客户端所在节点,例如上传名为“data.csv”的文件到客户端所在节点的“/opt/test”目录下,分隔符为“|^[”,文件内容如下所示: 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。