检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否解析为Flume event。 migrateZookeeperOffsets true 当Kafka没有存储offset时,是否从ZooKeeper中查找,并提交到Kafka。 kafka.consumer.auto.offset.reset latest 当没有offset记录时,从指定的位置消费数据。
server.48=ZooKeeper节点IP地址:ZooKeeper端口号:ZooKeeper端口号:participant...} 查看样例代码中的HQL所查询出的结果。 Windows环境运行成功结果会有如下信息: =========================== Hive Example
在Yarn原生页面显示ApplicationMaster启动两次均失败,任务退出,如图1信息: 图1 ApplicationMaster启动失败 查看ApplicationMaster日志看到如下异常信息: Exception in thread "main" java.lang.Exc
该选项的含义为告警检查阶段,“平滑次数”为连续检查多少次超过阈值,则发送告警。 单击规则“操作”列的“修改”,根据实际情况更改告警阈值。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行3。 检查每个写操作平均所需时间是否达到上限。 在FusionInsight Manager页面,选择“运维
phoenix.mapreduce.CsvBulkLoadTool -md '|^[' -t TEST -i /tmp/data.csv 执行以下命令,查看导入表TEST的数据: sqlline.py SELECT * FROM TEST LIMIT 10; 父主题: 增强HBase BulkLoad工具数据迁移能力
ng格式,无需编写中间的执行代码,减少了代码编写量,简化了用户执行各类操作的步骤。 以上接口会返回请求对应的命令编号,方便用户根据命令编号查询命令执行的进度。 父主题: Manager应用开发常见问题
是否解析为Flume event。 migrateZookeeperOffsets true 当Kafka没有存储offset时,是否从ZooKeeper中查找,并提交到Kafka。 kafka.consumer.auto.offset.reset latest 当没有offset记录时,从指定的位置消费数据。
Hive不支持此参数,请配置“Map数”。 - 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导入
Maven的clean和compile 单击“Run 'Demo.main()'”运行应用程序工程。 图7 运行程序 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即“logs”目录下的日志
Maven的clean和compile 单击“Run 'Demo.main()'”运行应用程序工程。 图6 运行程序 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即“logs”目录下的日志
机器处理速度慢或者网络阻塞时会发生超时。单位:ms/s/m/h/d。 10s 否 适用于所有版本 akka.lookup.timeout 查找JobManager actor对象的超时时间。单位:ms/s/m/h/d。 10s 否 akka.framesize JobManage
备份Manager数据(MRS 2.x及之前版本) 操作场景 为了确保元数据信息安全,或者用户在对元数据功能进行重大操作(如扩容缩容、安装补丁包、升级或迁移等)前后,需要对元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。元数据
fault_cluster, system.replication_queue) group by node,type; 如果存在积压,请查看副本队列中的任务是否报错,并根据报错信息处理。 执行如下SQL排查是否存在节点间表结构不一致。 select FQDN(), create_table_query
写入文件的副本数大于DataNode的节点数。 处理步骤 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”查看是否存在告警“ALM-14003 丢失的HDFS块数量超过阈值”。 是,执行2。 否,执行3。 按照ALM-14003 丢失的HDFS块数
指定一个Loader连接的名称。 OBS服务器 输入OBS endpoint地址,一般格式为OBS.Region.DomainName。 例如执行如下命令查看OBS endpoint地址: cat /opt/Bigdata/apache-tomcat-7.0.78/webapps/web/WEB
Loader > 作业分组”。 选择某个作业分组。 在指定作业的“权限”列,勾选“编辑”。 设置Loader作业的执行权限 (包括作业的启动、停止和查看历史记录权限) 在“配置资源权限”的表格中选择“待操作集群的名称 > Loader > 作业分组”。 选择某个作业分组。 在指定作业的“权限”列,勾选“执行”。
Loader > 作业分组”。 选择某个作业分组。 在指定作业的“权限”列,勾选“编辑”。 设置Loader作业的执行权限 (包括作业的启动、停止和查看历史记录权限) 在“配置资源权限”的表格中选择“待操作集群的名称 > Loader > 作业分组”。 选择某个作业分组。 在指定作业的“权限”列,勾选“执行”。
在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在Hudi中对表进行插入数据操作,查看DWS导入的文件内容。 父主题: 创建CDL作业
fault_cluster, system.replication_queue) group by node,type; 如果存在积压,请查看副本队列中的任务是否报错,并根据报错信息处理。 执行如下SQL排查是否存在节点间表结构不一致。 select FQDN(), create_table_query
flag; } 避免对同一张表同时进行读写操作 目前的版本中,Hive不支持并发操作,需要避免对同一张表同时进行读写操作,否则会出现查询结果不准确,甚至任务失败的情况。 父主题: Impala开发规范