检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ies.properties”文件。 具体properties.properties参数配置方法,参考配置Flume非加密传输数据采集任务和配置Flume加密传输数据采集任务对应典型场景中properties.properties文件参数列表的说明。 父主题: Flume常见问题
MR任务日志在HDFS上的归档路径 是 MR任务日志丢失 /tmp/hadoop-yarn/staging 固定目录 保存AM运行作业运行日志、作业概要信息和作业配置属性 否 任务运行异常 /tmp/hadoop-yarn/staging/history/done_intermediate 固定目录
通过cat /proc/sys/net/ipv4/ip_local_port_range命令查看随机端口范围。 发现随机端口范围过大,和MRS的服务端口范围存在冲突。 MRS的服务端口范围:20000~30000。 处理步骤 修改随机端口范围。 vi /proc/sys/ne
rowkey.value="substring(0,2) == 'mi'":表示rowkey的值中前两个为mi。 如果指定了“row_start”和“row_stop”,则统计的为大于等于“row_start”并且小于“row_stop”的数据。 父主题: 增强HBase BulkLoad工具数据迁移能力
rowkey.value="substring(0,2) == 'mi'":表示rowkey的值中前两个为mi。 如果指定了“row_start”和“row_stop”,则统计的为大于等于“row_start”并且小于“row_stop”的数据。 父主题: 增强HBase BulkLoad工具数据迁移能力
ies.properties”文件。 具体properties.properties参数配置方法,参考配置Flume非加密传输数据采集任务和配置Flume加密传输数据采集任务对应典型场景中properties.properties文件参数列表的说明。 父主题: Flume常见问题
update operation is performed does not exist.”。 drop与rename、change type和change comment并发执行时,drop必须是最后执行,否则只能执行drop以及drop之前的命令,执行drop之后的命令会发生异常“java
-XX:NumberOfGCLogFiles=20 -XX:GCLogFileSize=20M”。 此处默认已经添加GC日志。 操作步骤 优化GC。 调整老年代和新生代的比值。在客户端的“conf/flink-conf.yaml”配置文件中,在“env.java.opts”配置项中添加参数:“-XX:NewRatio”。如“
Topology 一个Topology代表用户的一个执行任务。一个Topology由输入(如kafka soruce)、输出(如kafka sink)和多个Data Transformation组成。 CheckPoint CheckPoint是Flink数据处理高可靠、最重要的机制。该机制
1.10,192.168.1.20或者192.168.1.*。 Policy Label 为当前策略指定一个标签,您可以根据这些标签搜索报告和筛选策略。 Presto Catalog 适用该策略的数据源Catalog名称,填写*时表示所有Catalog。 Include:策略适用于当前输入的对象。
createConnection(conf); } 样例代码中有很多的操作,如建表、查询、删表等,这里只列举了建表testCreateTable和删除表dropTable这2种操作。可参考对应章节样例。 创建表操作所需的Admin对象是从Connection对象获取。 登录代码要避免重复调用。
在HAConnection的第三个参数填写正确的用户名,密码可以不填写。创建连接,执行HQL,样例代码中仅执行查询所有表功能,可根据实际情况修改HQL内容,输出查询的列名和结果到控制台。 try: with HAConnection(hosts = hosts,
在HAConnection的第三个参数填写正确的用户名,密码可以不填写。创建连接,执行HQL,样例代码中仅执行查询所有表功能,可根据实际情况修改HQL内容,输出查询的列名和结果到控制台。 try: with HAConnection(hosts = hosts,
确认“error_log”中是否存在“AH01102: error reading status line from remote server”和“AH00898: Error reading from remote server”字样的报错(可以多试几次打开Hue页面以确认情况)。 是,通过FusionInsight
C表示规格,当前系列中的规格大小,例如:medium、large、xlarge。 D表示内存、CPU比,以具体数字表示,例如4表示内存和CPU的比值为4。 规格 表1 IO优化型(IO2型)裸金属服务器的规格 规格名称/ID CPU 内存(GB) 本地磁盘 扩展配置 physical
java.lang.RuntimeException: HRegionServer Aborted 该日志说明异常的RegionServer实例和HMaster实例的时差大于允许的时差值30s(由参数hbase.regionserver.maxclockskew控制,默认30000ms
db_name 数据库名。若未指定,则选择当前数据库。 table_name 表名。 col_name 表中的列名称。列名称包含字母,数字和下划线(_)。 changed_column_type 所要更改为的新数据类型。 注意事项 仅在没有数据丢失的情况下支持将Decimal数据类型从较低精度更改为较高精度
arkJobHistory,任务运行日志存放目录是hdfs://hacluster/tmp/logs/用户名/logs); 查看appid和当前作业的id是否超过历史记录最大值。 父主题: 使用Spark
-DincludeScope=compile,导出kafka样例工程依赖的jar包,比如放到kafka-examples-lib目录。 在第一步指定的目录下生成一个Jar包和一个存放lib的文件夹。 将刚才生成的依赖库文件夹(此处为“kafka-examples-lib”)拷贝到MRS服务的某个Linux环境上任
listener.logRate”,该配置项的单位为毫秒。 启动应用,可以发现如下的日志信息(消费者速率、生产者速率、当前队列中的消息数量和队列中消息数量的最大值)。 INFO LiveListenerBus: [SparkListenerBus]:16044 events are