检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
xml)设置如下参数。 表1 参数描述 参数 描述 默认值 mapreduce.shuffle.address 指定地址来运行shuffle服务,格式是IP:PORT,参数的默认值为空。当参数值为空时,将绑定localhost,默认端口为13562。 说明: 如果涉及到的PORT值和配置的mapreduce
xml)设置如下参数。 表1 参数描述 参数 描述 默认值 mapreduce.shuffle.address 指定地址来运行shuffle服务,格式是IP:PORT,参数的默认值为空。当参数值为空时,将绑定localhost,默认端口为13562。 说明: 如果涉及到的PORT值和配置的mapreduce
压缩( compaction)用于在MergeOnRead表将基于行的log日志文件转化为parquet列式数据文件,用于加快记录的查找。 命令格式 SCHEDULE COMPACTION on tableIdentifier |tablelocation; SHOW COMPACTION
手动立即执行TTL 命令功能 TTL会根据ttl_configuration命令的配置周期去执行,如果想TTL立即生效,可以手动触发TTL。 命令格式 call ttl_policy_run(table => "[table]", path => "[path]", dryRun => [dryRun])
TopologyBuilder builder = new TopologyBuilder(); // 分隔符格式,当前采用“|”代替默认的“,”对tuple中的field进行分隔 // HdfsBolt必选参数 RecordFormat
sdk目录,单击“OK”。 图25 Scala SDK files 设置成功,单击“OK”保存设置。 图26 设置成功 设置IDEA的文本文件编码格式,解决乱码显示问题。 在IDEA首页,选择“File > Settings...”。 图27 选择Settings 在“Settings”
jstack 12345 >allstack.txt (根据实际RegionServer的进程ID进行替换) 将需要的线程ID转换为16进制格式: printf "%x\n" 30648 输出结果TID为77b8。 根据输出16进制TID,在线程堆栈中进行查找,发现在执行compaction操作。
单击“导出数据”,可导出集群中所有主机的配置列表。 图4 主机资源概况 基础配置(CPU/内存) 鼠标放置饼图上会显示当前区域集群中各节点不同硬件配置下的配置信息及数量,格式为:核数(平台类型)内存大小:数量。 单击相应区域,会在下方显示相应的主机列表。 磁盘配置 横轴为节点上磁盘总容量(包含OS盘),纵轴为逻辑磁盘数量(包含OS盘)。
配置保留为空即可,参考如下: databases: 表示迁移源ClickHouse集群的所有数据库的表信息。 tables 可选配置。参数格式为:数据库名.表名。表名前的数据库名必须在databases参数列表中。 如果指定该参数,则表示迁移源ClickHouse集群数据库下的指定表数据,可指定多个。配置参考如下:
hostname,int port) 创建一个输入流,通过TCP socket从对应的hostname和端口接受数据。接受的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。 JavaDStream<java.lang.String> textFileStream(java
hostname,int port) 创建一个输入流,通过TCP socket从对应的hostname和端口接收数据。接收的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。 JavaDStream<java.lang.String> textFileStream(java
Stream和Batch增量消费,指定“yyyyMMddHHmmss”格式时间的开始消费位置(闭区间) read.end-commit 否 默认到最新commit Stream和Batch增量消费,指定“yyyyMMddHHmmss”格式时间的结束消费位置(闭区间) 写入 write.tasks
filePath) 获取用户定义的某路径下的文本文件数据,作为输入流数据。 filePath是指文本文件的路径。 charsetName是编码格式的名字。 public DataStreamSource<String> readTextFile(String filePath, String
INFO INFO记录系统及各事件正常运行状态信息。 DEBUG DEBUG记录系统及系统的调试信息。 日志格式 Manager的日志格式如下所示: 表9 日志格式 日志类型 组件 格式 示例 Controller,Httpd,logman,NodeAgent,okerberos,old
ID获取。 已获取集群ID,即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。 操作步骤 接口相关信息 URI格式:DELETE /v1.1/{project_id}/clusters/{cluster_id} 详情请参见删除集群。 请求示例 DELETE:
hostname,int port) 创建一个输入流,通过TCP socket从对应的hostname和端口接收数据。接受的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。 JavaDStream<java.lang.String> textFileStream(java
hostname,int port) 创建一个输入流,通过TCP socket从对应的hostname和端口接受数据。接受的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。 JavaDStream<java.lang.String> textFileStream(java
repository”参数,依次单击“Apply > OK”。 图12 选择本地Maven安装目录 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。 在IntelliJ IDEA的菜单栏中,选择“File > Settings...”。 图13 Settings 在
filePath) 获取用户定义的某路径下的文本文件数据,作为输入流数据。 filePath是指文本文件的路径。 charsetName是编码格式的名字。 public DataStreamSource<String> readTextFile(String filePath, String
filePath) 获取用户定义的某路径下的文本文件数据,作为输入流数据。 filePath是指文本文件的路径。 charsetName是编码格式的名字。 public DataStreamSource<String> readTextFile(String filePath, String