检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
定义访问时间的条件。 对于手动迁移规则,不需要条件。 行为列表: 将存储策略设置为给定的数据层名称 迁移到其他文件夹 为文件设置新的副本数 删除文件 设置节点标签(NodeLabel) 表2 行为类型 行为类型 描述 所需参数 MARK 为确定数据的冷热度并设置相应的数据存储策略。 <param>
”用户第一次登录时需修改密码。 使用HIndexImportTsv批量生成HBase本地二级索引数据 以客户端安装用户登录安装了客户端的节点。 执行以下命令配置环境变量并认证用户: cd 客户端安装目录 source bigdata_env kinit 组件业务用户(未开启Kerberos认证的集群请跳过该操作)
ics(stats); free(buffer); 断开HDFS文件系统连接。 hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录。 Linux中编译并运行程序 进入Linux客户端目录,运行如下命令导入公共环境变量:
> 待操作集群的名称 > 服务 > Flume”,在“实例”下单击“Flume”角色。 图6 单击Flume角色 选择准备上传配置文件的节点行的“Flume”角色,单击“实例配置”页面“flume.config.file”参数后的“上传文件”,选择“properties.properties”文件完成操作。
Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。
waitForCompletion(true) ? 0 : 1); } 样例中所有zkQuorum对象需替换为实际ZooKeeper集群节点信息。 父主题: MapReduce访问多组件样例程序
waitForCompletion(true) ? 0 : 1); } 样例中所有zkQuorum对象需替换为实际ZooKeeper集群节点信息。 父主题: MapReduce访问多组件样例程序
hadoop 0 2016-04-22 16:10 /user 创建请求上传命令,获取集群分配的可写入DataNode节点地址的信息Location。 执行如下命令访问HTTP: linux1:/opt/client # curl -i -X PUT --negotiate
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。 具有很好的伸缩能力。 能够同时处理结构化和非结构化的数据。
hadoop 0 2016-04-22 16:10 /user 创建请求上传命令,获取集群分配的可写入DataNode节点地址的信息Location。 执行如下命令访问HTTP: linux1:/opt/client # curl -i -X PUT --negotiate
“conf”目录中的“flink.keystore”和“flink.truststore”文件分别放置在Flink客户端以及Yarn各个节点的该绝对路径上。 父主题: Flink用户权限管理
“客户端安装目录/JDBC”目录,用来调测JDBC二次样例; “客户端安装目录/JDBCTransaction”目录,用来调测事务二次样例。 登录客户端节点,进入jar文件上传目录下,修改文件权限为700。 cd 客户端安装目录/JDBC 或:cd 客户端安装目录/JDBCTransaction
持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。 ClickHouse的设计优点: 数据压缩比高 多核并行计算 向量化计算引擎 支持嵌套数据结构 支持稀疏索引 支持数据Insert和Update ClickHouse的应用场景:
ics(stats); free(buffer); 断开HDFS文件系统连接。 hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录,安装方法可参考《MapReduce服务用户指南》的“客户端管理”章节。 确认服务端HDFS组件已经安装,并正常运行。
lua/sqoo:p/1.4.7。 将下载好的sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 包放入MRS集群master节点的/opt/sqoop目录下并解压。 tar zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 进入解压完成的目录,修改配置。
lua/sqoo:p/1.4.7。 将下载好的sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 包放入MRS集群master节点的/opt/sqoop目录下并解压。 tar zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 进入解压完成的目录,修改配置。
保存并重启ClickHouse服务。 自定义冷热分离数据存储策略 使用clickhouse client客户端命令连接ClickHouseServer节点,具体请参考ClickHouse客户端使用实践。 创建配置冷热存储TTL策略的ReplicatedMergeTree表。 ClickHous
“CPU配额权重”:相对值,取值范围为1~100,该值越大,表示单位时间内CPU占用越多。 “内存限额占比”:百分比,如该值设置为“20”,则当前租户在各个BE实例节点的可用内存为:物理内存 * mem_limit(BE内存限制百分比)* 20%。 “并发数”:表示单个FE实例可运行查询任务的并发数上限。
> 作业管理 > 使用OBS加密数据运行作业”页面进行相关配置后,再调用API接口运行作业。 所有示例中涉及的OBS路径、样例文件及终端节点和AKSK,请提前准备并在提交请求时根据实际情况替换。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{proj