检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
扩容ClickHouse节点磁盘 随着业务量的增长,ClickHouse节点数据盘的磁盘容量已不能满足业务需求,需要扩容数据盘磁盘容量。 如果购买MRS集群的计费模式为按需计费,扩容磁盘容量后MRS集群不支持转包周期。 前提条件 ClickHouse集群和实例状态正常。 已评估好要扩容的ClickHouse节点数据盘磁盘容量大小。
ata表中,用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件(user.keytab、krb5.conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的
ClickHouse增加磁盘容量 随着业务量的增长,ClickHouse节点数据盘的磁盘容量已不能满足业务需求,需要扩容数据盘磁盘容量。 如果购买MRS集群的计费模式为按需计费,扩容磁盘容量后MRS集群不支持转包周期。 本章节仅适用于MRS 3.1.0版本。 前提条件 ClickHouse集群和实例状态正常。
Hive应用开发常用概念 keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在MRS产品中进行API方式认证。 客户端 客户端直接面向用户,可通过Java API、Thrift API访问服务端进行Hive的相关操作。 HQL语言 Hive Query Language,类SQL语句。
nv.zip”文件。 zip -q -r venv.zip venv/ 以root用户登录主管理节点,将1和2获取的“venv.zip”、“pyflink-sql.py”和“datagen2kafka.sql”文件上传至客户端环境。 per-job模式:将上述文件上传到“客户端安装目录/Flink/flink”。
nv.zip”文件。 zip -q -r venv.zip venv/ 以root用户登录主管理节点,将1和2获取的“venv.zip”、“pyflink-sql.py”和“datagen2kafka.sql”文件上传至客户端环境。 per-job模式:将上述文件上传到“客户端安装目录/Flink/flink”。
0版本集群,当用户名超过20位时(添加用户时最长限制为32位),下载Keytab文件会下载失败,状态代码:400 Bad Request。 问题现象 MRS 3.0.2~MRS 3.1.0版本集群,当用户名超过20位时(添加用户时最长限制为32位),下载Keytab文件会下载失败,状态代码:400 Bad Request。
法。当使用insert语句向表中插入数据时,即可实现将对应列加密。列加密只支持存储在HDFS上的TextFile和SequenceFile文件格式的表。Hive列加密不支持视图以及Hive over HBase场景。 Hive列加密机制目前支持的加密算法有两种,在建表时指定: AES(对应加密类名称为:org
egion上的OBS文件。 脚本中如何从OBS文件系统下载文件。 您可以在脚本中指定从OBS下载需要的文件。如果将文件上传到私有文件系统,需要用hadoop fs下载。 例如,执行以下命令将“obs://yourbucket/myfile.tar.gz”文件下载到本地,并解压到“/your-dir”目录下:
权衡当前需要创建的Topic创建完成后,会不会达到文件句柄上限,每个Partition文件夹下会最多保存多大的数据,会产生多少个数据文件(*.log文件,默认配置为1GB,可通过修改log.segment.bytes来调整大小)和索引文件(*.index文件,默认配置为10MB,可通过修改log
权衡当前需要创建的Topic创建完成后,会不会达到文件句柄上限,每个Partition文件夹下会最多保存多大的数据,会产生多少个数据文件(*.log文件,默认配置为1GB,可通过修改log.segment.bytes来调整大小)和索引文件(*.index文件,默认配置为10MB,可通过修改log
ata表中,用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件(user.keytab、krb5.conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的
作的数据存放在相同的存储节点上。 Hive支持HDFS的Colocation功能,即在创建Hive表时,通过设置表文件分布的locator信息,可以将相关表的数据文件存放在相同的存储节点上,从而使后续的多表关联的数据计算更加方便和高效。 Hive开源增强特性:支持列加密功能 Hi
在HDFS命令行显式添加要访问的OBS文件系统。 例如: 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录: hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop 使用以
在Yarn命令行显式添加要访问的OBS文件系统。 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录: hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop1 执行以下Yarn任务访问OBS:
通过HSFabric实现KeyTab文件认证 KeyTab文件认证,需要“jaas-zk.conf”、“krb5.conf”和“user.keytab”文件。 “krb5.conf”和“user.keytab”文件参考MRS组件应用安全认证说明章节获得。 “jaas-zk.conf”文件如下定义,“p
在OBS上创建userdata并行文件系统,然后在userdata文件系统下创建program、input、output和log文件夹。 单击“并行文件系统 > 创建并行文件系统”,创建一个名称为userdata的文件系统。 在OBS文件系统列表中单击文件系统名称userdata,选择“文件 > 新建文
t写入小数据量时可能触发更新数据的小文件合并,使在Mor表的读优化视图中能查到部分更新数据。 当update的数据对应的base文件是小文件时,insert中的数据和update中的数据会被合在一起和base文件直接做合并产生新的base文件,而不是写log。 分区设置操作 Hu
// 创建目录 mkdir(); // 写文件 write(); // 追加文件内容 append(); // 读文件 read(); // 删除文件 delete(); // 删除目录
// 创建目录 mkdir(); // 写文件 write(); // 追加文件内容 append(); // 读文件 read(); // 删除文件 delete(); // 删除目录