检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
kerberos认证时用户，在安全版本下必须填写。安全集群需要配置此项，普通模式集群无需配置。 flume_hbase kerberosKeytab kerberos认证时文件路径，,在安全版本下必须填写。安全集群需要配置此项，普通模式集群无需配置。 /opt/test/conf/user.keytab
kerberos认证时用户,在安全版本下必须填写。安全集群需要配置此项，普通模式集群无需配置。 flume_hbase kerberosKeytab kerberos认证时文件路径，,在安全版本下必须填写。安全集群需要配置此项，普通模式集群无需配置。 /opt/test/conf/user.keytab
切换到客户端安装目录。 例如：cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令登录客户端工具。 zkCli.sh -server ZooKeeper角色实例所在节点业务IP:
ClickHouse运维管理 ClickHouse日志介绍 收集ClickHouse系统表转储日志 配置ClickHouse表为只读表模式 集群内ClickHouseServer节点间数据迁移 迁移MRS集群内ClickHouse数据至其他MRS集群 扩容ClickHouse节点磁盘
当前操作仅适用于MRS 3.x及之后版本集群。 安全模式集群中，支持使用Ranger鉴权的组件包括：HDFS、Yarn、Kafka、Hive、HBase、Storm、Spark/Spark2x、Impala、CDL。 非安全模式集群中，Ranger可以支持基于OS用户进行组件资源
Optimizer：优化器，分为逻辑优化器和物理优化器，分别对HQL生成的执行计划和MapReduce任务进行优化。 Executor：按照任务的依赖关系分别执行Map/Reduce任务。 ThriftServer：提供thrift接口，作为JDBC的服务端，并将Hive和其他应用程序集成起来。
ents进行minor compaction。 加载增量数据。 用户可以根据自己的需要配置minor compaction阈值。 配置示例和预期输出： 用户将所有历史数据加载到CarbonData，此数据的一个segment的大小假定为500GB。 用户设置major compaction参数的阈值：“carbon
--enable-hive-sync // 开启hive同步，同步hudi表到hive --continuous // 指定流处理模式为连续模式 HoodieMultiTableDeltaStreamer流式写入 HoodieMultiTableDeltaStreamer流式写入仅适用于MRS
置。 以HetuEngine User和Data Source User键值对的形式配置多个HetuEngine的用户对应上面多个用户的其中一个。当使用不同的HetuEngine用户访问GaussDB时，可对应用不同的GaussDB的用户和密码。 表3 HetuEngine-GaussDB用户映射配置
source /opt/client/bigdata_env 判断集群认证模式。 安全模式，执行kinit命令进行用户认证。 例如，使用oozieuser用户进行认证。 kinit oozieuser 普通模式，执行4。 根据提交任务类型，进入对应样例目录。 表1 样例目录列表 任务类型
ents进行minor compaction。 加载增量数据。 用户可以根据自己的需要配置minor compaction阈值。 配置示例和预期输出： 用户将所有历史数据加载到CarbonData，此数据的一个segment的大小假定为500GB。 用户设置major compaction参数的阈值：“carbon
parser.safeMode=true" 在集群所有节点执行1和2。 可以手动通过omm用户将修改好的“$NODE_AGENT_HOME/bin/nodeagent_ctl.sh”文件覆盖到所有节点。 使用omm用户在主OMS节点执行如下命令重启集群所有节点NodeAgent。 $
统计当前租户剩余的资源容量，实际任务不会分配在此队列中运行。 不选择“Yarn”时，系统不会自动创建任务队列。 配置模式 - 计算资源选择“Yarn”时，“配置模式”可选“基础”或“高级”。 基础：需配置“默认资源池容量 (%)”，配置当前租户在“default”资源池中使用的计算资源百分比。
source /opt/client/bigdata_env 判断集群认证模式。 安全模式，执行kinit命令进行用户认证。 例如，使用oozieuser用户进行认证。 kinit oozieuser 普通模式，执行4。 根据提交任务类型，进入对应样例目录。 表1 样例目录列表 任务类型
【Hue WedUI】Hue（主）无法打开web网页 问题背景与现象 访问Hue（主）的WebUI界面提示如下： Service Unavailable The server is temporarily unable to service your request due to
选择“华北-北京四” 说明： 本指导以“华北-北京四”为例进行介绍，如果您需要选择其他区域进行操作，请确保所有操作均在同一区域进行。 计费模式 选择待创建的MRS集群的计费模式。 按需计费 集群名称 待创建的MRS集群名称。 mrs_demo 集群类型 待创建的MRS集群类型。 选择“分析集群”，用来做离线数据分析。
printStackTrace(); } return table; } } /** * <写数据> * <这里未涉及到多线程多Table实例在设计模式上的优化.这里采用同步方法， * 主要是是考虑到同一个Table是非线程安全的.通常，建议一个Table实例，在同一 * 时间只能被用在一个写数据的线程中>
复制：表示复制选中的文件或目录。 更改权限：表示修改选中目录或文件的访问权限。 可以为属主、属组和其他用户设置“读取”、“写”和“执行”权限。 “易贴”表示禁止HDFS的管理员、目录属主或文件属主以外的用户在目录中移动文件。 “递归”表示递归设置权限到子目录。 存储策略：表示设置目录或文件在HDFS中的存储策略。
节点会根据可用内存和估计的内存使用情况分配任务。 用于初始任务分配节点时的内存需求估计。值越大表明每个TASK预估使用的内存更大，但会导致集群并发能力变小，可根据实际业务情况动态调整。 添加完成后将“立即启动”置为“是”，单击“确定”。 启用TASK容错模式后，会产生中间数据并
ClickHouse数据查询 数据查询规则 禁止select *查询 只查询需要的字段可以减少磁盘io和网络io，提升查询性能。 使用uniqCombined替代distinct uniqCombined对去重逻辑进行了优化，通过近似去重提升十倍查询性能，如果对查询允许有误差，可
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
