检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
config.properties 修改“重写缓存”的缓存上限 不填则使用默认值:10000,单位:条 参数添加完成后,将“立即启动”置为“是”,单击“确定”。 父主题: 配置HetuEngine物化视图
percentage DataNode预留空间占总磁盘空间大小的百分比。DataNode会永久预留由此百分比计算得出的磁盘空间大小。 整数值,取值范围是0~100。 10 父主题: HDFS企业级能力增强
在安全风险。 integrity:指数据直接传输,即不加密也不鉴权。 为保证数据安全,请谨慎使用这种方式。 解决办法 重新下载客户端,如果是应用程序,更新应用程序中的配置文件。 父主题: 使用HDFS
0-LTS.1 组件选择 基于系统预置的集群模板选择要购买的集群组件。 HBase查询集群 可用区 当前区域内,待创建资源所归属的可用区,可用区是在同一区域下,电力、网络隔离的物理区域。 说明: 当您为IES购买MRS时,请选择可用区为“边缘可用区”。 可用区1 虚拟私有云 MRS集群
> 待操作的服务名称”,单击右上角的“更多”,选择“重启服务”或“滚动重启服务”。 升级路径不一样重启的服务不一样,详情见如下表格。 如果是跨补丁版本升级,需要重启的组件为各版本重启组件的合集。 表1 重启组件 集群当前补丁版本 目标补丁版本 重启的组件 MRS 3.2.0-LTS
SQLDefender: Distributed DDL ALTER UPDATE queries are undesirable. ... 如果防御规则设置的是拦截,则命令执行失败,系统回显信息如下: ... DB::Exception: Distributed DDL ALTER TABLE UPDATE
password] 表2 参数说明 参数名称 说明 是否必须配置 topic 表示Kafka主题名。 是 bootstrap.server 表示broker集群ip/port列表。 是 security.protocol 运行参数可以配置为PLAINTEXT(可不配置)/SASL_P
导致系统崩溃。 ERROR ERROR表示当前事件处理出现错误信息,系统运行出错。 WARN WARN表示当前事件处理存在异常信息,但认为是正常范围,不会导致系统出错。 INFO INFO表示记录系统及各事件正常运行状态信息 DEBUG DEBUG表示记录系统及系统的调试信息。
出现规律性变化,但是数据量变化并非非常平稳。假设在周一、周二和周六7:00~13:00期间,需要Task节点的数量范围是5~8个,其他时间需要Task节点数量是2~4个。 因此可以在资源计划的基础上,设置基于负载的弹性伸缩规则,以实现当数据量超出预期后,Task节点数量可以在资源
进入“退订资源”页面,确认待退订集群信息,选择退订原因,并确认退订金额和相关费用。 单击“退订”,进入“退订”页面。 确认退订信息,单击“是”提交退订申请。 退订申请提交成功后,集群状态由“运行中”更新为“删除中”,待集群删除成功后,集群状态更新为“已删除”,并且显示在“历史集群”中。
'/user/hive_examples_data/employee_info.txt' INTO TABLE employees_info; 加载数据的实质是将数据复制到HDFS上指定表的目录下。 父主题: Hive JDBC访问样例程序
properties中的group.id与命令中--group的参数均配置为待查询的group。 Kafka集群IP端口号安全模式下是21007,普通模式下是9092。 使用KafkaUI查看当前消费情况(MRS 3.1.2及之后版本) 进入KafkaUI界面。 使用具有KafkaUI
error when connect apache zookeeper ", e); } } [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”
error when connect apache zookeeper ", e); } } [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”
SparkSQL天然与Hive集成,无需考虑元数据问题。该条建议针对的是通过Spark Datasource API或者Flin写Hudi表的场景,通过这两种方式写Hudi时需要增加向Hive同步元数据的配置项;该配置的目的是将Hudi表的元数据统一托管到Hive元数据服务中,为后续的跨引擎操作数据以及数据管理提供便利。
> 待操作的服务名称”,单击右上角的“更多”,选择“重启服务”或“滚动重启服务”。 升级路径不一样重启的服务不一样,详情见如下表格。 如果是跨补丁版本升级,需要重启的组件为各版本重启组件的合集。 表1 重启组件 集群当前补丁版本 目标补丁版本 重启的组件 MRS 3.2.0-LTS
is sent successfully. 在MRS Manager界面,选择“服务管理 > 更多 > 启动集群”。 在弹出的提示框中单击“是”,开始启动集群。界面提示“操作成功。”,单击“完成”,集群成功启动。 父主题: MRS集群安全加固
di表的存储文件分为两类。 “.hoodie”文件夹中存放了对应的文件合并操作相关的日志文件。 包含_partition_key相关的路径是实际的数据文件和metadata,按分区存储。 Hudi的数据文件使用Parquet文件格式的base file和Avro格式的log file存储。
system”,即可查看Hudi表。 “.hoodie”文件夹中存放了对应的文件合并操作相关的日志文件。 包含_partition_key相关的路径是实际的数据文件和metadata,按分区存储。 Hudi的数据文件使用Parquet文件格式的base file和Avro格式的log file存储。
properties中的group.id与命令中--group的参数均配置为待查询的group。 Kafka集群IP端口号安全模式下是21007,普通模式下是9092。 使用KafkaUI查看当前消费情况 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight