检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需要重新下载并安装,或者使用配置文件更新客户端。 更新客户端配置 方法一: 访问集群Manager,在“集群”下拉列表中单击需要操作的集群名称。 选择“更多 > 下载客户端 > 仅配置文件”。 此时生成的压缩文件包含所有服务的配置文件。 是否在集群的节点中生成配置文件? 是,勾选
经常有数据去重或有update修改数据的场景下,建议使用ReplacingMergeTree表引擎,配合使用argMax函数获取最新数据。 表1 应用场景列表 引擎名称 应用场景 MergeTree ClickHouse中最重要的引擎,基于分区键(partitioning key)的数据分区分块存储、前缀稀疏索引(order
manager_password:集群用户对应的密码(密码明文存储存在安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全)。 topic:生产消费的topic名称,默认值“example-metric1”。 isAsync:是否使用异步生产,默认值“false”。 consumer.alive.ti
node_ip node_ip:集群内其他节点IP,不支持多个IP。 登录FusionInsight Manager,在“主页”中单击待操作集群名称后的“ > 启动”(MRS 3.3.0及之后版本,选择“主页”右上角的“更多> 启动”),启动集群。 父主题: MRS集群安全加固
tor --support-timestamp 表1 参数说明 命令 描述 必填 默认值 --database Hive database名称 N default --table Hive表名 Y - --base-file-format 文件格式 (PARQUET或HFILE)
xml文件,替换到cluster1中的Spark2x客户端下“conf”目录hbase-site.xml文件。 访问Kafka,仅需将应用访问的Kafka Broker地址设置为cluster2中的Kafka Broker地址即可。 同时访问两个集群的HDFS: 无法同时获取两个相同nameservice的tok
Storm用户“testpol”。 modprinc -policy streampol testpol 其中“streampol”是策略名称,“testpol”是用户名。 界面显示如下信息,说明指定用户的属性已修改: Principal "testpol@<系统域名>" modified
议。例如,若Curl仅支持TLSv1协议,修改方法如下: 登录FusionInsight Manager页面,单击“集群 > 待操作集群的名称 > 服务 > Yarn > 配置 >全部配置”,在“搜索”框里搜索“hadoop.ssl.enabled.protocols”,查看参数
入SparkUI页面。 History Server页面,用于展示已经完成的和未完成的Spark应用的运行情况。 页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。单击应用ID,页面将跳转到该应用的SparkUI页面。 通过Spark日志获取应用程序运行情况。
数超过了300,需要修改DBService的最大连接数。 解决办法 进入DBService服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > DBService > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面
"/opt/client/krb5.conf" 在Windows环境的开发环境IntelliJ IDEA中,在“Maven Projects > 样例工程名称 > Lifecycle”中,执行“clean”和“package”操作,编译完成后,在target目录下即可生成“hetu-examples-XXX
丁版本号}/client/ source /opt/Bigdata/client/bigdata_env 所有涉及{MRS补丁版本号}目录名称的操作,均以实际安装的补丁号为准。 例如: cd /opt/Bigdata/patches/MRS_3.3.0-LTS.1.1/client/
数字、字母、下划线(_)、中划线(-)和空格。 “用户名”不能与集群各节点所有操作系统用户名相同,否则此用户无法正常使用。 不支持创建两个名称相同但大小写不同的用户。例如已创建用户“User1”,无法创建用户“user1”。使用“User1”时请输入正确的用户名。 用户类型 可选值包括“人机”和“机机”。
配置参数 参数入口: 在Manager系统中,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,在搜索框中输入参数名称。 表1 参数介绍 参数 描述 默认值 spark.yarn.cluster.driver.extraClassPath YARN-Clu
> 服务 > Doris > 配置 > 全部配置”。 选择“FE(角色) > 自定义”,在参数文件“fe.conf”中添加自定义参数,参数名称为“enable_col_auth”,值为“true” 单击“保存”,单击“确定”,保存配置。 单击“实例”,勾选所有FE实例,选择“更多
<driver_type>:数据库驱动类型。 <ip>:源集群数据库的IP地址。 <port>:源集群数据库的端口号。 <table_name>:待导出的表名称。 <user>:用户名。 <passwd>:用户密码。 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。
SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。 样例工程介绍 MRS样例工程获取地址为https://github.c
SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。 样例工程介绍 MRS样例工程获取地址为https://github.c
env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool
在FusionInsight Manager界面选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的名称,例如developrole,单击“确定”保存角色。 在“配置资源权限”的表格中选择“待操作集群的名称 > ClickHouse > Clickhouse管理员权限”。 选择“系统 > 权限