检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
t脚本两种形式,如果SQL语句涉及敏感信息,也可使用脚本文件方式提交。 用户可以在MRS管理控制台在线创建一个作业并提交运行,也可以通过MRS集群客户端来以命令行形式提交作业。 操作视频 本视频以在MRS集群的管理控制台上提交并查看SparkSql作业为例进行说明。 因不同版本操
达到使用率上限。 处理步骤 登录MRS集群详情页面,选择“告警管理”。 在告警列表中单击该告警,从“告警详情”的“定位信息”中获得HostName(主机名称)和PartitionName(磁盘分区名称)。 在“主机管理”页面,单击2中获取的主机名称。 检查“磁盘”区域中是否包含该告警中的磁盘分区名称。
延有要求,如离线报表场景、实时报表的数据初始化场景。 数据加载方式: 在存在DataArts Studio工具的场景下,数据加载统一使用CDM进行(DataArts Studio需要2.10及以上版本)。 在不存在DataArts Studio工具的场景下,可以使用Spark或者
请在低业务负载时间段进行滚动重启操作。 在滚动重启Kafka服务时, 如果Kafka服务业务吞吐量很高(100MB/s以上的情况下),会出现Kafka服务滚动重启失败的情况。 在滚动重启HBase服务时候,如果原生界面上每个RegionServer上每秒的请求数超过10000,需要增大
@123Admin@123)登录FusionInsight Manager,单击主页上的或者“更多”,单击“重启”,重启集群。 在弹出窗口中输入当前登录的用户密码确认身份,然后单击“确定”。 在确认重启集群的对话框中单击“确定”,等待界面提示“操作成功。”,单击“完成”。 退出FusionInsight
新周期的设置在Kerberos服务的配置页面的“系统”标签下,票据刷新周期的修改可以根据实际情况修改“kdc_renew_lifetime”和“kdc_max_renewable_life”的值。 下载并安装HBase客户端程序。 获取相关配置文件。获取方法如下。 在安装好的hb
类型及存储在OBS上的Hudi表进行该操作。该功能由session级别变量“enable_hudi_bucket_shuffle” 控制是否启用,默认关闭,可通过连接Doris后执行set enable_hudi_bucket_shuffle=true;命令开启。 在等值Join
高级配置 最大数量:一次性显示的最大日志条数,如果检索到的日志数量超过设定值,时间较早的将被忽略。不配表示不限制。 检索超时:用于限制每个节点上的最大检索时间,超时后会中止搜索,已经搜索到的结果仍会显示。 单击“检索”开始搜索,结果包含字段如表2所示。 表2 检索结果 参数名 说明 时间
Permissions”,勾选“Alter”。 LOAD操作 在“Policy Name”填写策略名称。 “database”右侧填写或选择对应的数据库,在“table”右侧填写或选择对应的表,在“column”右侧填写并选择“*”。 在“Allow Conditions”区域,单击“Select
准备本地应用开发环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下:
0”。 图1 Doris租户模型 用户与租户关联后,该用户提交的query任务就与Workload Group相关联,可以限制单个查询在BE节点上的CPU和内存资源的百分比,和配置资源组的内存软隔离。 开启内存软隔离后,当集群资源紧张时,将自动结束组内占用内存最大的若干个查询任务
-examples", "test.txt"); /** * * 如果程序运行在Linux上,则需要core-site.xml、hdfs-site.xml的路径修改为在Linux下客户端文件的绝对路径 * * */ private static
集群配额 Clickhouse服务在ZooKeeper的数量配额使用率 ClickHouse服务在ZooKeeper上目录的数量配额使用百分比。 90% Clickhouse服务在ZooKeeper的容量配额使用率 ClickHouse服务在ZooKeeper上目录的容量配额使用百分比。
不能包含;|&><'$特殊字符,可为空。 注意: 用户输入带有敏感信息(如登录密码)的参数时,可通过在参数名前添加“@”的方式为该参数值加密,以防止敏感信息被明文形式持久化。 在MRS管理控制台查看作业信息时,敏感信息会显示为“*”。 例如:username=testuser @password=用户密码
add("DROP TABLE child"); executeSql(url, sqlList); 样例工程中的data文件需要放到HDFS上的home目录下 保证data文件和创建的表的所属的用户和用户组保持一致 拼接JDBC URL。 HA模式下url的host和port必须为“ha-cluster”。
集群需要互相访问对方的资源时,管理员可以设置互信的系统,使外部系统的用户可以在本系统中使用。每个系统用户安全使用的范围定义为“域”,不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。集群配置互信具体操作步骤请参考集群互信管理章节。 多集群互信
MRS存算分离配置流程说明 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅作数据计算处理的存算分离模式,从而实现按需灵活扩展资源、低成本的海量数据分析方案。 大数据存算分离场景,请务必使用OBS并行文件系统(并行文件系统
进入消息通知服务页面。 在左侧导航栏,选择“主题管理 > 主题”。 进入主题页面。 在主题页面,单击“创建主题”,开始创建主题。 此时将显示“创建主题”对话框。 在“主题名称”框中,输入主题名称,在“显示名”框中输入相关描述。 在“企业项目”中选择已有的项目,或者单击“新建企业项目”,在“企业项
编译并运行Flink应用 在程序代码完成开发后,建议您上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行,只支持在Linux环境下运行。 操作步骤 在IntelliJ
集群需要互相访问对方的资源时,管理员可以设置互信的系统,使外部系统的用户可以在本系统中使用。每个系统用户安全使用的范围定义为“域”,不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。集群配置互信具体操作步骤请参考集群互信管理章节。 多集群互信