检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更换MRS集群证书 更换CA证书 更换HA证书 父主题: MRS集群安全配置
查看 在“标签”页,可以查看当前集群的标签详情,包括标签个数,以及每个标签的键和值。 添加 单击左上角的“添加/编辑标签”(若首次添加标签则为单击“添加标签”),在弹出的“添加/编辑标签”窗口,输入新添加标签的键和值,并单击“确定”。 删除 单击标签所在行“操作”列下的“删除”
创建MRS IAM自定义权限策略 如果系统预置的MRS权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考策略及授权项说明。 目前支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务
添加MRS组件自定义参数 MRS集群内各个大数据组件通常支持开源社区的所有参数,其中部分常用场景的配置参数支持在MRS管理控制台或者Manager中进行修改,且部分组件的客户端可能不包含开源特性的所有参数。 如果需要修改或者添加界面中未包含的配置参数,用户可以通过自定义配置项功能
(0x0000ffffaefe8000) 查看执行结果中libcrypto.so.1.1的指向是否有值,如果为not found请执行以下命令加载。 echo $LD_LIBRARY_PATH 查看系统库环境变量里是否加载了非系统的openssl相关的库。如果是,请修改为系统的openssl相关的库。 如果仍旧无法解决,请联系支持人员。
在服务列表中,勾选需要添加的服务,单击“下一步”。 添加服务时,该服务依赖的下层服务也会自动勾选,可以同时添加多个服务。 只能在状态正常的节点或节点组上添加服务。 Hadoop服务内的组件(MapReduce、Yarn和HDFS)不支持单独添加。 未安装Hadoop的集群,在添加Hadoop后,需
IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点,支持对接Hadoop与Spark生态,适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 背景信息 假定某某集团旗下有3个生产线,每个生产线上有5台设备,传感器会实时采集这些设备的指标数据(例如温
Spark运行的时候会将临时产生的shuffle文件放在executor的临时目录中,方便后面获取。 而当某个executor异常退出时,NodeManager会把这个executor所在的container临时目录删除,随后其他executor再来申请这个executor的shuffle结果就会报文件找不到。
AW(n)这些Oracle数据库类型的列,或者使用映射到这些Oracle数据库类型的Trino数据类型的列,不支持下推。 例如:由于name在HetuEngine中是VARCHAR类型的列,映射到Oracle中是NCLOB,因此如下两个查询的谓词均不会下推。 SELECT * FROM
通过spark-sql创建UDF。 删除UDF失败,存在以下两种场景: 在Spark Beeline中,对于其他方式创建的UDF,需要重新启动Spark服务端的JDBCServer后,才能将此类UDF删除成功,否则删除失败。在spark-sql中,对于其他方式创建的UDF,需要重新启动spark-sql后,才能将此类UDF删除成功,否则删除失败。
ecutor中的长运行任务,负责从数据源接收数据,并且在数据源支持时还负责确认收到数据的结果(收到的数据被保存在Executor的内存中,然后Driver在Executor中运行来处理任务)。 当启用了预写日志以后,所有收到的数据同时还保存到了容错文件系统的日志文件中。此时即使Spark
1版本发布的所有补丁解决的问题。 安装补丁的影响 安装补丁后需要重启服务才能生效,重启服务期间引起服务暂不可用。 安装补丁后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2
添加MySQL数据源 本章节适用于MRS 3.3.0及之后的版本。 HetuEngine支持配置MySQL数据源实现对MySQL数据源的接入与查询功能。本章节指导用户在集群的HSConsole界面添加MySQL类型的JDBC数据源。 添加MySQL数据源前提条件 数据源与HetuEngine集群节点网络互通。
指定业务用户名,则输入“yes”,并根据提示输入业务用户名和对应的业务用户密码: 不指定业务用户名,则输入“no”;此时,则使用7中的用户执行后续操作: 输入其他,则退出登录: (可选)创建元数据。 IoTDB具有类型推断的能力,因此在数据导入前创建元数据不是必须的。但仍然推荐在使用CSV导入工具导入数据前创建
动态分区表插入数据的最后一步是读取shuffle文件的数据,再写入到表对应的分区文件中。 当大面积shuffle文件损坏后,会引起大批量task失败,然后进行job重试。重试前Spark会将写表分区文件的句柄关闭,大批量task关闭句柄时HDFS无法及时处理。在task进行下一次
48a54d3dc’的子Region,子Region引用了父Region的文件,父Region的文件在迁移过程中因为未知原因丢失了,导致子Region找不到引用文件。 这种异常并不能通过简单的重试可解决,所以Region会长时间处于RIT状态。 处理步骤 在HDFS客户端执行以下命令删除2查看到的残留文件:
进入program文件夹,单击上传文件,从本地选择1中下载的程序包,“存储类别”选择“标准存储”。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 提交sparkPi作业。 在MRS控制台选择“作业管理”,单击“添加”,进入“添加作业”页面,具体请参见运行Spark作业。 图2
连接ClickHouse数据源的用户名。 根据连接数据源的用户名修改。 密码 连接ClickHouse数据源的用户密码。 根据连接数据源的用户密码修改。 Schema/Table大小写敏感 支持数据源的Schema/Table名称大小写格式敏感。 HetuEngine支持数据源的Schema/Table名称大小写格式敏感。
动态分区表插入数据的最后一步是读取shuffle文件的数据,再写入到表对应的分区文件中。 当大面积shuffle文件损坏后,会引起大批量task失败,然后进行job重试。重试前Spark会将写表分区文件的句柄关闭,大批量task关闭句柄时HDFS无法及时处理。在task进行下一次
educe功能创建索引的TableIndexer工具,该工具可实现添加、构建和删除索引。具体使用场景如下: 在表中预先存在大量数据的情况下,可能希望在某个列上添加索引。但是,使用addIndicesWithData() API添加索引会生成与相关数据对应的索引数据,这将花费大量时