检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
tsd_hostname:修改为连接OpenTSDB服务的TSD实例的主机名或IP。 若当前运行环境与OpenTSDB安装环境处于同一个VPC网络中,使用连接的TSD实例IP或主机名均可。 若当前运行环境与OpenTSDB安装环境位于不同VPC中,仅可使用主机名进行访问。同时需在连接的TSD实例上绑定EIP,并
配置AM自动调整分配内存 本章节适用于MRS 3.x及后续版本集群。 配置场景 启动该配置的过程中,ApplicationMaster在创建Container时,分配的内存会根据任务总数的浮动自动调整,资源利用更加灵活,提高了客户端应用运行的容错性。 配置描述 参数入口: 参考修
图4 配置“Source” 在“Dependencies”页面,修改“Module SDK”为“SDKs”中添加的JDK。 图5 配置“Dependencies” 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting
网络互通 。 用户名和密码为登录MySQL的连接用户名和密码。 配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 分别上传配置文件到Master节点(Coordinator实例所在节点)的“/opt/Bigdata/MRS_Cur
签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 选择“HBase > 服务配置”,将“基础配置”切换为“全部配置”,进入HBase配置界面修改参数配置。 表1 HBase参数说明 参数 参数说明 参数值 hbase.regionserver.hfile.durable
开启Guardian组件对接OBS开关并配置组件。 修改Guardian服务相关配置参数,配置IAM委托认证信息。 配置组件数据回收站目录的清理策略。 在存算分离场景下,对接OBS的组件默认开启了数据防误删功能,用户删除数据时,被删除对象会移动至用户对应的回收站目录内,用户需要在OBS文件系统中为对应的目录配置
配置文件放置在样例工程的“kafka-examples\src\main\resources”目录下。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 不同的IDEA版本的操作步骤可能存在差异,以实际版本的界面操作为准。 打开IntelliJ
commons:commons-crypto:pom:${commons-crypto.version} 回答 hbase-common模块依赖commons-crypto,在hbase-common的pom.xml文件中,对于commons-crypto的引入,<version>使用了${commons-crypto
配置文件放置在样例工程的“kafka-examples\src\main\resources”目录下。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 不同的IDEA版本的操作步骤可能存在差异,以实际版本的界面操作为准。 打开IntelliJ
若集群中某些服务的配置状态为“失败”时,同步指定服务的配置数据与后台配置数据。 同步MRS集群组件配置参数对系统的影响 同步集群或服务配置后,需要重启配置过期的服务。重启时对应的服务不可用。 同步角色实例配置后,需要重启配置过期的角色实例。重启时对应的角色实例不可用。 前提条件 如果通过M
commons:commons-crypto:pom:${commons-crypto.version} 回答 hbase-common模块依赖commons-crypto,在hbase-common的pom.xml文件中,对于commons-crypto的引入,<version>使用了${commons-crypto
commons:commons-crypto:pom:${commons-crypto.version} 回答 hbase-common模块依赖commons-crypto,在hbase-common的pom.xml文件中,对于commons-crypto的引入,<version>使用了${commons-crypto
commons:commons-crypto:pom:${commons-crypto.version} 回答 hbase-common模块依赖commons-crypto,在hbase-common的pom.xml文件中,对于commons-crypto的引入,<version>使用了${commons-crypto
配置MRS集群通过IAM委托对接OBS MRS支持用户将数据存储在OBS服务中,使用MRS集群仅作数据计算处理的存算模式。MRS通过IAM服务的“委托”机制进行简单配置, 实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。 通过绑定委托
配置Doris SQL防御 操作场景 用户可以在Manager界面配置Doris的SQL防御规则,根据业务调整对应SQL防御规则的参数。 该功能仅MRS 3.5.0及之后版本支持。 前提条件 待连接Doris数据库的节点与MRS集群网络互通。 FE和BE实例状态正常。 已安装MySQL客户端。
指定导出数据的分隔符,与需要导出的HDFS中的数据表中的分隔符保持一致。 -m或-num-mappers <n> 启动n个map来并行导入数据,默认是4个,该值请勿高于集群的最大Map数。 -direct 快速模式,利用了数据库的导入工具,如MySQL的mysqlimport,可以比jdbc连接的方式更为高效的将数据导入到关系数据库中。
同时也要存储一些大文件的混合场景。简单来说,就是在HBase表中,需要存放大量的小文件(10MB以下),同时又需要存放一些比较大的文件(10MB以上)。 HFS为以上场景提供了统一的操作接口,这些操作接口与HBase的函数接口类似。必须在HBase的配置参数“hbase.coprocessor
登录待连接的数据库的用户名。 密码 - 登录待连接的数据库的密码。 当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户。如果为非root用户,请参考创建并配置RDS实例操作。 单击“确定”完成创建。 配置Hive数据连接 该功能在MRS 3.0.5版本暂不支持。
如何修改HDFS的副本数? 进入HDFS服务配置页面: MRS 1.8.10及之前版本,登录MRS Manager页面,具体请参见访问MRS Manager,然后选择“服务管理 > HDFS > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 MRS 1.8.10之后及2
Spark2x验证返回已创建的表名 使用“Ctrl + C”退出spark beeline。 集群安装后使用spark sql 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env 修改配置文件: vim 客户端安装目录/Spark2