检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置组件数据回收站目录的清理策略。 在存算分离场景下,对接OBS的组件默认开启了数据防误删功能,用户删除数据时,被删除对象会移动至用户对应的回收站目录内,用户需要在OBS文件系统中为对应的目录配置生命周期策略,以避免存储空间被占满的风险。 组件对接OBS。 在具备OBS资源的访问权限后,M
务自研组件,提供长期的支持和演进。 普通版:主要依托开源组件的能力,融入了MRS服务自研、成熟稳定的特性和功能,带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Presto”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Presto”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
test(nonSecurityModeUrl);[2] [1]修改restHostName为待访问的RestServer实例所在节点的IP地址,并将节点IP配置到运行样例代码的本机hosts文件中。 [2]非安全模式采用http模式进行访问HBase REST服务,传入“non
ined]'); 参数描述 表1 参数描述 参数 描述 是否必填 table 需要查询表的表名,支持database.tablename格式 是 clean_policy 清理老版本数据文件的策略,默认KEEP_LATEST_COMMITS 否 retain_commits 仅对
false); } [1]userdir获取的是编译后资源路径下conf目录的路径。初始化配置用到的core-site.xml、hdfs-site.xml、hbase-site.xml文件,需要放置到"src/main/resources/conf"的目录下。 连接ThriftServer实例
false); } [1]userdir获取的是编译后资源路径下conf目录的路径。初始化配置用到的core-site.xml、hdfs-site.xml、hbase-site.xml文件,需要放置到"src/main/resources/conf"的目录下。 连接ThriftServer实例
ql”中的“pyflink-sql.py”和“datagen2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv.zip”文件。 zip -q -r venv.zip venv/ 以root用户登录主管理节点,将1和2获取的“venv
ql”中的“pyflink-sql.py”和“datagen2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv.zip”文件。 zip -q -r venv.zip venv/ 以root用户登录主管理节点,将1和2获取的“venv
afka的监控指标“未完全同步的Partition总数”进行查看。 Kafka滚动重启过程中,建议设置客户端Producer的配置参数“acks”的值为“-1”(配置方式和其他Producer配置参数的配置方式一致),否则在逐个重启Broker实例的瞬间有丢失少量数据的风险。设置
在yarn-client模式下,Spark的Driver和ApplicationMaster作为两个独立的进程在运行。当Driver完成任务退出时,会通知ApplicationMaster向ResourceManager注销自身,即调用unregister方法。 由于是远程调用,则存在发生网络故障的可能性。当发
hadoop.hbase.hindex.client.HIndexAdmin中提供的方法来管理HIndexes。 该类提供了将索引添加到现有表的方法: 根据用户是否希望在添加索引操作期间构建索引数据,有两种不同的方法可将索引添加到表中: addIndicesWithData() addIndices()
事件ID 事件信息的ID。 事件名称 事件信息的名称。 事件级别 事件级别。分为紧急、重要、次要、提示四个级别。 产生时间 事件产生的时间。 对象 事件可能的原因提示。 序列号 系统产生的事件计数。 定位信息 定位事件的详细信息。主要包含以下信息: 来源:产生事件的集群名称 服务名:产生事件的服务名称
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Presto”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
name; 图2 执行结果 可在Yarn上查看执行的任务。 登录FusionInsight Manager页面,选择“集群 > 服务 > Yarn > 概览”,单击“ResourceManager WebUI”后面对应的链接,进入Yarn的WebUI页面,查看对应任务。 图3 作业任务
> 服务 > LdapServer”。 在概览页面右上角选择 “更多 > 修改数据库密码”,在弹出窗口中输入当前登录的用户密码确认身份,单击“确定”。 在“修改密码”对话框的“用户信息”中选择需要修改密码的用户名。 在“旧密码”输入旧密码,“新密码”和“确认密码”输入新密码。 默认密码复杂度要求:
在指定的时间内为MRS集群续费,否则集群将终止服务,系统中的数据也将被永久删除。 续费操作仅适用于包年/包月MRS集群,按需计费MRS集群不需要续费,只需要保证账户余额充足即可。 MRS集群在到期前续费成功,所有资源得以保留,且MRS集群的运行不受影响。MRS集群到期后的状态说明,请参见到期后影响。
Spark SQL join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 配置多并发客户端连接JDBCServer 配置SparkSQL的分块个数 Spark动态分区插入场景内存优化 小文件优化
假定Hive的person表存储用户当天消费的金额信息,HBase的table2表存储用户历史消费的金额信息。 现person表有记录name=1,account=100,表示用户1在当天消费金额为100元。 table2表有记录key=1,cf:cid=1000,表示用户1的历史消息记录金额为1000元。