检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问权限策略 添加HBase的Ranger访问权限策略 添加Hive的Ranger访问权限策略 添加Yarn的Ranger访问权限策略 添加Spark2x的Ranger访问权限策略 添加Kafka的Ranger访问权限策略 添加HetuEngine的Ranger访问权限策略 添加OBS
使用CDM服务迁移Hadoop数据至MRS集群 使用CDM服务迁移HBase数据至MRS集群 使用CDM服务迁移Hive数据至MRS集群 使用BulkLoad工具向HBase中批量导入数据 使用CDM服务迁移MySQL数据至MRS Hive 使用CDM服务迁移MRS HDFS数据至OBS
对于globStatus,分别匹配每个路径组件的glob模式,而对于其他的,直接匹配glob模式。
obs-connector 表1 obs-connector数据源连接属性 参数 说明 桶名 保存源数据的OBS文件系统。 源目录或文件 源数据实际存储的形态,可能是文件系统包含一个目录中的全部数据文件,或者是文件系统包含的单个数据文件。
Observer Observer主要用于扩展集群的查询并发能力,可选部署。Observer不参与选主,不会增加集群的选主压力。 StarRocks基本概念 在StarRocks中,数据都以表(Table)的形式进行逻辑上的描述。
root --password xxx --table component --target-dir obs://obs-file-bucket/xx --delete-target-dir --fields-terminated-by "," -m 1 --as-textfile
使用Flink Web页面查看Flink应用程序运行情况 Flink Web页面主要包括了Overview、Running Jobs、Completed Jobs、Task Managers、Job Manager和Logout等部分。
2.0.1.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.0.1.1 发布时间 2019-09-30 解决的问题 MRS Manager 解决反复扩缩容导致MRS Master节点executor内存溢出问题 MRS大数据组件 MRS Presto新增Presto支持OBSFileSystem
Sqoop常见问题 报错找不到QueryProvider类 使用hcatalog方式同步数据,报错getHiveClient方法不存在 连接postgresql或者gaussdb时报错 使用hive-table方式同步数据到obs上的hive表报错 使用hive-table方式同步数据到
Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强 Spark Core性能调优 Spark SQL性能调优 Spark Streaming性能调优 Spark on OBS
管理Loader连接(MRS 3.x及之后版本) Loader作业源连接配置说明 Loader作业目的连接配置说明 管理Loader作业 准备MySQL数据库连接的驱动 数据导入 数据导出 作业管理 算子帮助 客户端工具说明 Loader日志介绍 样例:通过Loader将数据从OBS
从关系型数据库导入数据到HDFS/OBS,可以不用配置数据转换,数据将按“,”分隔保存到HDFS/OBS。 从HDFS/OBS导出数据到关系型数据库,可以不用配置数据转换,数据将按“,”分隔保存到关系型数据库。
对于globStatus,分别匹配每个路径组件的glob模式,而对于其他的,直接匹配glob模式。
$1.apply(ZkNodeChangeNotificationListener.scala:118) at kafka.common.ZkNodeChangeNotificationListener$$anonfun$purgeObsoleteNotifications$1.apply
图3 Jobs 图4 Stage 图5 Task 参考信息 通过单击stdout或者stderr进入日志页面以后只会展示stdout或者stderr的日志,如果需要查看完整日志,可以通过将url里面的stdout或者stderr去掉,然后就可以直接访问这个executor的所有日志
安装补丁 安装补丁 将从OBS路径中下载的补丁(MRS_3.1.0_TROS_Tools_patch_20240430.tar.gz)工具放至主OMS节点的“/home/omm”目录下。 执行如下命令下载补丁,如果已存在,可跳过此步骤。
OBS存储开启本地缓存 OBS数据存储场景可根据业务需求配置本地缓存,提升读取速率,配置单盘100GB本地缓存示例:—data_cache=/srv/BigData/data1/impala:100GB HDFS存储开启短路读 HDFS存储场景下可开启短路读,提升读取速率,具体请参考
当前仅支持转储到OBS中。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 id String 参数解释: SQL的执行id。
Upgrade Observation Period (Days) 进入升级观察期的时间(天)。 对系统的影响 升级观察期禁止对用户、实例、角色、服务、主机、资源池等执行添加或删除等影响管理拓扑结构的操作。 可能原因 系统升级之后超过一定时间(默认为10天)未做升级提交。
登录“对象存储服务 OBS”管理控制台,单击“并行文件系统”,单击Hive表所在的OBS并行文件系统名称,在概览界面查看“Endpoint”参数值,该值为创建Catalog时设置AWS_ENDPOINT参数的值。 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。