检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问MRS集群Manager。 如果当前退服DataNode节点,退服前需要进行健康检查,步骤如下。 使用客户端用户登录客户端安装节点,并切换到客户端安装目录。 如果是安全集群,需要使用hdfs用户进行权限认证。 source bigdata_env #配置客户端环境变量
客户端配置参数需要与服务端保持一致 当集群的Hive、YARN、HDFS服务端配置参数发生变化时,客户端程序对应的参数会被改变,用户需要重新审视在配置参数变更之前提交到HiveServer的配置参数是否和服务端配置参数一致,如果不一致,需要用户在客户端重新调整并提交到HiveServer。例如下
从官网(https://phoenix.apache.org/download.html)下载phoenix二进制包上传至集群的任一Master节点,解压后修改相应权限并切换到omm用户下(例如,apache-phoenix-4.14.1-HBase-1.3-bin.tar.gz)。 tar -xvf apache-phoenix-4
其中“X”为随机生成的数字,请根据实际情况修改。同时文件需要以Flume客户端安装用户身份保存,例如root用户。 登录安装Flume客户端节点,切换到客户端安装目录,执行以下命令修改文件: vi conf/jaas.conf 修改参数“keyTab”定义的用户认证文件完整路径即4中保存
普通模式不涉及) 如需在集群间拷贝数据,拷贝数据的集群双方都需要启用集群间拷贝数据功能。 操作步骤 登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
普通模式不涉及) 如需在集群间拷贝数据,拷贝数据的集群双方都需要启用集群间拷贝数据功能。 操作步骤 登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
其中“X”为随机生成的数字,请根据实际情况修改。同时文件需要以Flume客户端安装用户身份保存,例如root用户。 登录安装Flume客户端节点,切换到客户端安装目录,执行以下命令修改文件: vi conf/jaas.conf 修改参数“keyTab”定义的用户认证文件完整路径即4中保存
类参数,为Main-Class的参数(参数间用空格分隔)。 并行度 并行数量。 并行数为作业每个算子的并行数,适度增加并行数会提高作业整体算力,但也须考虑线程增多带来的切换开销,其上限是计算单元SPU数的四倍,最佳实践为计算单元SPU数的1-2倍。 JobManager内存(MB) JobManager的内存。输入值最小为4096。
在集群详情页,单击“租户管理”。 单击“队列配置”页签。 在租户队列表格,指定租户队列的“操作”列,单击“修改”。 在“租户管理”页签左侧租户列表,单击目标的租户,切换到“资源”页签,单击也能打开修改队列配置页面(仅适用于MRS 3.x之前版本)。 一个队列只能绑定一个非default资源池。 默认资源标
Base和Yarn。 若为已有的租户关联服务资源:在租户列表单击目标租户,切换到“服务关联”页签,单击“关联服务”单独配置当前租户关联资源。 若为已有的租户取消关联服务资源:在租户列表单击目标的租户,切换到“服务关联”页签,单击“删除”,并勾选“我已阅读此信息并了解其影响。”,再单击“确定”删除与服务资源的关联。
大。 调度器类型可通过Yarn服务的“yarn.resourcemanager.scheduler.class”参数值查询。调度器类型切换参考切换MRS租户资源调度器。 为满足企业需求,克服Yarn社区在调度上遇到的挑战与困难,Superior调度器不仅集合了当前Capacity
U使用率”显示正常(有数值),若满足执行9。若不满足执行下一步。 远程登录备Master节点,详情请参见登录MRS集群节点。 执行以下命令切换为omm用户。 su - omm 执行以下命令启动Agent。 sh /opt/Bigdata/nodeagent/bin/start-agent
视图联表查询时,需要同时给两者授予select权限。 不支持GaussDB和HetuEngine数据源列脱敏。 HetuEngine服务在切换权限控制类型时,需要重启整个HetuEngine服务,包括HSConsole页面上正在运行的HetuEngine计算实例。 HetuEngine基于Ranger权限管控
归档数据直读 关闭 企业项目 default 标签 - 等待桶创建好,单击桶名称,选择“文件 > 上传文件”,将数据文件上传至OBS并行文件系统内。 切换回MRS控制台,单击创建好的MRS集群名称,进入“概览”,单击“IAM用户同步”所在行的“单击同步”,等待约5分钟同步完成。 将数据文件上传HDFS。
出现只有主键字段有值, 其他业务字段都是null的情况。 场景二: 在数据库单条数据大小超过8k(包括8k)场景下,update事件只包含变更字段,此时Hudi数据中会出现部分字段的值为__debezium_unavailable_value的情况。 相关命令如下,其中: 查询PostgreSQL表复制标识的命令为:
同作业的名称允许相同,但不建议设置相同。 默认取值: 不涉及 jar_path 否 String 参数解释: 执行程序Jar包或sql文件地址。 约束限制: 不涉及 取值范围: 需要满足如下要求: 最多为1023字符,不能包含;|&>,<'$特殊字符,且不可为空或全空格。 文件可
先删除。 如果在创建索引后将列族TTL更改为较低值,则索引可能会晚于用户数据被删除。 HBase表启动容灾之后,主集群新建二级索引,索引表变更不会自动同步到备集群。要实现该容灾场景,必须执行以下操作: 在主表创建二级索引之后,需要在备集群使用相同方法创建结构、名称完全相同的二级索引。
MRS联合消息通知服务(SMN),在配置消息通知后,可以实时给用户发送MRS集群健康状态,用户可以通过手机短信或邮箱实时接收到MRS集群变更及组件告警信息,帮助用户轻松运维,实时监控,实时发送告警。 MRS支持滚动补丁升级,可视化补丁发布信息,一键式补丁安装,无需人工干预,不停业务,保障用户集群长期稳定。
被删除。 如果在创建索引后将列族TTL更改为较低值,则索引可能会晚于用户数据被删除。 HBase表启动容灾之后,主集群新建二级索引,索引表变更不会自动同步到备集群。要实现该容灾场景,必须执行以下操作: 在主表创建二级索引之后,需要在备集群使用相同方法创建结构、名称完全相同的二级索引。
不同作业的名称允许相同,但不建议设置相同。 默认取值: 不涉及 jar_path 否 String 参数解释: 执行程序Jar包或sql文件地址。 约束限制: 不涉及 取值范围: 最多为1023字符,不能包含;|&>,<'$特殊字符,且不可为空或全空格。 文件可存储于HDFS或者O