检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“设置最小授权范围”根据实际情况选择授权的资源范围,单击“确定”,创建委托。 在“委托”页面,将鼠标移动到新创建的委托名称上,获取具备访问OBS权限的委托ID。 创建对接ECS/BMS云服务委托 登录华为云管理控制台,选择“统一身份认证服务”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,设置相关参数,单击“下一步”。
标准,并对照检查标准对文件进行进一步的手动检查和修改。 执行vi 文件名命令进入编辑模式,按“Insert”键开始编辑。 修改完成后按“Esc”键退出编辑模式,并输入:wq保存退出。 例如: vi /etc/ssh/sshd_config 等待一个小时,进入下一次检查,查看告警是否恢复。
“设置最小授权范围”根据实际情况选择授权的资源范围,单击“确定”,创建委托。 在“委托”页面,将鼠标移动到新创建的委托名称上,获取具备访问OBS权限的委托ID。 创建对接ECS/BMS云服务委托 登录华为云管理控制台,选择“统一身份认证服务”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,设置相关参数,单击“下一步”。
的影响。 MRS 3.1.5.0.2版本的补丁安装/卸载完成后不需要重启大数据组件。 重启组件的范围,是以补丁依次升级给定的范围,即如果是从MRS 3.1.5.0.1打补丁升级到MRS 3.1.5.0.2,需要重启MRS 3.1.0.0.2补丁的组件;如果是跨版本升级的,则需要重启的组件范围是各补丁的合集。
232:2181,192.168.169.84:2181”。 其中“sparkthriftserver”是Zookeeper上的目录,表示客户端从该目录下随机选择Triftserver实例或proxyThriftServer进行连接。 用户可登录Manager,选择“系统 > 权限 >
232:2181,192.168.169.84:2181”。 其中“sparkthriftserver”是Zookeeper上的目录,表示客户端从该目录下随机选择Triftserver实例或proxyThriftServer进行连接。 用户可登录Manager,选择“系统 > 权限 >
策略及授权项说明 如果您需要对您所拥有的MapReduce服务(MRS)进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用MRS服务的其它功能。
如果需要拓扑支持采样消息,则还需要增加参数“topology.debug”和“topology.eventlogger.executors”。 拓扑如何处理数据是拓扑自身行为。样例拓扑随机生成字符并分隔字符串,需要查看处理情况时,请启用采样功能并参见查看Storm拓扑日志。 MRS 3.x
--transformer-class com.huawei.bigdata.hudi.examples.TransformerExample // 指定如何处理数据源拉取来的数据,可根据自身业务需求做定制 --enable-hive-sync // 开启hive同步,同步hudi表到hive --continuous
UI的作业开发界面添加自定义参数“over.window.interval”,且值配置为大于或等于“0”时开启窗口支持数据超期功能,创建作业可参考如何创建FlinkServer作业。该设置会对作业中的所有over窗口生效,建议对单over窗口的作业使用此功能。 SQL示例: CREATE
sink.bulk-flush.backoff.strategy 可选 String 指定在由于临时请求错误导致任何flush操作失败时如何执行重试。有效策略为: DISABLED(默认值):不执行重试,即第一次请求错误后失败。 CONSTANT :常量回退,即每次回退等待时间相同。
检查Kafka数据的磁盘配置。 在FusionInsight Manager管理界面,选择“运维 > 告警 > 告警”。 在告警列表中单击该告警,从“定位信息”中获得主机名。 选择“集群 > 待操作集群的名称 > 主机”。 在“主机”页面单击2中获取的主机名称。 检查“磁盘”区域中是否包含该告警中的磁盘分区名称。
现。例如,您只允许用户组A访问某一OBS文件系统中的日志文件,您可以执行以下操作来实现: 为MRS集群配置OBS访问权限的委托,实现使用ECS自动获取的临时AK/SK访问OBS。 在IAM中创建一个只允许访问某一OBS文件系统中的日志文件的策略,并创建一个绑定该策略权限的委托。
[2,8] //若是无法识别是对ID=2的数据进行了更新。 聚合结果:[1,22],[2,8] //识别为更新操作可以得到正确结果。 对于如何识别是更新数据有三种方式: 通过状态后端解决 通过状态后端存储所有原始数据,新来的数据根据状态来判断是否是更新操作,进而通过Flink聚合回撤机制实现聚合结果数据的更新。
1:执行错误,终止执行。 2:执行完成并且成功。 3:已取消。 默认取值: 不涉及 hive_script_path String 参数解释: Hive脚本地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 create_by String 参数解释: 创建作业的用户ID。 约束限制:
在Linux环境中调测HBase应用 操作场景 HBase应用程序支持在安装HBase客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至Linux环境中运行应用。 前提条件 已安装客户端时: 已安装HBase客户端。 当客户端所在主机不是集群中的节点时,需要
232:2181,192.168.169.84:2181”。 其中sparkthriftserver2x是ZooKeeper上的目录,表示客户端从该目录下随机选择JDBCServer实例进行连接。 示例:安全模式下通过Beeline客户端连接时执行以下命令: sh CLIENT_HOME/spark/bin/beeline
CDL作业数据DDL变更说明 DDL变更操作包括创建数据库/表、变更表字段类型、变更表字段名称、表列增/删等数据表结构变化操作。当前CDL仅支持从PgSQL同步数据到Hudi的DDL变更,所有DDL变更操作顺序为: 停止CDL任务。 Hudi侧执行DDL变更。 源端库进行DDL变更。 本章节适用于MRS
Manager增加大数据服务滚动重启能力 MRS Manager新增文件句柄数量监控 MRS Manager新增大数据组件发生重启事件上报 MRS 镜像 解决ECS VNC登录不停打印输出问题 解决操作系统日志转储配置问题 MRS 1.7.1.3 修复问题列表: MRS Manager新增运维通道功能。
快速使用Kafka生产消费数据 操作场景 用户可以在集群客户端完成Topic的创建、查询、删除等基本操作。可参考Kafka用户权限说明设置用户权限,然后参考使用Kafka客户端生产消费数据(MRS 3.x之前版本)进行操作。 MRS 3.1.2及之后版本集群也可以通过登录Kafk