检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数和代码示例，指导如何在FlinkServer作业管理页面对接JDBC。 FlinkServer界面回显FlinkSQL时，SQL中的“password”字段将显示为空，在回显状态下需要将密码信息补齐后再提交作业。 Flink SQL与JDBC数据类型对应关系 Flink SQL数据类型
执行以下命令确认MRS Manager的主管理节点。 sh ${BIGDATA_HOME}/om-0.0.1/sbin/status-oms.sh 回显信息中“HAActive”参数值为“active”的节点为主管理节点（如下例中“mgtomsdat-sh-3-01-1”为主管理节点），参
CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。 CDM集群所在VPC、子网、安全组，选择与MRS集群所在的网络一致。 CDM集群创建完成后，选择集群操作列的“绑定弹性IP”，CDM通过EIP访问MySQL。 图3 集群列表 如果用户对本地数据源的访
时，每一条输出结果需要按key哈希，并且分发到对应的Reducer上去，这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程
登录FusionInsight Manager后，选择“集群 > 服务”，单击待操作的服务名称，单击“资源”，进入资源监控页面。 集群中部分服务提供服务级别的资源监控项，默认显示12小时的监控数据。用户可单击自定义时间区间。单击可导出相应报表信息，无数据的监控项无法导出报表。支持资源监控的服务及监控项如下表所示。
条件定制，实现复杂的流式计算模式。 容错机制 分布式系统，单个Task或节点的崩溃或故障，往往会导致整个任务的失败。Flink提供了任务级别的容错机制，保证任务在异常发生时不会丢失用户数据，并且能够自动恢复。 Checkpoint：Flink基于Checkpoint实现容错，用户
主备集群数据，减少查询毛刺，具体表现为： 高成功率：双并发读机制，保证每一次读请求的成功率。 可用性：单集群故障时，查询业务不中断。短暂的网络抖动也不会导致查询时间变长。 通用性：双读特性不支持双写，但不影响原有的实时写场景。 易用性：客户端封装处理，业务侧不感知。 HBase双读使用约束：
主备集群数据，减少查询毛刺，具体表现为： 高成功率：双并发读机制，保证每一次读请求的成功率。 可用性：单集群故障时，查询业务不中断。短暂的网络抖动也不会导致查询时间变长。 通用性：双读特性不支持双写，但不影响原有的实时写场景。 易用性：客户端封装处理，业务侧不感知。 HBase双读使用约束：
运行日志的级别优先级从高到低分别是error、warning、trace、information、debug，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表3 日志级别 级别 描述 error error表示系统运行的错误信息。 warning
时，每一条输出结果需要按key哈希，并且分发到对应的Reducer上去，这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程
到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。 预留资源：租户资源预留资源。即使租户资源内没有作业，预留的资源也不能给别的租户资源使用。取值可以是父租户资源的百分比或绝对值。 储存资源 HDFS 为当前租户选择存储资源。 选择“HDFS”时系统将自动在“/te
写数据表设计调优 表2 影响实时写数据相关参数 配置参数 描述 默认值 COMPRESSION 配置数据的压缩算法，这里的压缩是HFile中block级别的压缩。对于可以压缩的数据，配置压缩算法可以有效减少磁盘的IO，从而达到提高性能的目的。 说明： 并非所有数据都可以进行有效压缩。例如一张图
表2 影响实时写数据相关参数 配置参数 描述 默认值 COMPRESSION 配置数据的压缩算法，这里的压缩是HFile中block级别的压缩。对于可以压缩的数据，配置压缩算法可以有效减少磁盘的IO，从而达到提高性能的目的。 说明： 并非所有数据都可以进行有效压缩。例如一张图
时，每一条输出结果需要按key哈希，并且分发到对应的Reducer上去，这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程
SparkSQL权限控制由元数据权限控制和HDFS ACL权限控制两部分组成。Hive MetaStore会将表权限自动同步到HDFS ACL中时，不会同步列级别的权限。也就是说，当用户对表具有部分列权限或全部列权限时，不能通过HDFS Client访问HDFS文件。 在spark-sql模式下，用户
SparkSQL权限控制由元数据权限控制和HDFS ACL权限控制两部分组成。Hive MetaStore会将表权限自动同步到HDFS ACL中时，不会同步列级别的权限。也就是说，当用户对表具有部分列权限或全部列权限时，不能通过HDFS Client访问HDFS文件。 在spark-sql模式下，用户
的配置参数支持在MRS管理控制台或者Manager中进行修改，且部分组件的客户端可能不包含开源特性的所有参数。 如果需要修改或者添加界面中未包含的配置参数，用户可以通过自定义配置项功能为组件添加新的参数，添加的新参数最终将保存在组件的配置文件中并在重启后生效。 操作视频 本视频分
执行以下命令确认MRS Manager的主管理节点。 sh ${BIGDATA_HOME}/om-0.0.1/sbin/status-oms.sh 回显信息中“HAActive”参数值为“active”的节点为主管理节点（如下例中“mgtomsdat-sh-3-01-1”为主管理节点），参
ACL操作 授权或回收权限，集群关闭等操作相关的权限 表管理权限：建表、修改表、删除表等操作权限 数据管理权限：表级别、列族级别以及列级别的数据读写权限 登录HMaster WebUI界面 登录FTP服务 cdl CDCUser123! CDL的系统管理员。 CDL暂不涉及用户权限。
如果安装Hadoop、HetuEngine、Hive、Spark等组件后，再安装Guardian，则需要重新下载客户端，并对管理面作业提交的默认客户端进行刷新。 如果当前集群未启用Kerberos认证，访问OBS的用户，需要属于supergroup组。可登录FusionInsight Manager界面，选择“系统
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
