检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
色。包括供客户端下载使用的原始lib包和配置文件，以及FlinkServer提交作业所依赖的原始lib包。无实体进程，作业运行过程不依赖FlinkResource。 FlinkServer：基于Web的作业管理二次开发平台，可直接在界面开发与管理FlinkSQL作业。具有运维管理界面化、作业开发SQL标准化等特点。
安全模式（启用Kerberos认证） 安全模式的MRS集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证，提高了安全性，可有效消除使用网络发送用户凭据进行模拟认证的安全风险。集群中由KrbServer服务提供Kerberos认证支持。
n指定路径到库后，导致删除表之后库数据丢失。 Spark启用Ranger鉴权场景中的show tables性能增强。 Spark查询数据量与Hive查询数据量不一致。 DGC并发提交Flink作业偶现下载keytab文件失败。 Impala异常重启。Impala queries页
FE服务故障如何恢复 问题现象 FE可能因为某些原因出现无法启动bdbje、FE之间无法同步等问题，无法进行元数据写操作、没有MASTER等。需要手动操作来恢复FE，手动恢复FE先通过当前“meta_dir”中的元数据，启动一个新的MASTER，然后再逐一添加其他FE。 操作步骤
固定宽度文件输入 原始数据包含NULL值，不做转换处理。 配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 配置转换字段类型，与原始数据实际类型不同，全部数据成为脏数据。例如将字符串类型转换为数值类型。 配置字段分割长度，大于原字段值的长度，则数据分割失败，当前行成为脏数据
使用新建的dorisuser用户重新登录FusionInsight Manager，修改该用户初始密码。 配置MRS Hive集群与Doris集群互信。 配置MRS Hive集群与Doris集群互信，详细操作请参考集群互信管理。 配置后验证。 以root用户登录Doris集群客户端，执行以下命令加载环境变量。
固定宽度文件输入 原始数据包含NULL值，不做转换处理。 配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 配置转换字段类型，与原始数据实际类型不同，全部数据成为脏数据。例如将字符串类型转换为数值类型。 配置字段分割长度，大于原字段值的长度，则数据分割失败，当前行成为脏数据
MS Administrator”权限，且需要在相应组件进行如下配置。 如果集群同时开启“OBS权限控制”功能，此时会使用ECS配置的默认委托“MRS_ECS_DEFAULT_AGENCY”或者用户设置的自定义委托的AK/SK访问OBS服务，同时OBS服务会使用接收到的AK/SK
端数据并放入配置的Channel中。常用配置如下表所示： 表1 Avro Source常用配置 参数 默认值 描述 channels - 与之相连的channel，可以配置多个。 type avro avro source的类型，必须为avro。 bind - 监测主机名/IP。
使用Hive CBO功能优化查询效率 操作场景 在Hive中执行多表Join时，Hive支持开启CBO（Cost Based Optimization），系统会自动根据表的统计信息，例如数据量、文件数等，选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。
Custom：可使用任何有效Hive UDF（返回与被屏蔽的列中的数据类型相同的数据类型）来自定义策略。 如需添加多列的脱敏策略，可单击按钮添加。 Deny Conditions 策略拒绝条件，配置本策略内拒绝的权限及例外，配置方法与“Allow Conditions”类型。 Spark2x行级别数据过滤
Custom：可使用任何有效Hive UDF（返回与被屏蔽的列中的数据类型相同的数据类型）来自定义策略。 如需添加多列的脱敏策略，可单击按钮添加。 Deny Conditions 策略拒绝条件，配置本策略内拒绝的权限及例外，配置方法与“Allow Conditions”类型。 Spark2x行级别数据过滤
以root用户登录告警所在主机，用户密码为安装前用户自定义，请咨询系统管理员。 执行命令ethtool 网口名称，查看当前网口速率最大值Speed。 对于虚拟机环境，通过命令可能无法查询到网口速率，建议直接联系系统管理确认网口速率是否满足需求。 若网络写吞吐率超过阈值，直接联系网络管理员，提升网口速率。
典型场景：从HBase导出数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从HBase导出到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 确保用户已授权
使用Loader从HBase导出数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从HBase导出到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 确保用户
MRS各组件样例工程汇总 样例工程获取地址参见获取MRS应用开发样例工程，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 MRS样例代码库提供了各组件的基本功能样例工程供用户使用，当前版本各组件提供的样例工程汇总参见表1。 表1
以root用户登录告警所在主机，用户密码为安装前用户自定义，请咨询系统管理员。 执行命令ethtool 网口名称，查看当前网口速率最大值Speed。 对于虚拟机环境，通过命令可能无法查询到网口速率，建议直接联系系统管理确认网口速率是否满足需求。 若网络读吞吐率超过阈值，直接联系网络管理员，提升网口速率。
Core节点是存放集群业务数据的节点，在缩容时必须保证待缩容节点上的数据被完整迁移到其他节点，即完成各个组件的退服之后，才会执行缩容的后续操作（节点退出Manager和删除ECS等）。在选择Core节点时，会优先选择存储数据量较小，且可退服实例健康状态良好的节点，避免节点退服失败。例如在分析集群上，Core节点安装
ardinality_max_dictionary_size参数控制，默认8192）。 示例 CREATE TABLE test_codecs ON CLUSTER default_cluster ( `a` String, `a_low_card` LowCardinality(String)
5 2000 在加载项中未指定 6000 6000 40 7 文件header列数与MAXCOLUMNS值，两者中的最大值 22000 40 20000 60 在加载项中未指定 CSV文件第一行的列数与MAXCOLUMNS值，两者中的最大值 对于设置MAXCOLUMNS Optio
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
