检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ve UDF执行结果与Hive执行结果不一致。 需要在maven工程中添加hive-exec-3.1.1的依赖，可从Hive服务安装目录下获取。 （可选）若用户存在Hive UDF依赖的配置文件，建议将其作为资源文件放在resources目录下，即可打包到Hive UDF函数包中。
FE的查询连接端口，可以通过登录Manager，单击“集群 > 服务 > Doris > 配置”，查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址可通过登录MRS集群的Manager界面，单击“集群 > 服务 > Doris > 实例”，查看任一FE实例的IP地址。
和FAIR。 一个用户若在当前队列上提交了多个任务，FIFO规则代表一个任务完成后再执行其他任务，按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 默认资源标签 - 表示在指定资源标签（Label）的节点上执行任务。 说明： 如果需要使用新的资源池，需要修改默认标签为新的资源池标签。
ansform-Load）处理形成模型化数据，以便提供给各个业务模块进行分析梳理，这类业务通常有以下特点： 对执行实时性要求不高，作业执行时间在数十分钟到小时级别。 数据量巨大。 数据来源和格式多种多样。 数据处理通常由多个任务构成，对资源需要进行详细规划。 例如在环保行业中，可
--execute --throttle 50000000 --throttle 50000000：限制网络带宽为50MB。带宽可根据数据量大小及客户对均衡时间的要求进行调整，5TB数据量，使用50MB带宽，均衡时长约8小时。 执行以下命令查看迁移状态。 ./kafka-reassign-partitions
晨3:00尝试一次，直至MRS集群到期或者续费成功。 开通自动续费后，还可以手动续费该MRS集群。手动续费后，自动续费仍然有效，在新的到期时间前的第7天开始扣款。 自动续费的到期前7日自动扣款属于系统默认配置，您也可以根据需要修改此扣款日，如到期前6日、到期前5日等。 本章节主要
而“图表”是实时监控，每30秒刷新一次。 “图表”中的“租户CPU占用率平均值”的具体数值表示当前租户查询任务占用所有BE节点CPU资源的时间占比平均值。 由于排队设计不感知FE的个数，所以租户设置的并发数只在FE粒度生效，因此，“图表”中的“租户查询并发数总和”代表租户整体的并发情况。
主机级别关注主机的一系列指标是否正常。 本章节指导用户在日常运维中完成集群健康检查的工作，以保证集群各项参数、配置以及监控没有异常、能够长时间稳定运行。 执行MRS集群健康检查前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IA
/opt/client/Loader/loader-tools-1.99.3/sqoop-shell ./sqoop2-shell 上述命令通过读取配置文件获取认证信息。 也可以直接通过密码或者Kerberos认证。 使用密码进行认证： ./sqoop2-shell -uk false -u username
/opt/client/Loader/loader-tools-1.99.3/sqoop-shell ./sqoop2-shell 上述命令通过读取配置文件获取认证信息。 也可以直接通过密码或者Kerberos认证。 使用密码进行认证： ./sqoop2-shell -uk false -u username
/opt/client/Loader/loader-tools-1.99.3/sqoop-shell ./sqoop2-shell 上述命令通过读取配置文件获取认证信息。 也可以直接通过密码或者Kerberos认证。 使用密码进行认证： ./sqoop2-shell -uk false -u username
/opt/client/Loader/loader-tools-1.99.3/sqoop-shell ./sqoop2-shell 上述命令通过读取配置文件获取认证信息。 也可以直接通过密码或者Kerberos认证。 使用密码进行认证： ./sqoop2-shell -uk false -u username
主要区别在于“机机”用户密码由系统随机生成。 Kerberos认证 Kerberos认证支持两种方式：密码认证及keytab认证。认证有效时间默认为24小时。 密码认证：通过输入用户正确的密码完成身份认证。主要在运维管理场景中使用“人机”用户进行认证，命令为kinit 用户名。
root”，勾选“default”的“提交”和“管理”，单击“确定”保存。 说明： Hive应用开发需要到的额外的操作权限需要从系统管理员处获取。 ClickHouse 在“配置资源权限”的表格中选择“待操作集群的名称 > ClickHouse > Clickhouse Scope
效率较低。 内存调优 CarbonData为内存调优提供了一个机制，其中数据加载会依赖于查询中需要的列。不论何时，接收到一个查询命令，将会获取到该查询中的列，并确保内存中这些列有数据加载。在该操作期间，如果达到内存的阈值，为了给查询需要的列提供内存空间，最少使用加载级别的文件将会被删除。
进入hbase shell，创建表ImportTable并创建“configuration.xml”文件（该文件可以参考模板文件进行编辑，模板文件获取路径为：“/opt/client/HBase/hbase/conf/import.xml.template”）。 例如执行以下命令建表： create
为Admin@123Test#$%@123。 重置后的密码必需满足当前用户密码策略，使用omm用户登录主OMS节点后，执行如下工具脚本可以获取到修改域名后的“人机”用户密码。 sh ${BIGDATA_HOME}/om-server/om/sbin/get_reset_pwd.sh
效率较低。 内存调优 CarbonData为内存调优提供了一个机制，其中数据加载会依赖于查询中需要的列。不论何时，接收到一个查询命令，将会获取到该查询中的列，并确保内存中这些列有数据加载。在该操作期间，如果达到内存的阈值，为了给查询需要的列提供内存空间，最少使用加载级别的文件将会被删除。
优化shuffle并行度，提升Spark加工效率 所谓的shuffle并发度如下图所示： 集群默认是200，作业可以单独设置。如果发现瓶颈stage（执行时间长），且分配给当前作业的核数大于当前的并发数，说明并发度不足。通过以下配置优化。 场景 配置项 集群默认值 调整后 Jar作业 spark
参考管理MRS集群用户组修改提交作业用户所属的用户组，将新增的组件角色加入到该用户组中。 用户所在用户组绑定的组件角色修改后，权限生效需要一定时间，请耐心等待。 父主题： 提交MRS作业
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
