检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户输入脚本后，工具会返回相应信息到交互窗口。 批量模式 通过执行“sqoop2-shell”脚本，带一个文件名作为参数，该文件中按行存储了多条命令，sqoop-shell工具将会按顺序执行文件中所有命令；或者在“sqoop2-shell”脚本后面通过“-c”参数附加一条命令，一次只执行一条命令。
AutoScalingPolicyInfo 参数 是否必选 参数类型 描述 auto_scaling_enable 是 Boolean 参数解释： 当前自动伸缩规则是否开启。 约束限制： 不涉及 取值范围： true：开启自动伸缩规则 false：不开启自动伸缩规则 默认取值： 不涉及 min_capacity
描述 是否必填 table String类型，表名或者库名.表名 否，table和path二选一 path String类型，表的绝对路径 否，table和path二选一 spec String类型，正则表达式 是 ttl_policy_empty命令： 参数 描述 是否必填 table
租户资源管理”，在租户列表中单击2的租户名，选择“资源”页签，单击“资源详情”右侧的编辑按钮，查看“开启内存软隔离”按钮是否打开。 是，执行7。 否，执行6。 打开“开启内存软隔离”按钮，并单击“确定”。等待任务执行结束后，在告警列表中查看该告警是否清除。 是，操作结束。 否，执行7。 选择“运维 > 告警 > 阈值设置
使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求，并准备一个系统用户。 已开启Token认证机制。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录安装Kafka客户端的节点。
使用具有FlinkServer管理员权限的用户登录FusionInsight Manager，选择“集群 > 服务 > Flink”。 对于开启了Kerberos认证的MRS集群，访问Flink WebUI，需提前创建具有FlinkServer管理员权限或应用查看、应用编辑权限的角色
组件。 目前MRS 1.9.2集群仅普通模式集群支持Ranger组件，开启Kerberos认证的安全集群不支持Ranger组件。 图1 选择Ranger组件 选择是否开启“使用外部数据源存储元数据”功能。 开启：使用外置的MySQL数据库存储Ranger组件的User/Group/Policy等数据。
Manager，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本），选择“集群 > 服务 > Flink”。 对于开启了Kerberos认证的MRS集群，访问Flink WebUI，需提前创建具有FlinkServer管理员权限或应用查看、应用编辑权限的角色
配置Spark动态脱敏 本章节仅适用于MRS 3.3.1-LTS及之后版本。 管理面提交作业方式不支持开启动态脱敏特性。 配置场景 Spark动态脱敏开启后，配置脱敏列的数据可以参与计算，计算结果输出时不可见，在集群内脱敏策略会根据血缘关系自动传递，更大的发挥数据的价值同时，保障数据的隐私性。
SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的？ 回答 目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备a
Flink应用开发简介 组件介绍 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：
Flink应用开发简介 简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并
} HQL语法规则之判空 判断字段是否为“空”，即没有值，使用“is null”；判断不为空，即有值，使用“is not null”。 要注意的是，在HQL中String类型的字段若是空字符串， 即长度为0，那么对它进行IS NULL的判断结果是False。此时应该使用“col
使用CDL从Hudi同步数据到DWS 操作场景 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面，从Hudi导入数据到DWS。 前提条件 集群已安装CDL、Hudi服务且运行正常。 DWS数据库需要开启前置要求，操作步骤请参考DWS数据库前置准备。 在FusionInsight
访问MRS服务。如果用户没有登录管理控制台的账号，请先注册华为云。注册成功后，该账号可访问华为云的所有服务，包括MRS服务。 打开华为云网站。 单击“注册”，根据提示信息完成注册。 注册成功后，系统会自动跳转至您的个人信息界面。 个人或企业账号实名认证请参考：实名认证。 MRS服务授权操作
Total，看是否已经到达或者接近最大值。 是，执行2。 否，执行5。 判断当前任务提交数量。 查看当前运行中的任务是否为正常的提交频率。 是，执行3。 否，执行5。 对集群进行扩容。 根据实际使用情况对集群进行扩容，扩容操作请参考 扩容集群。 扩容完成后查看告警是否消失。 是，处理完毕。
x及后续版本适用于Hive，Spark2x。 开启此功能后，在创建Hive内部表时，不能指定location。即表创建成功之后，表的location路径会被创建在当前默认warehouse目录下，不能被指定到其他目录。如果创建内部表时指定location，则创建失败。 开启本功能之后，创建Hive内
Total，看是否已经到达或者接近最大值。 是，执行2。 否，执行5。 判断当前任务提交数量。 查看当前运行中的任务是否为正常的提交频率。 是，执行3。 否，执行5。 对集群进行扩容。 根据实际使用情况对集群进行扩容，扩容操作请参考 扩容集群。 扩容完成后查看告警是否消失。 是，处理完毕。
访问MRS集群上托管的开源组件Web页面 如果组件支持开源WebUI，则在组件基本信息区域可通过WebUI的链接访问开源WebUI。 对于开启Kerberos认证的集群，admin用户不具备各组件的管理权限，如需正常访问各组件的Web UI界面，请提前参考创建MRS集群用户创建具有对应组件管理权限的用户。
普通模式（未开启Kerberos认证）下确认Hive，Impala是否启用Ranger鉴权。 如果未启用则需要先对Hive启用Ranger鉴权，并重启Hive服务，再重启Impala服务。然后对Impala启用Ranger鉴权，并重启Impala服务。安全集群（开启Kerbero
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
