检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下面代码片段在com.huawei.storm.example.common包的RandomSentenceSpout类的nextTuple方法中，作用在于将收到的字符串拆分成单词。 /** * {@inheritDoc} */ @Override public
下面代码片段在com.huawei.storm.example.common包的“RandomSentenceSpout”类的“nextTuple”方法中，作用在于将收到的字符串拆分成单词。 /** * {@inheritDoc} */ @Override public
登录Ranger WebUI界面 Ranger服务提供了集中式的权限管理框架，可以对HDFS、HBase、Hive、Yarn等组件进行细粒度的权限访问控制，并且提供了Web UI方便Ranger管理员进行操作。 Ranger用户类型 Ranger中的用户可分为Admin、User
Loader基本原理 Loader是在开源Sqoop组件的基础上进行了一些扩展，实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”，同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。
备份Manager数据（MRS 2.x及之前版本） 操作场景 为了确保元数据信息安全，或者用户在对元数据功能进行重大操作（如扩容缩容、安装补丁包、升级或迁移等）前后，需要对元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。元数据
新的数据库和旧数据库的名字应该相同。 如果表是聚合表，则应将所有聚合表复制到新的数据库位置。 如果旧集群使用HIVE元数据库来存储表结构，则刷新将不起作用，因为文件系统中不存在表结构定义schema文件。 示例 REFRESH TABLE dbcarbon.productSalesTable;
Hue WebUI有配置账号权限的功能吗？ 问： MRS集群内的Hue WebUI界面中有配置账号权限的功能吗？ 答： Hue WebUI界面服务没有配置账号权限的功能。 用户可以通过在Manager管理界面中配置集群用户角色和用户组来管理用户的权限，从而实现Hue权限的配置。 父主题：
SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的？ 回答 目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备a
使用Hive CBO功能优化多表查询效率 操作场景 在Hive中执行多表Join时，Hive支持开启CBO（Cost Based Optimization），系统会自动根据表的统计信息，例如数据量、文件数等，选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。
SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的？ 回答 目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备a
SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的？ 回答 目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备a
该复制到新的数据库位置。 如果表是聚合表，则应将所有聚合表复制到新的数据库位置。 如果旧集群使用HIVE元数据库来存储表结构，则刷新将不起作用，因为文件系统中不存在表结构定义schema文件。 示例 REFRESH TABLE dbcarbon.productSalesTable;
集群已启用Kerberos认证（安全模式）：执行以下命令，完成用户认证并登录HetuEngine客户端。 kinit HetuEngine组件操作用户 hetu-cli --catalog hive --tenant default --schema default 需参考Ranger
配置Flink SQL Client支持SQL校验功能 本章节适用于MRS 3.3.0及以后版本。 配置Flink SQL Client支持SQL校验功能方法 通过SQL Client进行SQL作业开发时，支持进入校验模式校验SQL语法正确性。校验模式下执行SQL命令不会启动Flink
调整元数据缓存配置可参考调整HetuEngine元数据缓存。 调整动态过滤配置可参考调整HetuEngine动态过滤。 调优案例 某用户使用Hudi MOR表存储其设备的订单出借信息，可通过订单号查询订单详细信息，每天订单量相对稳定，部分节假日可能存在小高峰，该场景存在以下特点： 订单号作为唯一值，并且8
根据用户业务判断，是否存在下游消费Topic中消息较慢的情况。 是，执行9。 否，执行10。 根据实际情况分析下游作业导致Topic中消息不能及时、快速消费的原因，增强下游消费Topic中消息的能力。等待5分钟，查看当前告警是否清除。 是，操作结束。 否，执行10。 收集故障信息。
现象描述 MRS样例工程调试运行过程发现认证失败。 处理流程 出现认证失败的原因很多，在不同场景中建议参考以下步骤来排查： 确认本应用所运行设备和集群网络上是否通畅，Kerberos认证所需的各类端口（TCP/UDP）是否可正常访问。 确认各个配置文件是否被正确读取到，路径是否保存正确。
有云添加安全组规则，获取公网IP等步骤，减少了用户操作步骤。 MRS提供了自定义引导操作，用户可以以此为入口灵活配置自己的集群，通过引导操作用户可以自动化地完成安装MRS还没支持的第三方软件，修改集群运行环境等自定义操作。 MRS支持WrapperFS特性，提供OBS的翻译能力，
keytab文件位置请根据自己实际路径填写。 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -put input_xxx.txt /tmp/input，上传数据文件。
structured streaming功能与可靠性介绍 Structured Streaming支持的功能 支持对流式数据的ETL操作。 支持流式DataFrames或Datasets的schema推断和分区。 流式DataFrames或Datasets上的操作：包括无类型，类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
