检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
父主题： 作业管理类
1574856994802_0019_01_000003 -nodeAddress 192-168-1-1:8041 执行结果：可获取任意Container的日志 此命令的参数中需要填入nodeAddress，可通过以下命令获取： yarn node -list -all 父主题： Spark运维管理
“return_type”需要为HetuEngine支持的数据类型，要与函数的返回实际类型匹配，不做类型强制转换。 可以指定一组特征来修饰函数并指定其行为，每个特征最多只能指定一次，详情请参考表1。
Custom：可使用任何有效返回与被屏蔽的列中的数据类型相同的数据类型来自定义策略。 如需添加多列的脱敏策略，可单击按钮添加。 单击“Add”，在策略列表可查看策略的基本信息。
_jvm, 'com.huawei.bigdata.spark.examples.hbasecontext.JavaHBaseBulkGetExample') # 创建类实例并调用方法，传递sc._jsc参数 spark.
_jvm, 'com.huawei.bigdata.spark.examples.hbasecontext.JavaHBaseBulkPutExample') # 创建类实例并调用方法，传递sc._jsc参数 spark.
_jvm, 'com.huawei.bigdata.spark.examples.hbasecontext.JavaHBaseMapPartitionExample') # 创建类实例并调用方法，传递sc._jsc参数 spark.
表1 producer.properties文件配置项 参数 描述 备注 security.protocol 安全协议类型 生产者使用的安全协议类型，当前Kerberos开启的模式下仅支持SASL协议，需要配置为SASL_PLAINTEXT。
Spark SQL无法查询到Parquet类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据？
父主题： Spark运维管理
配置并导入Manager样例工程 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“manager-examples”到本地。 在应用开发环境中，导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA，选择
在Ranger管理界面查看不到创建的MRS用户 问题 在MRS Manager界面创建了一个账户，登录到Ranger管理界面后查看不到该用户。 回答 登录到Ranger管理界面的用户权限不够，需要切换至rangeradmin用户或者其他具有Ranger管理员权限的用户。
MRS 3.3.0及之后版本，登录FusionInsight Manager，在“主页”右上方单击“下载客户端”，“选择客户端类型”设置为“完整客户端”，注意平台类型与待安装客户端节点的节点类型相同（x86为x86_64，ARM为aarch64），下载位置选择“浏览器”，单击“确定
单击“系统设置 > 用户管理 > 添加用户”，为样例工程创建一个用户。 填写用户名，例如hiveuser，用户类型为“机机”用户，加入用户组supergroup，设置其“主组”为supergroup，并绑定角色hiverole取得权限，单击“确定”，如图4所示。
填写用户名例如sparkuser，用户类型为“机机”用户，加入用户组supergroup和kafkaadmin，设置其“主组”为supergroup，并绑定角色sparkrole取得权限，单击“确定”。
- 父主题： Spark用户权限管理
Copy On Write类型Hudi表查询 例如cow类型的Hudi源表的表名为hudicow，映射为Hive外部表的表名为hudicow。
选择“节点管理 > 节点名称” ，进入弹性云服务器界面。单击“远程登录”按钮，完成Hive节点的登录。 MRS3.x及后续版本： 以root用户登录已安装Hive客户端的节点。 执行以下命令，进入客户端安装目录，例如“/opt/client”。
安装JDK 开发和运行环境的基本配置，版本要求如下： JDK版本号应该与用户要访问的FusionInsight Manager使用的版本号一致，具体的版本号可以查看对应版本文档或咨询系统管理员。
父主题： Spark运维管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
