检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问该集群。为了更好的服务客户,MRS提供两种方式来减少定位问题时的信息传递: 日志共享:用户可以在MRS页面发起日志共享,选择日志范围共享给运维人员,以便运维人员在不接触集群的情况下帮助定位问题。 运维授权:MRS服务提供运维授权功能,用户在使用MRS集群过程中,发生问题可以在M
1秒钟,制作快照时将到目前为止已经发送的数据的条数保存在UDFState中;从快照中状态恢复时,读取UDFState中的数据条数并重新赋值给count变量。 下面代码片段仅为演示,完整代码参见FlinkCheckpointScalaExample样例工程下的com.huawei.bigdata
1秒钟,制作快照时将到目前为止已经发送的数据的条数保存在UDFState中;从快照中状态恢复时,读取UDFState中的数据条数并重新赋值给count变量。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
--transformer-class com.huaweixxx.bigdata.hudi.examples.TransformerExample // 指定如何处理数据源拉取来的数据,可根据自身业务需求做定制 --enable-hive-sync // 开启hive同步,同步hudi表到hive --continuous
是否开启客户端的授权,需设为“true”。 true hive.security.authorization.createtable.owner.grants 将哪些权限赋给创建表的owner,建议设置为“ALL”。 ALL MetaStore服务的core-site.xml配置文件 表3 参数说明 (3) 参数
是否开启客户端的授权,需设为“true”。 true hive.security.authorization.createtable.owner.grants 将哪些权限赋给创建表的owner,建议设置为“ALL”。 ALL MetaStore服务的core-site.xml配置文件 表3 参数说明 (3) 参数
csv”,“.txt”等格式的文件导入数据。 使用创建的用户第一次登录Hue WebUI,需修改密码。 用户获取Hue WebUI的访问地址后,可以给其他无法访问Manager的用户用于访问Hue WebUI。 在Hue的WebUI操作但不操作Manager页面,重新访问Manager时需要输入已登录的账号密码。
使用Ranger管理各组件权限时,如管理hive表权限,在管理控制台或者客户端提交hive作业(操作hive数据表),可能会提示当前用户没有权限,需要在Ranger中给提交作业的用户配置具体数据库或者表权限,以免影响用户使用提交作业功能,具体请参考在Ranger中配置Hive/Impala的访问权限或在Ra
单击“Add Permissions”,参照表格上述相关操作,根据需求,给用户勾选相应权限。 dfs命令操作 执行set role admin 操作才可使用。 其他用户库表操作 参照表格上述相关操作添加对应权限。 给用户添加其他用户库表的HDFS路径的读、写、执行权限,详情请参考添加HDFS的Ranger访问权限策略。
csv”,“.txt”等格式的文件导入数据。 使用创建的用户第一次登录Hue WebUI,需修改密码。 用户获取Hue WebUI的访问地址后,可以给其他无法访问Manager的用户用于访问Hue WebUI。 在Hue的WebUI操作但不操作Manager页面,重新访问Manager时需要输入已登录的账号密码。
里面存放了计算过程中产生的shuffle临时文件。 因为JDBCServer启动了Spark的动态资源分配功能,已经将shuffle托管给NodeManager,NodeManager只会按照APP的运行周期来管理这些文件,并不会关注单个executor所在的container
MRS集群中HetuEngine服务默认启用了Ranger鉴权,HetuEngine普通用户只需关联“hetuuser”用户组即可。如果关闭了Ranger鉴权,必须给用户同时关联“hive”用户组并将其设置为主组,否则可能无法正常使用HetuEngine服务。 启用了Ranger鉴权时,如果用户创建后需要
properties --add --allow-principal User:<用户名> --producer --topic <Topic名称> 给某用户批量添加Producer权限 ./kafka-acls.sh --authorizer-properties zookeeper.co
m和DataSet API无缝集成,并支持用户自定义的标量函数,聚合函数以及表值函数。简化数据分析、ETL等应用的定义。下面代码示例展示了如何使用Flink SQL语句定义一个会话点击量的计数应用。 SELECT userId, COUNT(*) FROM clicks GROUP
n端口号和命令,避免被黑客捕获利用关闭服务器,降低对服务器和应用的威胁。 出于安全考虑,更改“maxHttpHeaderSize”的取值,给服务器管理员更大的可控性,以控制客户端不正常的请求行为。 安装Tomcat后,修改Tomcat版本描述文件。 为了避免暴露Tomcat自身的
To Live:生存时间),为了保证Join的准确性,需要将表级别的TTL设置为较长时间的过期时间,此时状态后端中保存了大量的已经过期的数据,给状态后端造成了较大的压力。为了减少状态后端的压力,可以单独为左表和右表设置不同的过期时间。不支持where子句。 可通过使用Hint方式单独
登录到FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 实例”,勾选所有Broker实例,单击“启动实例”。 给MRS服务集群的Broker节点分别绑定EIP。 在Windows通过已配置的Broker节点EIP地址和端口连接到Kafka集群并调试代码。
登录到FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 实例”,勾选所有Broker实例,单击“启动实例”。 给MRS服务集群的Broker节点分别绑定EIP。 在Windows通过已配置的Broker节点EIP地址和端口连接到Kafka集群并调试代码。
string); insert into hivetest values (1,"test01"), (2,"test02"); 参考Hive数据脱敏,给hivetest表的字段b配置脱敏策略,验证脱敏是否生效: select * from hivetest; 如下图显示则表示数据脱敏成功: 图1
以数据库管理员用户在Postgres中执行以下命令创建数据库“test”和用户“testuser”,并授予“test”数据库的所有权限给“testuser”用户。 create user testuser with password 'password'; create database