检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若使用Open JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*
UI界面主要用于查看Spark应用程序运行情况,推荐使用Google chrome浏览器以获得更好的体验。 Spark主要有两个Web页面。 Spark UI页面,用于展示正在执行的应用的运行情况。 页面主要包括了Jobs、Stages、Storage、Environment、Exe
需要添加组件操作用户到Ranger策略中的URL策略,URL填写对象在OBS上的完整路径,权限选择Read, Write 权限,其他权限不涉及URL策略。详细操作MRS 3.x之前版本请参考在Ranger中配置Hive的访问权限,MRS 3.x及之后版本请参考添加Hive的Ranger访问权限策略。
crt”是“flume_sChat.jks”证书的导出文件,“-f”配置项是证书和证书库的密码; “flume_cChat.jks”是Flume角色客户端的证书库,“flume_cChat.crt”是“flume_cChat.jks”证书的导出文件,“-g”配置项是证书和证书库的密码; “flume_sChatt
修改“kafka-logs”目录下的“recovery-point-offset-checkpoint”和“replication-offset-checkpoint”文件(两个文件做同样的修改)。 减少文件中第二行的数字(如果移出多个目录,则减少的数字为移出的目录个数)。 删除待移出的Partition所在的行(行结构为“Topic名称
一个sparkSQL的应用程序,而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源,也就是说不同的用户之间可以共享数据。JDBCServer启动时还会开启一个侦听器,等待JDBC客户端的连接和提交查询。所以,在配置JDBCServer的时候,至少要配置JDB
HetuEngine不支持Hudi的bootstrap表的读取。 添加Hudi数据源前提条件 创建Hudi数据源的代理用户,该代理用户为人机用户且需拥有hive组。 在HetuEngine所在集群的所有节点的“/etc/hosts”文件中,添加待对接数据源所在集群的主机名称和对应的IP映射,及其“/etc/hosts”文件中的“10
使用具有FlinkServer管理员权限的用户登录FusionInsight Manager,选择“集群 > 服务 > Flink”。 对于开启了Kerberos认证的MRS集群,访问Flink WebUI,需提前创建具有FlinkServer管理员权限或应用查看、应用编辑权限的角色,并为用户绑定该
Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。 如果对应的Flume角色之前已经配置过服务端参数,为保证与之前的配置保持一致,在FusionInsight Manager界面选择“集群 > 待操作集群的名称 > 服务 > Flume
JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 安装Scala Scala开发环境的基本配置。版本要求:2.12
一个sparkSQL的应用程序,而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源,也就是说不同的用户之间可以共享数据。JDBCServer启动时还会开启一个侦听器,等待JDBC客户端的连接和提交查询。所以,在配置JDBCServer的时候,至少要配置JDB
选择“SDKs”,单击加号选择“JDK”。 在弹出的“Select Home Directory for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 完成JDK选择后,单击“Apply”。 选择“Project”,在“Project SDK”下的下拉菜单中选择在“SDKs”中添加的JDK,在“Project
rver在启动的时候,会启动一个SparkSQL的应用程序,而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源,也就是说不同的用户之间可以共享数据。ThriftServer启动时还会开启一个侦听器,等待JDBC客户端的连接和提交查询。所以,在配置Thrift
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 证书文件即将过期,如果证书文件过期失效,对应模块功能受限,无法正常使用。
其中“myType”的取值范围为{topics_limit, users, clients},对应的“myName”的取值范围为{topic的名称,组件业务用户,客户端ID}。 其中“producer_byte_rate”和“consumer_byte_rate”分别为生产限流的速度和消费限流的速度,其单位均为字节/秒。
来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 表名 产生告警的表名。 对系统的影响 当本地复制表在副本之间业务数据不一致时,会影响ClickHouse复制表数据的可靠性,造成数据差异,影响分布式表的查询结果。
用户”,下载参考准备MRS应用开发用户准备的开发用户的认证凭据。 代码样例 以下代码片段仅为演示,具体代码参见“com.huawei.bigdata.iotdb.SessionbyKerberosExample”类。 待连接的IoTDBServer所在的节点IP地址,可通过登录FusionInsight
> 下载认证凭据”。 将下载的认证凭据压缩包解压缩,并将得到的文件复制到客户端节点中,例如客户端节点的“/opt/Bigdata/client/Flink/flink/conf”目录下。如果是在集群外节点安装的客户端,需要将得到的文件复制到该节点的“/etc/”目录下。 MRS 3
短时间的过期时间,而另一个表数据变化较慢,需要较长时间的过期时间。目前Flink只有表级别的TTL(Time To Live:生存时间),为了保证Join的准确性,需要将表级别的TTL设置为较长时间的过期时间,此时状态后端中保存了大量的已经过期的数据,给状态后端造成了较大的压力。
设置可以登录Hue的WebUI界面且有存储策略管理员权限的用户的“用户名”。 “用户类型”选择“人机”。 设置登录Hue的WebUI界面的“密码”、“确认密码”。 单击“用户组”后的“选择添加的用户组”,在弹出的界面选择创建的用户组、supergroup、hadoop和hive用户组,单击“确定”。 “主组”选择“hive”。