检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WebUI”右侧,单击链接,访问Flink的WebUI。 参考如何创建FlinkServer作业,新建Flink SQL流作业,在作业开发界面进行作业开发,配置完成后启动作业。 需勾选“基础参数”中的“开启CheckPoint”,“时间间隔(ms)”可设置为“60000”,“模式”可使用默认值。 CREATE
如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 问题 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 原因分析
'world,'anyone : cdrwa 'sasl,'userA@<系统域名> : cdrwa 使用setAcl命令修改权限。设置新权限命令如下: setAcl /test sasl:用户名@<系统域名>:权限值 例如仅保留userA用户的所有权限,删除anyone用户的rw权限。
数值为“hadoop.实际域名”,实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看;主机名为hadoop,服务名为hive。 conf = {"krb_host":"hadoop.<系统域名>", "krb_service":"hive"}
如何配置knox内存? 以root用户登录集群Master节点。 在Master节点执行如下命令打开gateway.sh文件。 su omm vim /opt/knox/bin/gateway.sh 将“APP_MEM_OPTS=""” 修改为 “APP_MEM_OPTS="-Xms256m
集群管理类 如何查看所有集群? 如何查看MRS服务的操作日志信息? 如何查看MRS集群配置信息? 如何在MRS集群中手动添加组件? 如何取消集群风险告警的消息通知? 为什么MRS集群显示的资源池内存小于实际集群内存? MRS集群安装的Python版本是多少? 如何上传本地文件到集群内节点?
keytab文件。“人机”用户第一次登录时需修改密码。(普通模式不涉及) 在修改集群域名后,需要重新下载客户端,以保证客户端配置文件中kerberos.domain.name配置为正确的服务端域名。 使用Kafka客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”请参见表1。 Yarn权限: “集群管理操作权限”:Yarn管理员权限。 “调度队列”:队列资源管理。 表1 设置角色 任务场景 角色授权操作 设置Yarn管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称
keytab文件,“人机”用户第一次登录时需修改密码。(普通模式不涉及) 在修改集群域名后,需要重新下载客户端,以保证客户端配置文件中kerberos.domain.name配置为正确的服务端域名。 使用Kafka客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
数值为“hadoop.实际域名”,实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看;主机名为hadoop,服务名为hive。 conf = {"krb_host":"hadoop.<系统域名>", "krb_service":"hive"}
submitTopology(args[0], conf, builder.createTopology()); } 如果修改了集群域名,在设置Kafka消费者/生产者属性中kerberos域名时,需要将其设置为集群实际域名,例如props.put(KERBEROS_DOMAIN_NAME , "hadoop.hadoop1
如何配置Kafka客户端shell命令日志 用户问题 如何设置客户端shell命令的日志输出级别? 处理步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 切换到Kafka客户端配置目录。
hdfs/hadoop.<系统域名> 系统随机生成 HDFS系统启动用户,用户权限: 文件系统操作权限: 查看、修改、创建文件 查看、创建目录 查看、修改文件属组 查看、设置用户磁盘配额 HDFS管理操作权限: 查看WebUI页面状态 查看、设置HDFS主备状态 进入、退出HDFS安全模式
address=5006:需要换成3获取到的For JDK1.4.x对应的调试端口。 设置调试断点。 在IDEA代码编辑窗口左侧空白处单击鼠标左键设置相应代码行断点,如图4所示,在SparkPi.scala的29行设置断点。 图3 设置断点 启动调试。 在IDEA菜单栏中选择“Run > Debug
HetuEngine常见问题 HetuEngine域名修改后需要做什么 通过客户端启动HetuEngine集群超时如何处理 如何处理HetuEngine数据源丢失问题 父主题: 使用HetuEngine
r JDK1.4.x对应的调试命令。 图3 Spark运行命令 设置调试断点。 在IDEA代码编辑窗口左侧空白处单击鼠标左键设置相应代码行断点,如图4所示,在SparkPi.scala的29行设置断点。 图4 设置断点 启动调试。 在IDEA菜单栏中选择“Run > Debug
r JDK1.4.x对应的调试命令。 图3 Spark运行命令 设置调试断点。 在IDEA代码编辑窗口左侧空白处单击鼠标左键设置相应代码行断点,如图4所示,在SparkPi.scala的29行设置断点。 图4 设置断点 启动调试。 在IDEA菜单栏中选择“Run > Debug
r JDK1.4.x对应的调试命令。 图3 Spark运行命令 设置调试断点。 在IDEA代码编辑窗口左侧空白处单击鼠标左键设置相应代码行断点,如图4所示,在SparkPi.scala的29行设置断点。 图4 设置断点 启动调试。 在IDEA菜单栏中选择“Run > Debug
r JDK1.4.x对应的调试命令。 图3 Spark运行命令 设置调试断点。 在IDEA代码编辑窗口左侧空白处单击鼠标左键设置相应代码行断点,如图4所示,在SparkPi.scala的29行设置断点。 图4 设置断点 启动调试。 在IDEA菜单栏中选择“Run > Debug
LAINTEXT。Kerberos未开启的模式下配置为PLAINTEXT。 kerberos.domain.name 域名 MRS服务集群的Kerberos域名,未开启Kerberos认证的集群无需配置。 sasl.kerberos.service.name 服务名 Kafka集