检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
data /home 确保其对启动JDBCServer的用户有读写权限。 确保客户端classpath下有“hive-site.xml”文件,且根据实际集群情况配置所需要的参数。JDBCServer相关参数详情,请参见Spark JDBCServer接口介绍。 开发思路 在default数据库下创建child表。
final KTable<String, Long> counts = source // 处理接收的记录,根据正则表达式REGEX_STRING进行分割 .flatMapValues(value -> Arrays.asList(value
在导航树选择指定的参数,修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 修改某个参数的值后需要取消修改,可以单击恢复。 单击“保存配置”,根据界面提示保存配置。 通过Manager修改实例参数 登录Manager,选择“集群 > 服务”。 MRS 2.x及之前版本,单击“服务管理”。
lkPutExample文件: 代码中通过awaitTerminationOrTimeout()方法设置了任务超时时间(单位为毫秒),建议根据期望的任务运行时间调整参数大小。 public static void main(String[] args) throws IOException
lkPutExample文件: 代码中通过awaitTerminationOrTimeout()方法设置了任务超时时间(单位为毫秒),建议根据期望的任务运行时间调整参数大小。 public static void main(String[] args) throws IOException
如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问MRS时,需要先切换至授权区域。 权限模型根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于各服务之间存
息页面。 在“节点管理”页签单击Master节点组中某一Master节点名称,登录到弹性云服务器管理控制台。 单击右上角的“远程登录”。 根据界面提示,输入Master节点的用户名和密码。 创建集群时登录方式选择了“密码”,如图1。此时,你需要输入的用户名、密码分别是root和创建集群时设置的密码。
”页面。 节点类型选择“Task”,“部署角色”参数默认选择“NM”部署NodeManager角色,则新增节点组为Task节点组,其他参数根据需要配置。 图1 添加Task节点组 非“自定义”类型集群添加Task节点操作步骤: 在集群详情页面,选择“节点管理”页签,单击“配置Ta
[2022-01-15 15:12:39,369] INFO [Producer clientId=DemoProducer] Cluster ID: uDtuaWS_QUK02EtuZQ4Xew (org.apache.kafka.clients.Metadata) [2022-01-15
HiveServer2服务的主机名可以在Manager界面选择“集群 > 服务 > Hive > 实例”,在“实例”界面查看“HiveServer”的“主机名称”获取。 在运行样例代码前,需要将样例代码中的PRNCIPAL_NAME改为安全认证的用户名。 父主题: Hive应用开发常见问题
0.6.15版本。 ARM客户端: OpenJDK:支持1.8.0_272版本(集群自带JDK,可通过集群客户端安装目录中“JDK”文件夹下获取)。 毕昇JDK:支持1.8.0_272版本。 说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS
为locator名,locatorID可通过命令行输入,多个locatorID之间用逗号分隔;也可将locatorID写入文件,通过读文件获取。 删除组 hdfs colocationadmin -deleteGroup <groupID> 删除指定组。 查询组 hdfs colocationadmin
配置HBase上层应用所在主机的时间与备集群的时间保持一致,时间差要小于5分钟。 检查主集群的认证模式。 如果为安全模式,执行8。 如果为普通模式,任务结束。 获取HBase上层应用用户的keytab文件和krb5.conf配置文件。 在备集群FusionInsight Manager界面,选择“系统
FE的查询连接端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的业务IP地址。
8%2D5%2D226%2D156#20220807124849_28651 审计日志 <yyyy-MM-dd HH:mm:ss,SSS>|query id|<Log Level><产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> 2022.08.16 20:58:16
如果遇到其他三方包冲突,可以通过查找依赖关系确认是否存在相同包不同版本的情况,尽量修改成集群自带的jar包版本。 可以参考MRS样例工程自带的pom.xml文件:获取MRS应用开发样例工程。 打印依赖树方式: 在pom.xml文件同目录下执行命令:mvn dependency:tree 父主题: Spark应用开发常见问题
如果遇到其他三方包冲突,可以通过查找依赖关系确认是否存在相同包不同版本的情况,尽量修改成集群自带的jar包版本。 可以参考MRS样例工程自带的pom.xml文件:通过开源镜像站获取样例工程。 打印依赖树方式: 在pom.xml文件同目录下执行命令:mvn dependency:tree 父主题: Spark应用开发常见问题
FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles.tar: OK 解压获取配置文件。 tar -xvf FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles
Doris样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Doris相关样例工程:
crt文件路径,<keystore_path>为truststore.jks文件生成路径,<password>为truststore密码,可根据需要指定。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 表1 presto