检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
retainedApplications”参数的值。 请登录FusionInsight Manager管理界面,单击“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,在左侧的导航列表中,单击“JobHistory2x > 界面”,配置如下参数。
登录FusionInsight Manager,选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”,进入全部配置页面。 在搜索框中输入参数名称,按照下表进行修改。 表1 安全配置项 配置项 描述 默认值 修改值 ssl.enabled 是否启用SSL通信加密。 false true
String 参数解释: 节点组名称。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 count 否 Integer 参数解释: 缩容节点数量,如果是指定节点缩容,则该参数可以不填。 约束限制: 不涉及 取值范围:
println(s"Finished! Exit code is $exitCode") } 根据业务逻辑,开发对应的Spark应用程序。并设置用户编写的Spark应用程序的主类等常数。不同场景的示例请参考开发Spark应用。 如果您使用的安全模式,建议按照安全要求,准备安全认证代码、业务应用代码及其相关配置。
(key string, value string) stored as RCFile; HIVE使用OBS存储。 需要在beeline里面设置指定的参数,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 set fs.obs.access.key=AK; set fs
Integer.parseInt(hbase1Value) + Integer.parseInt(hbase2Value); // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(qualifier)
议。例如,若Curl仅支持TLSv1协议,修改方法如下: 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置 > 全部配置”,在“搜索”框里搜索“hadoop.ssl.enabled.protocols”,查看参
Manager,选择“系统 > 权限 > 角色 > 添加角色”,填写角色名称,如“dorisrole”,在“配置资源权限”选择“待操作的集群 > Doris”,勾选“Doris管理员权限”,单击“确定”。 选择“用户 > 添加用户”,填写用户名称,如“dorisuser”,“用户类型”选择“人机”,
0-LTS及之后的版本中,Spark2x服务改名为Spark,服务包含的角色名也有差异,例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 kinit sparkuser 上传CSV中的文件到HDFS的“/data”目录: hdfs dfs -put
val resultValue = hbase1Value.toInt + hbase2Value.toInt // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(qualifier)
println(s"Finished! Exit code is $exitCode") } 根据业务逻辑,开发对应的Spark应用程序。并设置用户编写的Spark应用程序的主类等常数。不同场景的示例请参考开发Spark应用。 如果您使用的安全模式,建议按照安全要求,准备安全认证代码、业务应用代码及其相关配置。
on 10-196-115-2 (694/153378) 单个任务运行时间超过6分钟,从而导致连接超时问题,最终使得任务失败。 将参数中的核数设置为1,“--executor-cores 1”,任务正常完成,单个任务处理时间在合理范围之内(15秒左右)。 16/02/29 02:24:46
请求参数 无 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 version_name String 参数解释: 版本名称。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 available_flavors Array of AzFlavors objects
parse_presto_data_size('2.3MB'); -- 2411724 其他 typeof(expr) → varchar 返回表达式的数据类型名称。 SELECT typeof(123);-- integer SELECT typeof('cat');-- varchar(3) SELECT
统路径。 create table test(name string) with (location = 'obs://OBS并行文件系统名称/user/hive/warehouse/test'); 基于Hive Metastore方式对接OBS 已参考配置Hive基于MetaS
tor --support-timestamp 表1 参数说明 命令 描述 必填 默认值 --database Hive database名称 N default --table Hive表名 Y - --base-file-format 文件格式 (PARQUET或HFILE)
on 10-196-115-2 (694/153378) 单个任务运行时间超过6分钟,从而导致连接超时问题,最终使得任务失败。 将参数中的核数设置为1,“--executor-cores 1”,任务正常完成,单个任务处理时间在合理范围之内(15秒左右)。 16/02/29 02:24:46
代码样例 创建拓扑: public static void main(String[] args) throws Exception { // 设置拓扑配置 Config conf = new Config(); // 配置安全插件 setSecurityPlugin(conf);
println(s"Finished! Exit code is $exitCode") } 根据业务逻辑,开发对应的Spark应用程序。并设置用户编写的Spark应用程序的主类等常数。不同场景的示例请参考开发Spark应用。安全模式,建议按照安全要求,准备安全认证代码、业务应用代码及其相关配置。
omm:wheel jar包文件名 chmod 600 jar包文件名 登录FusionInsight Manager系统,选择“集群 > 待操作集群名称 > 服务 > Loader > 更多 > 重启服务”输入管理员密码重启Loader服务。 父主题: 使用Loader