检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据存储到表counter_daily_agg中,数据源来自counter。 聚合表在明细表名后加上_{type}_agg后缀;物化视图添加 _{type}_mv后缀。 物化视图、聚合表保持与明细表同样的分区类型及ttl时间。 物化视图中的group by字段名称与明细表对应字
STORED AS TEXTFILE; 更新表的结构 一个表在创建完成后,还可以使用ALTER TABLE执行增、删字段,修改表属性,添加分区等操作。 -- 为表employees_info_extended增加tel_phone、email字段. ALTER TABLE
单击“作业管理”进入作业管理页面。 找到待调优的并处于非运行中的作业,在“操作”列单击“开发”进入作业开发界面。 在作业开发界面的“自定义参数”项中,根据实际需求添加如下参数并保存,热数据(常用及使用中数据)可参考表1,冷数据(不常用、较长时间未使用的数据)可参考表2。 表1 RocksDB状态后端存储
sight Manager创建的角色中关于该组件的权限将失效(HDFS与Yarn的组件ACL规则仍将生效),用户需通过Ranger管理界面添加策略进行资源的赋权。 Ranger的权限模型由多条权限策略组成,权限策略主要由以下几方面组成: 资源 组件所提供的可由用户访问的对象,例如
单击sparksql文件系统名称,并选择“文件”。 单击“新建文件夹”,创建input文件夹。 进入input文件夹,单击“上传文件 > 添加文件”,选择本地的txt文件,然后单击“上传”。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 将OBS中的txt文件导入至HDFS中。
thon来访问HBase服务。python样例仅支持在Linux环境中运行,调测HBase python样例程序需有与集群环境网络相通的ECS,详情请参见准备本地应用开发环境,并需要安装python环境,安装包下载详情请参见:https://www.python.org/。当前以
集群上下电之后HBase启动失败 问题背景与现象 集群的ECS关机重启后,HBase启动失败。 原因分析 查看HMaster的运行日志,发现有报大量的如下错误: 2018-03-26 11:10:54,185 | INFO | hadoopc1h3,21300,15220316
STORED AS TEXTFILE; 更新表的结构 一个表在创建完成后,还可以使用ALTER TABLE执行增、删字段,修改表属性,添加分区等操作。 -- 为表employees_info_extended增加tel_phone、email字段. ALTER TABLE
级的数据。 如数量在一定范围内需要显示,请调整hive客户端的jvm参数, 在hive客户端目录/Hive下的component_env中添加export HIVE_OPTS=-Xmx1024M(具体数值请根据业务调整),并重新执行source 客户端目录/bigdata_env配置环境变量。
时间,添加该参数可限制重写所带来的性能损耗,物化视图重写超时后会执行原始SQL。 若使用Session级别开启物化视图功能,并需要开启物化视图重写超时控制,可先执行set session materialized_view_rewrite_timeout = 5。 参数添加完成后,
理 > meta > 服务配置”,切换“基础配置”为“全部配置”,搜索配置项“http.server.session.timeout.secs”,如果有该配置项请参考如下步骤修改,如果没有该配置项则版本不支持动态调整会话时长。 MRS 3.x及之后版本集群:登录FusionInsight
List<String> listExecScriptsNodes = new ArrayList<>(); listExecScriptsNodes.add("master_node_default_group"); listExecScriptsNodes.
K_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX:OnOutOfMemoryError='kill -9 %p' 父主题: Spark应用开发常见问题
运行Hive客户端命令,实现A业务。 内部表操作 执行以下命令登录Hive客户端命令行: beeline 根据表1创建用户信息表user_info并添加相关数据,例如: create table user_info(id string,name string,gender string,age
MRS集群管理员已明确业务需求。 已安装好IoTDB客户端。 操作步骤 登录FusionInsight Manager,选择“系统 > 权限 > 角色”。 单击“添加角色”,然后在“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”请参见表1。 IoTDB权限: 普通用户权限:具有数据操
使用spark-submit或者spark-sql运行SQL语句,执行3。 使用spark-beeline运行SQL语句,执行4。 执行SQL语句时,需要添加参数“--driver-memory”,设置内存大小,例如: /spark-sql --master=local[4] --driver-memory=512M
登录集群Manager页面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”。 在“clickhouse-metrika-customize”参数中添加表1中自定义配置项。 表1 自定义参数 参数 值 clickhouse_remote_servers.example_cluster.shard[1]
入了Clustering服务来重写数据以优化Hudi数据湖文件的布局。 Clustering服务可以异步或同步运行,Clustering会添加了一种新的REPLACE操作类型,该操作类型将在Hudi元数据时间轴中标记Clustering操作。 Clustering服务基于Hudi
flux.Flux --local /opt/my-topology.yaml 如果业务设置为本地模式,请确保提交环境为普通模式环境,当前不支持安全环境下使用命令提交本地模式的业务。 如果使用了properties文件,则提交命令如下: storm jar /opt/jartarget/source
K_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX:OnOutOfMemoryError='kill -9 %p' 父主题: Spark应用开发常见问题