检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击sparksql文件系统名称，并选择“文件”。 单击“新建文件夹”，创建input文件夹。 进入input文件夹，单击“上传文件 > 添加文件”，选择本地的txt文件，然后单击“上传”。 登录MRS控制台，在左侧导航栏选择“现有集群”，单击集群名称。 将OBS中的txt文件导入至HDFS中。
运行Hive客户端命令，实现A业务。 内部表操作 执行以下命令登录Hive客户端命令行： beeline 根据表1创建用户信息表user_info并添加相关数据，例如： create table user_info(id string,name string,gender string,age
List<String> listExecScriptsNodes = new ArrayList<>(); listExecScriptsNodes.add("master_node_default_group"); listExecScriptsNodes.
K_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容： -XX:OnOutOfMemoryError='kill -9 %p' 父主题： Spark应用开发常见问题
使用spark-submit或者spark-sql运行SQL语句，执行3。 使用spark-beeline运行SQL语句，执行4。 执行SQL语句时，需要添加参数“--driver-memory”，设置内存大小，例如： /spark-sql --master=local[4] --driver-memory=512M
时间，添加该参数可限制重写所带来的性能损耗，物化视图重写超时后会执行原始SQL。 若使用Session级别开启物化视图功能，并需要开启物化视图重写超时控制，可先执行set session materialized_view_rewrite_timeout = 5。 参数添加完成后，
flux.Flux --local /opt/my-topology.yaml 如果业务设置为本地模式，请确保提交环境为普通模式环境，当前不支持安全环境下使用命令提交本地模式的业务。 如果使用了properties文件，则提交命令如下： storm jar /opt/jartarget/source
xml”、“hbase-site.xml”。 方法二：通过准备本地应用开发环境中解压客户端文件的方法获取配置文件，需要在获取的“hbase-site.xml”中手动添加以下配置，其中“hbase.thrift.security.qop”的参数值与1保持一致。 <property> <name>hbase.thrift
K_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容： -XX:OnOutOfMemoryError='kill -9 %p' 父主题： Spark应用开发常见问题
xml”。 方法二：通过准备HBase应用开发和运行环境中解压客户端文件的方法获取配置文件，需要在获取的“hbase-site.xml”中手动添加以下配置，其中“hbase.thrift.security.qop”的参数值与1保持一致。 <property> <name>hbase.thrift
K_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容： -XX:OnOutOfMemoryError='kill -9 %p' 父主题： Spark应用开发常见问题
SNAPPY);// 设置列簇f1的压缩算法为SNAPPY htd.setColumnFamily(hcd.build())// 将列簇f1添加到t1表的descriptor. 对已存在的表设置或修改data block encoding和压缩算法。 方法一：使用hbase shell。
MRS集群管理员已明确业务需求。 已安装好IoTDB客户端。 操作步骤 登录FusionInsight Manager，选择“系统 > 权限 > 角色”。 单击“添加角色”，然后在“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”请参见表1。 IoTDB权限： 普通用户权限：具有数据操
使用spark-submit或者spark-sql运行SQL语句，执行3。 使用spark-beeline运行SQL语句，执行4。 执行SQL语句时，需要添加参数“--driver-memory”，设置内存大小，例如： /spark-sql --master=local[4] --driver-memory=512M
登录集群Manager页面，选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”。 在“clickhouse-metrika-customize”参数中添加表1中自定义配置项。 表1 自定义参数 参数 值 clickhouse_remote_servers.example_cluster.shard[1]
入了Clustering服务来重写数据以优化Hudi数据湖文件的布局。 Clustering服务可以异步或同步运行，Clustering会添加了一种新的REPLACE操作类型，该操作类型将在Hudi元数据时间轴中标记Clustering操作。 Clustering服务基于Hudi
SNAPPY);// 设置列簇f1的压缩算法为SNAPPY htd.setColumnFamily(hcd.build())// 将列簇f1添加到t1表的descriptor. 对已存在的表设置或修改data block encoding和压缩算法 方法一：使用hbase shell。
Task节点的实例规格，例如：{ECS_FLAVOR_NAME}.linux.bigdata，{ECS_FLAVOR_NAME}可以为c3.4xlare.2等在MRS购买页可见的云服务器规格。实例规格详细说明请参见MRS所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。该参数建议从M
如下所示： 创建ECS委托 为MRS集群配置委托 创建OBS文件系统 Hive访问OBS文件系统 创建ECS委托 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务”。 选择“委托 > 创建委托”。 设置“委托名称”。例如：mrs_ecs_obs。 “委托
安装MRS 3.x及之后版本Flume客户端 操作场景 使用Flume搜集日志时，需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。 本章节适用于MRS 3.x及之后版本。 前提条件 已创建包含Flume组件的集群。 日志主机需要与MRS集群在相同的VPC和子网。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
