检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何在CarbonData中配置非安全内存？ 问题 如何在CarbonData中配置非安全内存？ 回答 在Spark配置中，“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”与“Netty
SQL语句查询src_data表中的数据，最后可将src_data表删除。 前提条件 将OBS数据源中的数据写入Spark SQL表中时，需要先获取AK/SK。获取方法如下： 登录管理控制台。 单击用户名，在下拉列表中单击“我的凭证”。 单击“访问密钥”。 单击“新增访问密钥”，进入“新增访问密钥”页面。
MyRegistrator") val sc = new SparkContext(conf) // 建立连接hbase的配置参数，此时需要保证hbase-site.xml在classpath中 val hbConf = HBaseConfiguration.create(sc
个组数据点写入数据库中。 对已有的数据使用OpenTSDB的query接口进行数据查询和分析。 功能分解 根据上述的业务场景进行功能开发，需要开发的功能如表4所示。 表4 在OpenTSDB中开发的功能 序号 步骤 代码实现 1 根据典型场景说明建立了数据模型 请参见配置OpenTSDB参数
如何在CarbonData中配置非安全内存？ 问题 如何在CarbonData中配置非安全内存？ 回答 在Spark配置中，“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”
Impala应用开发简介 Impala简介 Impala直接对存储在HDFS，HBase 或对象存储服务（OBS）中的Hadoop数据提供快速，交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL）
参数解释： 错误描述。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 请求示例 更新用户（组）与IAM委托的映射关系示例 PUT https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/agency-mapping {
OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark Core应用时，在客户端配置文件“$SPARK_HOME/conf/spark-defaults
TBLPROPERTIES('RANGE_COLUMN'='column1') LONG_STRING_COLUMNS 普通String类型的长度不能超过32000字符，如果需要存储超过32000字符的字符串，指定LONG_STRING_COLUMNS配置为该列。 TBLPROPERTIES('LONG_STRING_COLUMNS'='column1
OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark Core应用时，在客户端配置文件“$SPARK_HOME/conf/spark-defaults
OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark Core应用时，在客户端配置文件“$SPARK_HOME/conf/spark-defaults
TBLPROPERTIES('RANGE_COLUMN'='column1') LONG_STRING_COLUMNS 普通String类型的长度不能超过32000字符，如果需要存储超过32000字符的字符串，指定LONG_STRING_COLUMNS配置为该列。 TBLPROPERTIES('LONG_STRING_COLUMNS'='column1
OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark Core应用时，在客户端配置文件“$SPARK_HOME/conf/spark-defaults
kafka表引擎，进行数据同步到ClickHouse中，当前CK的kafka引擎有会导致kafka引擎数据入库产生性能等诸多问题，通过用户使用经验，需要应用侧自己写kafka的数据消费，攒批写入ClickHouse，提升ClickHouse的入库性能。 使用分区替换或增加的方式写入数据 为
'hot_cold_table', {NAME=>'f', COLD_BOUNDARY=>'86400'} 相关参数说明如下： NAME：需要冷热分离的列族。 COLD_BOUNDARY：冷热分离时间点，单位为秒（s）。例如COLD_BOUNDARY值为86400，表示86400
OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark Core应用时，在客户端配置文件“$SPARK_HOME/conf/spark-defaults
Impala应用开发简介 Impala直接对存储在HDFS、HBase或对象存储服务（OBS）中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据、SQL语法（Hive SQL）、ODBC驱动程序和
Impala应用开发简介 Impala直接对存储在HDFS，HBase 或对象存储服务（OBS）中的Hadoop数据提供快速，交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序
class); // 设置combiner类，默认不使用，使用时通常使用和reduce一样的类。 // Combiner类需要谨慎使用，也可以通过配置文件指定。 job.setCombinerClass(CollectionReducer.class);
String 参数解释： 错误描述。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 请求示例 查询单个作业请求示例 GET https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions/{job_execution_id}
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
