检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Streaming提交作业后报类找不到错误 用户问题 Flume向Spark Streaming提交作业，提交到集群后报类找不到的错误。 问题现象 Spark Streaming代码打成jar包提交到集群后报类找不到错误，通过以下两种方式依然不生效。 在提交Spark作业的时候使用--jars 命令引用类所在的jar包。
COLUMNS (col_name, ...); 参数描述 表1 DROP COLUMNS参数描述 参数 描述 db_name 数据库名。如果未指定，则选择当前数据库。 table_name 表名。 col_name 表中的列名称。支持多列。列名称包含字母，数字和下划线（_）。 注意事项
准备运行调测环境 在弹性云服务器管理控制台，申请一个新的弹性云服务器，用于用户应用程序开发、运行、调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。 申
开发用户用于运行样例工程。用户需要有Impala权限，才能运行Impala样例工程。 前提条件 MRS服务集群开启了Kerberos认证时请执行该步骤，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager。 单击“系统设置 > 用户管理 > 添加用户”，为样例工程创建一个用户。
min需要使用集群中的证书。如果用户未使用集群中的JDK或者JRE，而是使用第三方JDK时，会出现访问RangerAdmin失败，进而spark应用程序启动失败的问题。 在这个场景下，需要进行以下操作，将集群中的证书导入第三方JDK或者JRE中。 配置方法 导出集群中的证书： 安
ClickHouse加速TTL操作调优 ClickHouse触发TTL的时候，对CPU和内存会存在较大消耗和占用。 登录FusionInsight Manager界面，选择“集群 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > 自定义 > clickhouse-confi
Hive故障排除 如何对insert overwrite自读自写场景进行优化 父主题： 使用Hive
CarbonData语法参考 CREATE TABLE CREATE TABLE As SELECT DROP TABLE SHOW TABLES ALTER TABLE COMPACTION TABLE RENAME ADD COLUMNS DROP COLUMNS CHANGE
test*:10 spark.prequery.maxThreads 预热时并发的最大线程数 50 spark.prequery.sslEnable 集群安全模式为true，非安全模式为false true spark.prequery.driver JDBCServer的地址ip:port
用户可以根据业务需求，通过Kafka客户端或KafkaUI查看当前消费情况。 本章节内容适用于MRS 3.x及后续版本。 前提条件 如果当前使用Kafka客户端，需要满足以下条件： MRS集群管理员已明确业务需求，并准备一个系统用户。 已安装Kafka客户端。 使用Kafka客户端查看当前消费情况
提交作业时系统提示当前用户在Manager不存在如何处理？ 问：安全集群在提交作业时，未进行IAM用户同步，会出现“当前用户在MRS Manager不存在，请先在IAM给予该用户足够的权限，再在概览页签进行IAM用户同步”的错误提示。 答：在提交作业之前，用户需要先在集群详情页的“概览”页签，单击“IAM用户
hive.manageFilesourcePartitions 是否启用Metastore分区管理（包括数据源表和转换的Hive表）。 true：启用Metastore分区管理，即数据源表存储分区在Hive中，并在查询语句中使用Metastore修剪分区。 false：不启用Metastore分区管理。
pic发送数据的场景，此时会判断用户是否有集群的Create权限 对于用户创建大量Topic的场景，如果授予用户Cluster Create权限，那么该用户可以在集群内部创建任意Topic 设置用户对Cluster的配置修改权限 在“cluster”右侧输入并选择集群名。 在“Allow
IoTDB开源增强特性：安全加固 用户认证支持Kerberos、通道SSL加密，兼容社区方式。 IoTDB开源增强特性：生态对接 在原生的能力上，增强集群版MQTT对接。 父主题： IoTDB
有Kudu相关配置。 处理步骤 在集群Presto所有的worker实例节点上添加配置文件kudu.properties。 配置文件保存路径：/opt/Bigdata/MRS_xxx/1_x_Worker/etc/catalog/ (请根据集群实际版本修改路径) 配置文件内容： connector
升级Master节点规格需要关机吗？ 问：升级Master节点规格时需要手动关机吗？ 答：MRS服务集群的Master节点规格升级时会自动触发关机操作，当升级完成后会自动触发开机操作，无需人工干预。 父主题： 节点管理类
在以下场景中，可以使用宏进行配置参数： 指定以当天时间命名的数据目录 参数项配置为“/user/data/inputdate_@{dateformat("yyyy-MM-dd")}@”。 通过SQL语句查询最近7天的数据 select * from table where time
运行Spark作业前，调整hbase.client.scanner.timeout.period参数（例如从60秒调高到120秒）。 登录Manage界面，选择“集群 > 服务 > HBase > 配置 > 全部配置”，搜索参数“hbase.client.scanner.timeout.period”，
t Manager，选择“集群 > 服务 > Kafka > 实例”，在实例列表页面中查看并记录任意一个Broker实例业务IP地址。 Kafka连接端口：集群已启用Kerberos认证（安全模式）时Broker端口为“sasl.port”参数的值。集群未启用Kerberos认证
开发Spark应用程序时，优化RDD的数据结构。 使用原始类型数组替代集合类，如可使用fastutil库。 避免嵌套结构。 Key尽量不要使用String。 开发Spark应用程序时，建议序列化RDD。 RDD做cache时默认是不序列化数据的，可以通过设置存储级别来序列化RDD减小内存。例如：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
