检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
moveApplicationAcrossQueues(MoveApplicationAcrossQueuesRequest request) 移动一个应用到新的队列。 submitApplication(SubmitApplicationRequest request) Client通过此接口提交一个新的应用到RM。
Spark Streaming应用运行过程中重启Kafka，Web UI界面部分batch time对应Input Size为0 records 父主题： Spark常见问题
配置Spark SQL开启Adaptive Execution特性 配置场景 Spark SQL Adaptive Execution特性用于使Spark SQL在运行过程中，根据中间结果优化后续执行流程，提高整体执行效率。当前已实现的特性如下： 自动设置shuffle partition数。
参数描述 表1 CLEAN FILES FOR TABLE参数描述 参数 描述 db_name 数据库名称。数据库名称由字母，数字和下划线组成。 table_name 数据库中的表的名称。表名由字母，数字和下划线组成。 注意事项 无。 示例 添加carbon配置参数 carbon
3000，建议以SFTP服务器的CPU的核数作为其取值。 说明： 为了提高导入数据速度，需要确保以下条件： 每个Map连接时，相当于一个客户端连接，因此需要确保SFTP服务器最大连接数大于Map数量。 确保SFTP服务器上的磁盘IO或网络带宽都未达到上限。 20 Map数据块大小
/11 10:58:00重启成功后对应的“Input Size”的值显示为“0 records”。 图1 Web UI界面部分batch time对应Input Size为0 records 回答 Kafka重启成功后应用会按照batch时间把2017/05/11 10:57:00~2017/05/11
包，例如“MRTest-XXX.jar”，jar包名称以实际打包结果为准。 上传生成的应用包“MRTest-XXX.jar”到Linux客户端上，例如“/opt/client/conf”，与配置文件位于同一目录下。 在Linux环境下运行样例工程。 对于MapReduce统计样例程序，执行如下命令。
INDEX参数 参数 描述 index_name 索引表的名称。表名称应由字母数字字符和下划线（_）特殊字符组成。 db_name 数据库的名称。若未指定，选择当前默认数据库。 table_name 需要删除的表的名称。 注意事项 该命令中IF EXISTS和db_name为可选项。 示例 DROP
ger WebUI上对指定service设置权限策略，Ranger插件会定期从RangerAdmin处更新策略并缓存在组件本地文件，当有客户端请求需要进行鉴权时，Ranger插件会对请求中携带的用户在策略中进行匹配，随后返回接受或拒绝。 UserSync用户同步 UserSync
将根据节点已安装的服务类型自动选择可以缩容的节点。 Core节点在缩容的时候，会对原节点上的数据进行迁移。业务上如果对数据位置做了缓存，客户端自动刷新位置信息可能会影响时延。缩容节点可能会影响部分HBase on HDFS数据的第一次访问响应时长，可以重启HBase或者对相关的表
ConsumerRecords<Integer, String> records = consumer.poll(waitTime); // 消息处理 for (ConsumerRecord<Integer, String> record : records) {
集群 > 服务 > Doris”，查看“Leader所在的主机”获取。 将代码中PORT = "xxx"的“xxx”修改为Doris的MySQL协议查询连接端口，默认为29982，可登录FusionInsight Manager，选择“集群 > 服务 > Doris > 配置”，搜索“query_port”获取。
在创建的Source流表中添加“subtask.scan.records-per-second.limit”参数，该参数表示每秒消费Kafka单分区记录数，因此Source端整体限流速率为：min( source parallelism * subtask.scan.records-per-second.limit，kafka
示例 架构名称 数据库模式名。 dbo 表名 数据库表名，用于最终保存传输的数据。 test 临时表名 数据库临时表名用于临时保存传输过程中的数据，字段需要和“表名”配置的表一致。 db_test 数据库类型 数据库类型，分为MOT和其他可用JDBC连接的数据库。 MOT MOT导入方式
则可以使用MapPartitions，按每个分区计算结果，如 rdd.mapPartitions(records => conn.getDBConn;for(item <- records) write(item.toString); conn.close) 使用mapPartition
COLUMN_NAME'='default_value'); 参数描述 表1 ADD COLUMNS参数描述 参数 描述 db_name 数据库名。若未指定，则选择当前数据库。 table_name 表名。 col_name data_type 带数据类型且用逗号分隔的列的名称。列名称包含字母，数字和下划线（_）。
changed_column_type; 参数描述 表1 CHANGE DATA TYPE参数描述 参数 描述 db_name 数据库名。若未指定，则选择当前数据库。 table_name 表名。 col_name 表中的列名称。列名称包含字母，数字和下划线（_）。 changed_column_type
ConsumerRecords<String, String> records = consumer.poll(waitTime); for (ConsumerRecord<String, String> record : records) {
ZooKeeper Znode数量使用率超出阈值”左侧下拉菜单，在“定位信息”的“服务目录”中获取告警的Znode路径。 以集群用户登录ZooKeeper客户端，删除告警对应Znode下的无用数据。 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper
表2 属性描述 属性 描述 carbon.options.bad.records.logger.enable 启用或禁用bad record日志记录。 carbon.options.bad.records.action 指定bad record操作，例如，强制（force），重定
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
