检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
UI”对应的“JobHistory”进入Web界面。 查看Spark日志获取应用运行情况。 您可以查看Spark日志了解应用运行情况,并根据日志信息调整应用程序。 父主题: 调测Spark应用
CREATE FUNCTION example AS 'com.huawei.bigdata.iotdb.UDTFExample' 父主题: 在IoTDBServer节点调测UDF应用
recoverFromCheckpointLocation”的值会判定为true。此时配置了checkpoint目录时就不会显示异常。 父主题: Spark应用开发常见问题
k2x-2.4.5/keytab/spark2x/SparkResource/spark2x.keytab --master yarn 父主题: 用户认证及权限类
数据匹配成功后,单击“同步”会勾选所有匹配的数据,暂不支持挑选部分数据同步。 单击“校验”,校验通过后单击“确定”,等待导出完成。 父主题: 管理FlinkServer作业
INFO DAGScheduler: Final stage: Stage 0(reduce at SparkPi.scala:35) 父主题: Spark运维管理
INFO DAGScheduler: Final stage: Stage 0(reduce at SparkPi.scala:35) 父主题: Spark运维管理
executor进程会内存溢出 支持提交作业,manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件
> 服务 > Spark2x > 实例”,勾选配置过期的实例,选择“更多 > 重启实例”,在弹出对话框输入密码,单击“确定”,重启实例。 父主题: Hive负载均衡
sssd/sssd_be、/usr/libexec/sssd/sssd_nss、/usr/libexec/sssd/sssd_pam。 父主题: 使用Spark
apache.org/docs/r3.3.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 父主题: Spark Core
Server/etc/hive-site.xml | grep 'value' | awk -F'[<>]' '{print $3}' 父主题: 生态组件对接
(`user_id` VARCHAR, `user_name` VARCHAR) WITH ( 'connector' = 'kafka', 'topic' = 'user_info_001', 'properties.bootstrap.servers' = '192.168.64.138:21005'
“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
default_cluster ClickHouse逻辑集群名称,保持默认值。 databaseName testdb 样例代码工程中需要创建的数据库名称,可以根据实际情况修改。 tableName testtb 样例代码工程中需要创建的表名称,可以根据实际情况修改。 batchRows
LdapServer LdapServer主备倒换 次要 27000 DBService DBServer主备倒换 次要 38003 Kafka Topic数据保存周期配置调整 提示 43014 Spark Spark 数据倾斜 提示 43015 Spark Spark SQL 超大查询结果
Kafka:Source、Sink HDFS:Source、Sink - 数据连接 选择数据连接。 - Topic 读取的Kafka的topic,支持从多个Kakfa topic中读取,topic之间使用英文分隔符进行分隔。 “映射表类型”选择“Kafka”时存在此参数。 - 文件路径 要传输的HDFS目录或单个文件路径。
zookeeper.ZooKeeper("xxx.xxx.xxx.xxx:端口号", 600000, null)) { ... } 父主题: Hive JDBC访问样例程序
zookeeper.ZooKeeper("xxx.xxx.xxx.xxx:端口号", 600000, null)) { ... } 父主题: Hive JDBC访问样例程序
logStageExecutorMetrics 是否将executor metrics的每个stage峰值(针对每个executor)写入event log。 false 父主题: Spark运维管理