检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏,SparkSQL的UDF功能只允许具备admin权限的用户注册,由admin用户保证自定义的函数的安全性。 父主题: Spark应用开发常见问题
UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏,SparkSQL的UDF功能只允许具备admin权限的用户注册,由admin用户保证自定义的函数的安全性。 父主题: Spark应用开发常见问题
lkload和put适合在哪些场景使用。 回答 bulkload是通过启动MapReduce任务直接生成HFile文件,再将HFile文件注册到HBase,因此错误的使用bulkload会因为启动MapReduce任务而占用更多的集群内存和CPU资源,也可能会生成大量很小的HFi
Execution特性前,Spark SQL根据RBO和CBO的优化结果创建执行计划,此种方法忽略了数据在运行过程中的结果集变化。比如基于某个大表创建的视图,与其他大表join时,即便视图的结果集很小,也无法将执行计划调整为BroadcastJoin。启用Adaptive Execution特性后,Spark
Execution特性前,Spark SQL根据RBO和CBO的优化结果创建执行计划,此种方法忽略了数据在运行过程中的结果集变化。比如基于某个大表创建的视图,与其他大表join时,即便视图的结果集很小,也无法将执行计划调整为BroadcastJoin。启用Adaptive Execution特性后,Spark
getModificationTime() 通过该接口可查看指定HDFS文件的修改时间。 public Path getPath() 通过该接口可查看指定HDFS中某个目录下所有文件。 表3 类DFSColocationAdmin常用接口说明 接口 说明 public Map<String, List<DatanodeInfo>>
getModificationTime() 通过该接口可查看指定HDFS文件的修改时间。 public Path getPath() 通过该接口可查看指定HDFS中某个目录下所有文件。 表3 类DFSColocationAdmin常用接口说明 接口 说明 public Map<String, List<DatanodeInfo>>
getModificationTime() 通过该接口可查看指定HDFS文件的修改时间。 public Path getPath() 通过该接口可查看指定HDFS中某个目录下所有文件。 表3 类DFSColocationAdmin常用接口说明 接口 说明 public Map<String, List<DatanodeInfo>>
--detached:以分离方式运行job。 -n,--allowNonRestoredState: 从快照点恢复时允许跳过不能恢复的状态。比如删除了程序中某个操作符,那么在恢复快照点时需要增加该参数。 -m,--jobmanager <host:port>:指定JobManager。 -p,--parallelism
中相匹配行的数据,若左表中没有匹配,则该行对应的左表的值为空。 全外连接:FULL JOIN或FULL OUTER JOIN,表示只要其中某个表存在匹配,则返回相匹配的行,相当于LEFT JOIN和RIGHT JOIN结合。 SELECT * FROM nation LEFT (OUTER)
S 3.2.0及以后版本。 -n,--allowNonRestoredState: 从快照点恢复时允许跳过不能恢复的状态。比如删除了程序中某个操作符,那么在恢复快照点时需要增加该参数。 -m,--jobmanager <host:port>:指定JobManager。 -p,--parallelism
进行配置,设置是否需要Kryo注册序列化。 当参数设置为true时,如果工程中存在未被序列化的类,则会发生异常。如果设置为false(默认值),Kryo会自动将未注册的类名写到对应的对象中。此操作会对系统性能造成影响。设置为true时,用户需手动注册类,针对未序列化的类,系统不会
新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的IoTDB数据。 建议一个恢复任务只恢复一个组件的元数据,避免因停止某个服务或实例影响其他组件的数据恢复。同时恢复多个组件数据,可能导致数据恢复失败。 对系统的影响 元数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。
getModificationTime() 通过该接口可查看指定HDFS文件的修改时间。 public Path getPath() 通过该接口可查看指定HDFS中某个目录下所有文件。 表3 类DFSColocationAdmin常用接口说明 接口 说明 public Map<String, List<DatanodeInfo>>
自定义的类,且该类继承了AbstractSinkSelector processor.selector.maxTimeOut 30000 屏蔽故障sink的时间,默认是30000毫秒 Failover配置样例: client.sources = source1 client
件中,添加待对接数据源所在集群的主机名称和对应的IP映射,及其“/etc/hosts”文件中的“10.10.10.10 hadoop.系统域名”(如“10.10.10.10 hadoop.hadoop.com”),否则HetuEngine无法根据主机名称连接到非本集群节点。 已创建HetuEngine计算实例。
浏览器 建议使用推荐的浏览器登录MRS管理界面。 Google Chrome:36.0及更高版本 Microsoft Edge:随Windows操作系统更新。 数据存储 MRS集群节点仅用于存储用户业务数据,非业务数据建议保存在对象存储服务或其他弹性云服务器中。 MRS集群节点
getModificationTime() 通过该接口可查看指定HDFS文件的修改时间。 public Path getPath() 通过该接口可查看指定HDFS中某个目录下所有文件。 表3 类DFSColocationAdmin常用接口说明 接口 说明 public Map<String, List<DatanodeInfo>>
lkload和put适合在哪些场景使用。 回答 bulkload是通过启动MapReduce任务直接生成HFile文件,再将HFile文件注册到HBase,因此错误的使用bulkload会因为启动MapReduce任务而占用更多的集群内存和CPU资源,也可能会生成大量很小的HFi
录,执行get /thriftserver/active_thriftserver查看该目录下是否有注册的配置信息。 如果有注册的配置信息,联系华为云支持人员处理。 如果没有注册的配置信息,执行4 如果没有active_thriftserver目录,执行4。 登录Manager界