检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
//源表数据结构转换为目标表的数据结构。该源表如果需要和Hive进行关联操作，可以直接在SQL中通过表名来进行关联操作；该源表如果需要和Hudi表关联操作，需要先指定Hudi表的路径，然后在SQL中通过表名来进行关联操作。 父主题： Hudi写操作
这个问题是由于Yarn客户端运行时所需的内存超过了Yarn客户端设置的内存上限（默认为128MB）。 可以通过修改“<客户端安装路径>/HDFS/component_env”中的参数来修改Yarn客户端的内存上限。 对于MRS 3.x及之后版本集群，修改“CLIENT_GC_OPTS”参数。例如，需要设置该内存上限为1GB，则设置：
function时，如果该session连接的JDBCServer实例不是创建function的JDBCServer实例，则在该session中找不到该function，而且hive默认将“hive.exec.drop.ignorenonexistent”设置为“true”，即当fu
这个期间进入Kafka的所有数据均匀分配到各个任务，避免任务处理压力不均匀。 约束条件： 目前该功能只适用于Spark Streaming中的Direct方式，且执行结果与上一个batch时间处理结果没有依赖关系（即无state操作，如updatestatebykey）。对多条数
-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=artifacts/heapdump 应用程序内存中需要保存大量数据，worker进程使用的内存大于2G，那么建议使用G1垃圾回收算法，可修改参数值为“-Xms2G -Xmx5G -XX:+UseG1GC”。
onCompletion(RecordMetadata metadata, Exception exception); 回调函数接口方法，通过实现Callback中的此方法来进行异步发送结果的处理。 Consumer重要接口 表3 Consumer重要参数 参数 描述 备注 bootstrap.servers
这个期间进入Kafka的所有数据均匀分配到各个任务，避免任务处理压力不均匀。 约束条件： 目前该功能只适用于Spark Streaming中的Direct方式，且执行结果与上一个batch时间处理结果没有依赖关系（即无state操作，如updatestatebykey）。对多条数
如果节点操作系统为SUSE，执行如下命令安装impala-shell客户端： 仅SUSE 13.2及之后版本支持安装impala-shell，低版本中没有cyrus-sasl-devel包和krb5-devel暂不支持。 python2执行如下命令： zypper install -y binutils
placement.enabled true yarn.hetuserver.engine.coordinator.placement.label 3中创建的资源标签（如：pool1） 单击“概览”，选择“更多 > 重启服务”，等待HetuEngine服务重启成功。 重启HetuEngine计算实例。
server.blockmanagement.AvailableSpaceBlockPlacementPolicy）”，经过测试验证，在该测试结果中，修改前后，HDFS写文件性能影响范围在3%以内。 NameNode默认的副本存储策略为： 第一副本：存放到客户端所在节点。 第二副本：远端机架的数据节点。
使用oozieuser用户，登录Oozie WebUI页面：https://oozie角色的ip地址:21003/oozie 。 Oozie的WebUI界面中，可在页面表格根据“job id”查看已提交的工作流信息。 父主题： 使用Oozie客户端提交作业
shell 进入HBase命令行运行模式（也称为CLI客户端连接），如下所示。 hbase(main):001:0> 您可以在命令行运行模式中运行help命令获取HBase的命令参数的帮助信息。 注意事项 count命令不支持条件统计，仅支持全表统计。 获取HBase replication指标的命令
Zone）：一个AZ是一个或多个物理数据中心的集合，有独立的风火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 图1表示区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已
server.blockmanagement.AvailableSpaceBlockPlacementPolicy）”，经过测试验证，在该测试结果中，修改前后，HDFS写文件性能影响范围在3%以内。 NameNode默认的副本存储策略为： 第一副本：存放到客户端所在节点。 第二副本：远端机架的数据节点。
服务，已安装的客户端需要重新下载并安装，或者使用配置文件更新客户端。 更新客户端配置 方法一： 访问集群Manager，在“集群”下拉列表中单击需要操作的集群名称。 选择“更多 > 下载客户端 > 仅配置文件”。 此时生成的压缩文件包含所有服务的配置文件。 是否在集群的节点中生成配置文件？
kafka_auth_mode ClickHouse连接Kafka的认证方式，参数值选择UserPassword。 单击“保存”，在弹窗页面中单击“确定”，保存配置。单击“实例”，勾选ClickHouseServer实例，选择“更多 > 滚动重启实例”，重启ClickHouseServer实例。
前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”若不存在，则手动添加该参数项。 表1 参数说明 参数 描述
shell 进入HBase命令行运行模式（也称为CLI客户端连接），如下所示。 hbase(main):001:0> 您可以在命令行运行模式中运行help命令获取HBase的命令参数的帮助信息。 注意事项 count命令不支持条件统计，仅支持全表统计。 获取HBase replication指标的命令
JAVA平台和IBM JAVA平台。 以下代码在“com.huawei.bigdata.hbase.examples”包的“TestMain”类中。 代码认证 try { init(); login(); } catch (IOException e) { LOG
shell 进入HBase命令行运行模式（也称为CLI客户端连接），如下所示。 hbase(main):001:0> 您可以在命令行运行模式中运行help命令获取HBase的命令参数的帮助信息。 注意事项 count命令不支持条件统计，仅支持全表统计。 获取HBase replication指标的命令
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
