AI开发平台MODELARTS-如何提升训练效率,同时减少与OBS的交互?:优化方式

时间:2024-11-06 21:52:43

优化方式

以TensorFlow代码为例。

优化前代码如下所示:

1
2
3
4
...
tf.flags.DEFINE_string('data_url', '', 'dataset directory.')
FLAGS = tf.flags.FLAGS
mnist = input_data.read_data_sets(FLAGS.data_url, one_hot=True)

优化后的代码示例如下,将数据复制至“/cache”目录。

1
2
3
4
5
6
7
...
tf.flags.DEFINE_string('data_url', '', 'dataset directory.')
FLAGS = tf.flags.FLAGS
import moxing as mox
TMP_CACHE_PATH = '/cache/data'
mox.file.copy_parallel('FLAGS.data_url', TMP_CACHE_PATH)
mnist = input_data.read_data_sets(TMP_CACHE_PATH, one_hot=True)
support.huaweicloud.com/modelarts_faq/modelarts_05_0114.html