分布式映射：在HuggingFace数据集上的实现方法
talkingdev • 2023-10-27
946678 views
数据集映射是将转换应用于每个数据点的标准方法。但是在多个GPU上同时进行映射是很困难的。本代码提供了在HuggingFace数据集上实现的优秀函数。
talkingdev • 2023-10-27
946678 views
数据集映射是将转换应用于每个数据点的标准方法。但是在多个GPU上同时进行映射是很困难的。本代码提供了在HuggingFace数据集上实现的优秀函数。