पुनरावृति से फ़ाइलें फ़ोल्डर और उन्हें प्रक्रिया स्काला में

यह की तरह लगता है आप के लिए देख रहे हैं partitionBy पर परिभाषित DataFrameWriter. से scaladoc:

def partitionBy(colNames: String*): DataFrameWriter[T]

विभाजन के उत्पादन के द्वारा दिए गए कॉलम फाइल सिस्टम पर. यदि निर्दिष्ट नहीं है, उत्पादन पर बाहर रखी है फाइल सिस्टम के लिए इसी तरह के छत्ते की विभाजन योजना. एक उदाहरण के रूप में, जब हम विभाजन डेटासेट द्वारा वर्ष और फिर महीने, निर्देशिका लेआउट की तरह लग रही होगी:

year=2016/month=01/
year=2016/month=02/

विभाजन में से एक है सबसे व्यापक रूप से इस्तेमाल किया तकनीकों का अनुकूलन करने के लिए शारीरिक डेटा लेआउट. यह प्रदान करता है एक भोंडा सूचकांक लंघन के लिए अनावश्यक डेटा पढ़ता है जब क्वेरीज़ है predicates पर partitioned स्तंभ हैं । के लिए आदेश में विभाजन करने के लिए अच्छी तरह से काम, की संख्या अलग मूल्यों प्रत्येक स्तंभ में होना चाहिए आम तौर पर कम से कम हजारों की दसियों.

इस पर लागू होता है के लिए सभी फ़ाइल-आधारित डेटा स्रोतों (जैसे लकड़ी की छत, JSON) के साथ शुरू चिंगारी 2.1.0.