मैं पर काम कर रहा हूँ एक वर्गीकरण समस्या के साथ एक छवि के डाटासेट होने, 11 वर्गों. यह होता है की कुल 11,000 छवियों के साथ, प्रत्येक वर्ग के 1000 छवियों संग्रहीत है, फ़ोल्डर-वार (11 फ़ोल्डर). डेटासेट के आकार के बारे में 40MB. के बाद मैं अपलोड गूगल ड्राइव से डेटा में collab( जो वास्तव में कुछ समय लगता है) और पूर्व-प्रक्रिया यह खिलाने से पहले यह करने के लिए, मॉडल की स्मृति collab हो जाता है 95% पूरा तत्क्षण. जब मैं प्रशिक्षण शुरू, collab दुर्घटनाओं, और क्रम रीसेट है । ऐसा नहीं होता जब मैं का उपयोग Keras डेटा प्रवाह-से-निर्देशिका समारोह. मैं असमर्थ हूँ एक समाधान खोजने के लिए. स्क्रीनशॉट
0
यह हो रहा है, क्योंकि फोन करके फिट के साथ ट्रेन और सत्यापन डेटासेट आप मजबूर कर रहे हैं colab सभी छवियों को लोड करने पर रैम में ही इस, आप की जरूरत लिखने के लिए एक जनरेटर, एक आसान समाधान के अधिकांश के साथ कोड पहले से ही लिखा है का उपयोग करने के लिए tfrecords, keras बाकी संभाल लेंगे ।
https://www.tensorflow.org/tutorials/load_data/tfrecord
आप की जरूरत करने के लिए छवियों को स्टोर डिस्क पर ले लो और उन्हें प्रशिक्षण के दौरान, नहीं सब पर शुरू करते हैं.
आप का उपयोग करने के लिए tfrecords, आप किसी भी उपयोग कर सकते जनरेटर आप की तरह है, लेकिन है कि सामान आता है, सही बल्ले से
BestDogeStackoverflow
अच्छी तरह से मैं उपयोग कर रहा हूँ Keras ट्यूनर यहाँ है, तो मैं नहीं हूँ यकीन है कि अगर जनरेटर के साथ इस्तेमाल किया जा सकता ट्यूनर-खोज या नहीं
SDS