मुद्दे की कोशिश कर रहा है, जबकि पढ़ने के लिए एक पाठ फ़ाइल में databricks का उपयोग कर स्थानीय फ़ाइल एपीआई के बजाय चिंगारी एपीआई

0

सवाल

मैं कोशिश कर रहा हूँ पढ़ने के लिए एक छोटे txt फ़ाइल में जोड़ा है जो एक तालिका के रूप में करने के लिए डिफ़ॉल्ट पर डीबी Databricks. का प्रयास करते समय पढ़ने के लिए फ़ाइल के माध्यम से स्थानीय फ़ाइल एपीआई के साथ, मैं एक FileNotFoundErrorहै , लेकिन मैं कर रहा हूँ पढ़ने के लिए एक ही फ़ाइल के रूप में स्पार्क RDD का उपयोग कर SparkContext.

मिल कृपया नीचे दिए गए कोड:

with open("/FileStore/tables/boringwords.txt", "r") as f_read:
  for line in f_read:
    print(line)

यह मुझे त्रुटि देता है:

FileNotFoundError                         Traceback (most recent call last)
<command-2618449717515592> in <module>
----> 1 with open("dbfs:/FileStore/tables/boringwords.txt", "r") as f_read:
      2   for line in f_read:
      3     print(line)

FileNotFoundError: [Errno 2] No such file or directory: 'dbfs:/FileStore/tables/boringwords.txt'

जहां के रूप में, मैं कोई समस्या नहीं है पढ़ने का उपयोग कर फ़ाइल SparkContext:

boring_words = sc.textFile("/FileStore/tables/boringwords.txt")
set(i.strip() for i in boring_words.collect())

और उम्मीद के रूप में, मैं परिणाम पाने के लिए ऊपर ब्लॉक का कोड:

Out[4]: {'mad',
 'mobile',
 'filename',
 'circle',
 'cookies',
 'immigration',
 'anticipated',
 'editorials',
 'review'}

मैं भी बात करने के लिए DBFS प्रलेखन समझने के लिए यहाँ के स्थानीय फ़ाइल एपीआई की सीमाओं की लेकिन कोई नेतृत्व इस मुद्दे पर. किसी भी मदद की बहुत सराहना की जाएगी. धन्यवाद!

apache-spark databricks pyspark sparkapi
2021-11-24 06:16:55
3
0

समस्या यह है कि आप का उपयोग कर रहे हैं open समारोह में काम करता है कि केवल के साथ स्थानीय फ़ाइलों, और कुछ भी पता नहीं है के बारे में DBFS, या अन्य फ़ाइल सिस्टम । इस काम पाने के लिए, आप की जरूरत है का उपयोग करने के लिए DBFS स्थानीय फ़ाइल एपीआई और संलग्न /dbfs उपसर्ग करने के लिए फ़ाइल पथ: /dbfs/FileStore/....:

with open("/dbfs/FileStore/tables/boringwords.txt", "r") as f_read:
  for line in f_read:
    print(line)
2021-11-24 07:56:14
0

वैकल्पिक रूप से आप कर सकते हैं बस का उपयोग करें निर्मित में सीएसवी विधि:

df = spark.read.csv("dbfs:/FileStore/tables/boringwords.txt")
2021-11-24 08:51:27
0

वैकल्पिक रूप से हम उपयोग कर सकते हैं dbutils

files = dbutils.fs.ls('/FileStore/tables/')
li = []
for fi in files: 
  print(fi.path)

उदाहरण के लिए ,

enter image description here

2021-11-24 18:26:17

अन्य भाषाओं में

यह पृष्ठ अन्य भाषाओं में है

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
한국어
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................

इस श्रेणी में लोकप्रिय

लोकप्रिय सवाल इस श्रेणी में