सेटअप Mlflow बैकएंड (SQLite) और विरूपण साक्ष्य (Azure ब्लॉब संग्रह) स्टोर

0

सवाल

मैं सेटअप करने के लिए Mlflow करने के लिए निम्नलिखित घटक हैं :

  • बैकएंड स्टोर (स्थानीय) : का उपयोग कर एक SQLite डेटाबेस स्थानीय रूप से स्टोर करने के लिए Mlflow संस्थाओं (run_id, params, मीट्रिक...)
  • विरूपण साक्ष्य की दुकान (दूरस्थ) : का उपयोग कर एक बूँद भंडारण पर नीला डेटा झील भंडारण Gen2 को स्टोर करने के लिए आउटपुट फ़ाइलों (वर्सन डेटासेट, धारावाहिक मॉडल, चित्र, ...) संबंधित करने के लिए अपने मॉडल
  • ट्रैकिंग सर्वर द्वारा का उपयोग कर लग रहा है कि कुछ इस तरह कमान

जेड

mlflow server --backend-store-uri sqlite:///C:\sqlite\db\mlruns.db --default-artifact-root wasbs://container-name@storage_account_name.blob.core.windows.net/mlartifacts -h 0.0.0.0 -p 8000

जहां mlruns.डीबी है कि एक डेटाबेस के गठन में SQLite (एक db फ़ोल्डर में) और mlartifacts फ़ोल्डर है मैं अंदर बनाया बूँद कंटेनर प्राप्त करने के लिए सभी आउटपुट फ़ाइलें.

मैं इस आदेश को चलाने के लिए और फिर मैं और mlflow चलाने के लिए (या एक kedro चलाने के रूप में मैं का उपयोग कर रहा हूँ Kedro), लेकिन लगभग कुछ भी नहीं होता है । डेटाबेस के साथ आबादी है 12 टेबल्स लेकिन सभी खाली है, जबकि कुछ भी नहीं अंदर होता है डेटा झील है ।

मैं क्या चाहते हैं की तरह दिखना चाहिए परिदृश्य 4 में प्रलेखन.

विरूपण साक्ष्य के लिए दुकान में, मैं नहीं मिल सकता है के बारे में विस्तृत निर्देश. मैं करने की कोशिश की देखो Mlflow के प्रलेखन यहाँ लेकिन यह बहुत उपयोगी नहीं है (मैं अभी भी एक शुरुआत है). वे कहते हैं कि:

MLflow की उम्मीद नीला संग्रहण पहुँच साख में AZURE_STORAGE_CONNECTION_STRING, AZURE_STORAGE_ACCESS_KEY वातावरण चर या अपने क्रेडेंशियल्स कॉन्फ़िगर किया गया है कि इस तरह के DefaultAzureCredential(). वर्ग कर सकते हैं उन्हें लेने के लिए.

हालांकि, यहां तक कि जब जोड़ने पर्यावरण चर, कुछ भी नहीं करने के लिए लगता है हो सकता है में संग्रहीत डेटा झील है । मैं बनाया के दो पर्यावरण चर (Windows 10):

  • AZURE_STORAGE_ACCESS_KEY = wasbs://container-name@storage_account_name.blob.core.windows.net/mlartifacts

  • AZURE_STORAGE_CONNECTION_STRING = DefaultEndpointsProtocol=https;AccountName=storagesample;AccountKey=. मैं इसे का पालन करके इस पथ पर Azure पोर्टल : भंडारण खाते का उपयोग कुंजी/कनेक्शन स्ट्रिंग (ले लिया है में से एक कुंजी 2).

वे भी राज्य है कि :

इसके अलावा, आप चलाने चाहिए रंज स्थापित नीला-भंडारण-बूँद अलग (पर अपने दोनों क्लाइंट और सर्वर) का उपयोग करने के लिए Azure ब्लॉब संग्रह. अंत में, यदि आप चाहते हैं का उपयोग करने के लिए DefaultAzureCredential है, तो आप चाहिए रंज स्थापित नीला-पहचान; MLflow की घोषणा नहीं करता एक निर्भरता पर इन संकुल डिफ़ॉल्ट रूप से ।

मैं जोड़ा गया में उन्हें अपनी परियोजना की आवश्यकताओं, लेकिन क्या वे वास्तव में क्या मतलब के द्वारा स्थापित करने पर दोनों क्लाइंट और सर्वर ? कैसे नीला-पहचान में मदद करता है सेटअप ?

तुम सकता है कृपया मेरी मदद के साथ कदम से कदम निर्देश पर कैसे बनाने के लिए पूरा सेटअप ?

आप पहले से धन्यवाद !

azure mlflow mlops python
2021-11-23 16:46:18
1

सबसे अच्छा जवाब

2

आप की जरूरत है सिर्फ सेट करने के लिए AZURE_STORAGE_CONNECTION_STRING, AZURE_STORAGE_ACCESS_KEY वैकल्पिक है, तो पहली वातावरण चर प्रयोग किया जाता है (वैसे भी, AZURE_STORAGE_ACCESS_KEY नहीं होना चाहिए URL हैं, लेकिन वास्तविक उपयोग कुंजी).

के बारे में azure-storage-blob पैकेज - यह स्थापित किया जाना चाहिए पर दोनों सर्वर जहाँ से आप चलाने के लिए mlflow serverहै , और एक ही मशीन पर चलाने के लिए जहां अपने प्रशिक्षण (ग्राहक).

2021-11-27 11:41:33

धन्यवाद आपके उत्तर के लिए ! आप सही कर रहे हैं के बारे में AZURE_STORAGE_ACCESS_KEY, मैं नहीं जानता कि क्यों मैं इस गलती की. अंत में, यह खाते में नहीं लिया मेरे मामले में मैं के रूप में इस्तेमाल किया AZURE_STORAGE_CONNECTION_STRING. मैं अंत में प्रबंधित करने के लिए बनाने के लिए यह काम का उपयोग करके डबल बैकस्लैश और पोर्ट का उपयोग 5000 ==> mlflow server --backend-store-uri sqlite:///C:\\sqlite\\db\\mlruns.db --default-artifact-root wasbs://container-name@storage_account_name.blob.core.windows.net/mlartifacts -h 0.0.0.0 -p 5000
Downforu

अन्य भाषाओं में

यह पृष्ठ अन्य भाषाओं में है

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
한국어
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................

इस श्रेणी में लोकप्रिय

लोकप्रिय सवाल इस श्रेणी में