कैसे निर्माण करने के लिए तंत्रिका नेटवर्क इस संरचना में？के साथ अलग-अलग नोड्स जोड़ता है करने के लिए अलग-अलग नोड्स की संख्या में अगले परत

Question 1

मैं केवल पता है कि कैसे का उपयोग करने के लिए निर्मित में नेटवर्क की तरह RNN के LSTM में PyTorch. लेकिन वे करते हैं के साथ सौदा करने के लिए हर नोड के लिए पिछले परत दे देंगे कि जानकारी के लिए सभी नोड्स में अगले परत ।

मैं कुछ अलग करना चाहते हैं, लेकिन पता नहीं कैसे करने के लिए यह कोड अपने आप को. की तरह में यह आंकड़ा: नोड के एक नक्शे के सभी [d, e, f] तीन नोड्स में परत 2, जबकि नोड b करने के लिए नक्शे [ई,एफ] और नोड c के ही नक्शे के लिए [f]. एक परिणाम के रूप में, नोड d केवल बारे में जानकारी शामिल से एकहै, जबकि ई के बारे में जानकारी शामिल करने के लिए [एक, बी]. और एफ के बारे में जानकारी शामिल सभी नोड्स में पिछले परत. किसी को पता नहीं कैसे करने के लिए कोड इस संरचना? PLS मुझे कुछ अंतर्दृष्टि मैं बहुत आभारी हूँ :D

संरचना

Question 2

जब आप एक परत की तरह लग रहा है पूरी तरह से जुड़ा हुआ परत के साथ, लेकिन कस्टम कनेक्टिविटी का उपयोग, एक मुखौटा के साथ एक उचित संरचना है ।

चलो कहते हैं कि x = [a, b, c] अपने 3-मंद इनपुट और W अर्थ कनेक्टिविटी मैट्रिक्स.

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

तो W[i][j] करने के लिए अंक जोड़ने के वजन के बीच jवें इनपुट और iवें उत्पादन न्यूरॉन. का निर्माण करने के लिए इसी तरह की संरचना करने के लिए अपने खिलौना उदाहरण के लिए, हम एक मुखौटा बनाने के लिए इस तरह

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

तो आप कर सकते हैं बस मुखौटा W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

ध्यान दें: @ है मैट्रिक्स गुणन और * है pointwise गुणा.

ayandas · Answer 1 · 2021-11-21T18:17:35

जब आप एक परत की तरह लग रहा है पूरी तरह से जुड़ा हुआ परत के साथ, लेकिन कस्टम कनेक्टिविटी का उपयोग, एक मुखौटा के साथ एक उचित संरचना है ।

चलो कहते हैं कि x = [a, b, c] अपने 3-मंद इनपुट और W अर्थ कनेक्टिविटी मैट्रिक्स.

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

तो W[i][j] करने के लिए अंक जोड़ने के वजन के बीच jवें इनपुट और iवें उत्पादन न्यूरॉन. का निर्माण करने के लिए इसी तरह की संरचना करने के लिए अपने खिलौना उदाहरण के लिए, हम एक मुखौटा बनाने के लिए इस तरह

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

तो आप कर सकते हैं बस मुखौटा W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

ध्यान दें: @ है मैट्रिक्स गुणन और * है pointwise गुणा.

तो अगर अपने इनपुट मंद है 3, उत्पादन मंद है 3. मेरे तंत्रिका नेटवर्क की संरचना तरह होगा {इनपुट 3 मंद, LSTM_layer(3, 64), पूरी तरह से connected_layer(64, 3), * कम त्रिकोणीय मुखौटा मैट्रिक्स(3, 3), उत्पादन मंद 3}. जाएगा कि बाहर काम के रूप में अपने कस्टम कनेक्टिविटी बनाने के लिए, पिछले तीन नोड्स हो रही differerent जानकारी? या मैं रखना चाहिए मुखौटा मैट्रिक्स के बीच इनपुट परत(3,1) और LSTM परत(3,64)
अपने इनपुट अनुक्रमिक (आप LSTM के बीच में) ? अपने फिगर से पता चलता है केवल पूरी तरह से जुड़ा हुआ परतों. समाधान मैं ही प्रदान की जाती है केवल मास्किंग के लिए एफसी परत.
खेद है कि मैं बनाया आंकड़ा सरल है । मेरे इनपुट समय श्रृंखला मूल्यों(मूल्यों, hour_index, week_index) और मैं उपयोग करना चाहते हैं एक LSTM परत को निकालने के लिए कुछ के बीच जानकारी इनपुट(3 मंद) और उत्पादन(3 मंद). तो अगर मैं एक मुखौटा का उपयोग करने के बाद LSTM परत होगा, उत्पादन तीन नोड्स की तरह हो सकता है: d नोड ही होता है सप्ताह के बारे में जानकारी, ई नोड शामिल हैं सप्ताह और घंटे, एफ नोड मूल्यों में शामिल है, घंटे, सप्ताह के बारे में जानकारी?

सवाल

सबसे अच्छा जवाब

अन्य भाषाओं में

यह पृष्ठ अन्य भाषाओं में है

इस श्रेणी में लोकप्रिय

लोकप्रिय सवाल इस श्रेणी में