मैं दिलचस्पी रहा हूँ पता है अगर किसी को यहाँ कभी भर में आ गए, जहां एक की स्थिति के स्रोत नहीं है, हमेशा के लिए अद्वितीय है के साथ काम कर जब फोटो में डीबीटी.
मैं एक डेटा झील, जहां डेटा पर आता है एक संलग्न केवल आधार है । हर समय स्रोत का अद्यतन किया जाता है, एक नया रिकॉर्ड बनाया है पर संबंधित तालिका में डेटा झील है ।
समय से डीबीटी समाधान के भाग गया है, अपने स्रोत हो सकता है अधिक से अधिक 1 पंक्ति के साथ अद्वितीय आईडी के रूप में डेटा बदल गया है एक बार से अधिक के बाद से पिछले चलाते हैं ।
आदर्श रूप में, मैं अद्यतन करने के लिए संबंधित dbt_valid_to कॉलम से स्नैपशॉट के साथ तालिका जल्द से जल्द updated_at रिकॉर्ड स्रोत से और बाद में जोड़ने के लिए नए रिकॉर्ड स्नैपशॉट बनाने तालिका नवीनतम updated_at रिकॉर्ड वर्तमान एक.
मुझे पता है कि कैसे प्राप्त करने के लिए इस का उपयोग कर खिड़की के कार्यों में, लेकिन नहीं यकीन है कि कैसे संभाल करने के लिए इस तरह की स्थिति के साथ डीबीटी.
मुझे आश्चर्य है कि अगर किसी का सामना करना पड़ा है इस एक ही मुद्दा है ।
Snapshot Table
| **id** | **some_attribute** | **valid_from** | **valid_to** |
| 123 | ABCD | 2021-01-01 00:00:00 | 2021-06-30 00:00:00 |
| 123 | ZABC | 2021-06-30 00:00:00 | null |
Source Table
|**id**|**some_attribute**| **updated_at** |
| 123 | ABCD | 2021-01-01 00:00:00 |-> already been loaded to snapshot
| 123 | ZABC | 2021-06-30 00:00:00 |-> already been loaded to snapshot
-------------------------------------------
| 123 | ZZAB | 2021-11-21 00:10:00 |
| 123 | FXAB | 2021-11-21 15:11:00 |
Snapshot Desired Result
| **id** | **some_attribute** | **valid_from** | **valid_to** |
| 123 | ABCD | 2021-01-01 00:00:00 | 2021-06-30 00:00:00 |
| 123 | ZABC | 2021-06-30 00:00:00 | 2021-11-21 00:10:00 |
| 123 | ZZAB | 2021-11-21 00:10:00 | 2021-11-21 15:11:00 |
| 123 | FXAB | 2021-11-21 15:11:00 | null |