Azure डाटा फैक्टरी का उपयोग कर समानांतर, एकल पाइप लाइन में की प्रोसेसिंग, टेबल, एकल Databricks नोटबुक?

वोट
0

मैं Azure डाटा फैक्टरी और एक सिंगल Databricks नोटबुक का उपयोग समानांतर में तालिकाओं की एक सूची को बदलने के लिए चाहते हैं।

मैं पहले से ही, एक Azure डाटा फैक्टरी (एडीएफ) पाइप लाइन है कि एक पैरामीटर के रूप में टेबल की एक सूची प्राप्त करता है एक चर के रूप में तालिका सूची से प्रत्येक टेबल सेट, तो एक ही नोटबुक कॉल (है कि प्रदर्शन साधारण परिवर्तनों) और श्रृंखला में प्रत्येक तालिका गुजरता इस नोटबुक। समस्या यह है कि यह श्रृंखला में टेबल समानांतर में (एक के बाद एक) और नहीं (एक ही समय में सभी तालिकाओं) बदल देती है। मैं टेबल समानांतर में संसाधित करने की आवश्यकता।

तो, मेरे सवाल कर रहे हैं: 1) यह Azure डाटा फैक्टरी से (एक पैरामीटर के रूप में एक अलग मेज के साथ हर बार) समय में सटीक एक ही बिंदु पर एक ही Databricks नोटबुक कई बार ट्रिगर करने के लिए संभव है? 2) यह काम करने के लिए हां, तो किस मैं अपने पाइप लाइन या नोटबुक में परिवर्तन की आवश्यकता है तो?

मुझे लगता है, क्योंकि जब मैंने Databricks से इस नोटबुक सीधे गति प्रदान (और चर के रूप में एक मेज से पारित), मैं इससे पहले कि मैं यह किसी अन्य के लिए फिर से ट्रिगर इसे चलाने समाप्त होने की प्रतीक्षा करने के लिए है यह संभावना नहीं हो सके कई बार समन्वित रूप से एक ही नोटबुक को गति प्रदान करने के लिए है तालिका (पैरामीटर)। लेकिन मुझे यकीन है बनाना चाहते हैं तो यह संभव है या नहीं। मुझे यह भी पता है कि यह कई पुस्तिकाओं का उपयोग कर समानांतर में कई टेबल पर कार्रवाई करने के लिए संभव है, लेकिन, मेरे मामले में, मैं एक ही नोटबुक का उपयोग करने की जरूरत है। अग्रिम में धन्यवाद :)

पैरामीटर

एडीएफ

चर

चर

तालिका चर और नोटबुक सेट

यहाँ

कॉन्फ़िगर अनुक्रमिक

कॉन्फ़िगर

बैच गणना = खाली साथ अनुक्रमिक अनियंत्रित

जब अनुक्रमिक और बैच गणना = खाली के रूप में विन्यस्त है, और दो टेबल, पाइपलाइन रन सफलतापूर्वक लेकिन केवल एक मेज तब्दील हो जाता है (भले ही मैं तालिका सूची में एक से अधिक तालिकाओं जोड़ने) गुजरती हैं। सेट चर सही ढंग से पता चलता है दो बार, हर तालिका के लिए एक बार। लेकिन रच एक ही तालिका के लिए दो बार दिखाता है।

यहाँ

बैच संख्या = 2 के साथ अनुक्रमिक अनियंत्रित

जब अनुक्रमिक और बैच संख्या = 2 के रूप में विन्यस्त है, और दो तालिकाओं गुजरती हैं, पाइपलाइन दूसरी यात्रा पर विफल रहता है, लेकिन यह भी एक ही तालिका बदलने दो बार कोशिश करता है। सेट चर सही ढंग से पता चलता है दो बार, हर तालिका के लिए एक बार। लेकिन रच एक ही तालिका के लिए दो बार दिखाता है।

बैच

अनुक्रमिक चेक किए गए या बैच गणना = 1

मैं अनुक्रमिक चेक किए गए या बैच गणना = 1 छोड़ देते हैं, तो पाइप लाइन सही ढंग से चलाता है और सभी टेबल पर प्रदर्शन परिवर्तनों, लेकिन (उम्मीद के रूप में) प्रसंस्करण श्रृंखला में होता है।

यहाँ

13/01/2020 को 21:55
का स्रोत उपयोगकर्ता
अन्य भाषाओं में...                            


1 जवाब

वोट
0

मैं "सेट चर" के बजाय किसी SQL तालिका में "लुक" का उपयोग कर इसे हल। शो नीचे चित्र एक ही नोटबुक का उपयोग कर समानांतर में 5 तालिकाओं का एक रन।

यहाँ छवि विवरण दर्ज

14/01/2020 को 20:40
का स्रोत उपयोगकर्ता

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more