Linear Least Squares Regression - MATLAB Video Lecture | MATLAB Programming for Numerical Computation - Software Development

नमस्कार और न्यूमेरिकल
कम्प्युटशंस के लिए
MATLAB प्रोग्रामिंग
(MATLAB programming for Numerical Computations
) में आपका स्वागत
है।
हम मॉड्यूल 6 में हैं।
इस मॉड्यूल में हम
रिग्रेशन (regression) और
इन्टरपोलेशन (interpolation)
को कवर कर रहे हैं।
इस मॉड्यूल के पहले
व्याख्यान में हमने
खुद को रिग्रेशन
(regression ) और इन्टरपोलेशन
(interpolation ) के लिए पेश
किया।
इस व्याख्यान में
हम रिग्रेशन (regression)
के साथ शुरू करने
जा रहे हैं।
विशेष रूप से, हम लीनियर
रिग्रेशन (linear regression)
या लीनियर लीस्ट
स्क्वायर (linear least square)
रिग्रेशन (regression ) को
कवर करने जा रहे हैं।
पिछले व्याख्यान
में हमने डेटा (data)
y को इंडिपेंडेंट
वेरिएबल (independent variable)
x के कुछ फ़ंक्शन (function)
के बराबर फिट (fit) करने
का प्रयास किया था।
उस मामले में जिस
फ़ंक्शन (function) की हम
तलाश कर रहे थे वह
y = a0 + a1x था।
जहाँ, हमें X1, y1, x2, y2
और इतने पर xn, yn तक का
डेटा (data) दिया गया
था।
और जो पैरामीटर (parameter)
हम फिट (fit) करना चाहते
थे, वह a0 और a1 है।
उस स्थिति में हमें
हमारे a0 और a1 2 अज्ञात
के रूप में मिले जो
2 समीकरणों के संदर्भ
में व्यक्त किए गए
थे।
a0 और a1 प्राप्त करने
के लिए 2 अज्ञात में
2 समीकरण तो हल किए
गए।
अब मैट्रिक्स मेथड
(matrix method) लीनियर रिग्रेशन
(linear regression) करने की एक
और भी अधिक शक्तिशाली
विधि है।
और मैट्रिक्स विधि
(matrix method) में हम केवल
2 वेरिएबल (variable) तक
ही सीमित नहीं हैं।
हम इसे कई वेरिएबल्स
(variables) तक बढ़ा सकते
हैं।
इस मामले में उदाहरण
के लिए हमारे पास
4 पैरामीटर (parameter) a0,
a1, a2 और a3 है।
इसलिए जब हमारे पास
X1, u1, और w1 के संदर्भ
में डेटा (data) है जो
इंडिपेंडेंट वेरिएबल
(independent variable) हैं और y1
जो कि डिपेंडेंट
वेरिएबल (dependent variable)
है तो यह पहला डेटा
(data) बिंदु है।
दूसरा डेटा (data) बिंदु
x2, u2, w2 और y2 है और इसलिए
nth डेटा (data) बिंदु xn,
un और wn और yn तक।
इस मामले में हम y
= a0 + a1x + a2u + a3w के रूप का
मॉडल फिट (model fit) होना
चाहते हैं।
उस स्थिति में हम
मैट्रिक्स (matrix) बनाते
हैं जो यहाँ पर दिखाया
गया है।
जो मॉडल (model) हम देखते
हैं वह a0 + X1 द्वारा
a1 + u1 से गुणा a2 + w1 से
गुणा a3 से गुणा किया
जाता है।
तो हमारे phi वेक्टर
(vector) द्वारा गुणा की
गई पहली पंक्ति कुछ
भी नहीं है बल्कि
पहले डेटा (data) बिंदु
पर मूल्यांकन किए
गए समीकरण के दाहिने
हाथ की ओर है।
अब दूसरी पंक्ति
को देखते हैं।
दूसरी पंक्ति कुछ
भी नहीं है, लेकिन
a0 + x2 से गुणा a1 + u2 से
गुणा a2 + w2 गुणा a3 ठीक
है।
तो दूसरी पंक्ति
और कुछ नहीं है, a0 +
a1x + a2u + a3w का मूल्यांकन
दूसरे डेटा (data) बिंदु
पर और इसी तरह आगे
भी ठीक है।
यह हम 4 अज्ञात में
n समीकरणों के रूप
में होगा।
उदाहरण के लिए हमारे
पास 15 डेटापॉइंट (datapoint)
हो सकते हैं, जिनसे
हम 4 मापदंडों को फिट
(fit) करना चाहते हैं।
तो इस मामले में हम
n को यह कह सकते हैं
कि यदि n 15 था, तो हमारे
पास 15 पंक्तियाँ और
4 कॉलम केवल ठीक होंगे।
तो यह एक अद्वितीय
समाधान नहीं है।
उस मामले में हम लीस्ट
स्क्वायर (least square) समाधान
खोजने में रुचि रखते
हैं।
हम पाठ्यक्रम के
लीस्ट स्क्वायर (least
square) समाधान को प्राप्त
करने के तरीके को
कवर नहीं करने जा
रहे हैं जो कम्प्यूटेशनल
तकनीकों (computational techniques)
के पाठ्यक्रम 5 मॉड्यूल
2 में कवर किया गया
था, जिसके लिए लिंक
(link) यहां दिया गया
है।
हमने इस कम्प्यूटेशनल
तकनीकों (computational techniques)
के पाठ्यक्रम में
भी दिखाया था कि 2
वेरिएबल (variable) x और
y के लिए यह लीस्ट
स्क्वायर (least square) समाधान
सटीक समाधान देता
है जैसा कि हमने पिछले
व्याख्यान 6.1 में
देखा था ठीक है।
तो इस मामले में हम
क्या करने जा रहे
हैं, अगर हमारे पास
सिर्फ 2 वेरिएबल (variable)
हैं, तो इसका मतलब
है कि y का x के एक फ़ंक्शन
(function) के रूप में अगर
मैं y = a0 + a1x कहना चाहता
हूं, तो पहला कॉलम
11111 और इसी तरह होगा।
दूसरा कॉलम xn अप करने
के लिए डेटा (data) x1 x2
होने जा रहा है जो
हमारे मैट्रिक्स
(matrix) x का निर्माण करेगा।
हमारा मैट्रिक्स
y कुछ भी नहीं होने
वाला है लेकिन y1, y2
से yn और phi को x transpose x
का इनवर्स (inverse ) द्वारा
गुणा x transpose y होने वाला
है।
हम कहते हैं कि हम
y = a1x + a2u + a3w के रूप के
एक मॉडल (model) को फिट
(fit) करना चाहते थे,
हमारे पास a0 नहीं
था।
फिर यह विशेष कॉलम
(column) बाहर जाने वाला
है और यह भी बाहर जाने
वाला है, इसलिए इस
कॉलम (column) के बिना
और बिना a0 के हमारे
पास X1 a1 u1 a2 w1 a3 = y1 होगा।
यदि हमारे पास a0 नहीं
होता तो हमारे पास
यह कॉलम (column) नहीं
होता अगर हमारे पास
u और w नहीं है, तो हमारे
पास ये 2 कॉलम (column) नहीं
होंगे।
अगर हमारे पास a0 + a1x
+ a2 u होता तो हमारे
पास w नहीं होता हम
इस कॉलम (column) में नहीं
होते और हमारे पास
a3 भी नहीं होते।
तो यह सोचना बहुत
आसान है कि इस मैट्रिक्स
x को कैसे बनाया जाए,
इस वेक्टर y को कैसे
बनाया जाए।
और यह लीनियर लीस्ट
स्क्वायर (linear least square)
को करने के लिए एक
बहुत शक्तिशाली उपकरण
बनाता है।
अब हम जो करने जा रहे
हैं, वही उदाहरण लेना
है जो हमने व्याख्यान
6.1 में किया था और इसे
कई मापदंडों में
लीनियर लीस्ट स्क्वायर
(linear least square) के मैट्रिक्स
मेथड (matrix method) का उपयोग
करके हल किया है।
हम इसे अभी के लिए
2 मापदंडों के लिए
करेंगे और हम देखेंगे
कि यह विधि कई मापदंडों
के लिए आसानी से विस्तार
योग्य है।
हमें MATLAB पर जाने और
उसे करने की कोशिश
करें।
यह वह कोड था जिसका
उपयोग हमने पिछले
व्याख्यान में किया
था।
हमें बस इसे save करें,
multiRegression, हम बस उस कहते
हैं।
और हम शीर्ष में सबको
बनाए रखेंगे, हम इसे
हटा देंगे और हम इन्टरपोलेशन
(interpolation ) भाग को हटा
देंगे।
अब हम लीनियर रिग्रेशन
(linear regression) की गणना करते
हैं और इसे प्लॉट
(plot) करते हैं।
हमारा मैट्रिक्स
x कुछ भी नहीं होने
वाला है लेकिन 1, 1,
1, 1 पहला कॉलम (column) होने
जा रहा है।
हमारे पास पहले कॉलम
(column) में n तत्व होने
वाले हैं।
इसलिए हमें कमांड
(command) वाले N नंबर पंक्तियों
और एकल कॉलम (column) का
उपयोग करके इसे प्राप्त
करना होगा जो पहले
कॉलम (column)होने जा रहा
है।
हमारा दूसरा कॉलम
(column) हमारे डेटा (data)
x के अलावा और कुछ
नहीं है।
तो हम इसे यहाँ पर
X के रूप में डालेंगे
और Y कुछ भी नहीं है,
लेकिन छोटी y थी।
यह वही है जो हमारी
Y है, y1 ,y2 से yn तक है जो
कि छोटी y के समान
और कुछ नहीं है।
हमारा phi कुछ भी नहीं
था, लेकिन हमें पीछे
देखे और x ट्रांस्पोस
(transpose) द्वारा x गुणा
किए गए समीकरण को
देखे, और यह बहुत महत्वपूर्ण
है और यह x नहीं है,
x ट्रांस्पोस (transpose)
है लेकिन यह x द्वारा
गुणा किया गया x है,
जिसे x’ द्वारा इनवर्स
(inverse ) x को गुणा किया
गया है।
कि x द्वारा गुणा किए
गए , खेद है, y द्वारा
गुणा किए गए x ट्रांस्पोस
(transpose) किए गए । हमने
सब कुछ साफ कर दिया
है और अब हम इस multiRegression
को run करते हैं।
ठीक है और हम ठीक उसी
परिणाम को देखते
हैं जैसे हम व्याख्यान
6.1 में देखा । हम उन
6 डेटापॉइंट (datapoint)
को देखते हैं और यह
सबसे अच्छी फिट (fit)
लाइन है।
ठीक है, हम पावरप्वाइंट
(powerpoint) पर वापस जाते
हैं।
ठीक है, इसलिए इस व्याख्यान
में हमने जो किया
है, उसका उदाहरण हमने
व्याख्यान 6.1 के रूप
में लिया है, लेकिन
लीनियर रिग्रेशन
(linear regression) करने के लिए
एक अधिक शक्तिशाली
मैट्रिक्स आधारित
तकनीक का उपयोग किया
है।
अगले व्याख्यान में
हम इस पद्धति का उपयोग
करने जा रहे हैं और
इसे वास्तविक मामले
के अध्ययन के लिए
मापदंडों का पता
लगाने के लिए एक व्यावहारिक
समस्या तक बढ़ा सकते
हैं।
उस मामले का अध्ययन
हमारे 11 वीं कक्षा
से लिया जाएगा, किसी
दिए गए प्रतिक्रिया
के लिए प्रतिक्रिया
की दर का पता लगाने
का उदाहरण जो हमने
अपने ग्यारहवीं और
बारहवीं कक्षा में
रसायन विज्ञान में
किया था।
तो यह वह उदाहरण था
जिसका उपयोग हमने
अपने लीनियर लीस्ट
स्क्वायर (linear least square)
का उपयोग करके किया
था।
इसे करने का दूसरा
तरीका MATLAB कमांड (command)
lsqcurvefit का उपयोग कर
रहा है।
lsqcurvefit को optimization tool box चाहिए।
तो हमें MATLAB पर जाएं
और इसे करें ठीक है।
तो फंक्शन (function) आइए
हम कहते हैं fval = myLinExample
phi, xData, yData ठीक है।
मेरे lsqcurvefit या फ़ंक्शन
(function) को माना जाने
वाला फ़ंक्शन (function)
क्या है जो केवल ymodel
= f (x, phi) वापस करने जा
रहा है।
यह yData को वापस नहीं
करने वाला है और यह
एर्रर्स (errors) या चीजों
को वापस नहीं करने
वाला है, जैसे कि यह
केवल फ़ंक्शन (function)
को वापस करने वाला
है।
इसलिए मुझे यहाँ
पर yData की भी आवश्यकता
नहीं है।
यह सिर्फ xData है।
कि यह लौटने वाला
है।
तो यह जो वापसी करने
जा रहा है वह सभी xData
के लिए फ़ंक्शन (function)
f (x) के रूप में है।
और हमारा f (x) क्या
था?
हमारे f (x) a0 + ax के अलावा
कुछ नहीं था।
तो यह वापस करने जा
रहा है।
तो fval होने वाला है
phi (1) + phi (2) * xData।
अब phi (2) एक स्केलर (scalar)
है, phi 1 एक स्केलर (scalar)
है।
इसलिए हमारा स्केलर
(scalar) phi (2) सभी डेटा (data)
को गुणा करने वाला
है।
और हमारी phi (1) भी phi
(2) * xData के प्रत्येक
तत्व को जोड़ने वाली
है।
तो यह वास्तव में
a0 + a1 * x होने जा रहा
है।
तो आइए इसे myLinExample के
रूप में save करते हैं।
हमें मल्टीलाइनर
रिग्रेशन (multilinear regression
) पर जाते है।
और हम कहते हैं कि
phi = myLinExample ठीक है।
oops! क्षमा करें, myLinExample
नहीं, lsqcurvefit होना चाहिए,
यह x, xData, myLinExample (x, xData),
p0, xData और yData में lsqcurvefit
होना चाहिए।
तो आइए हम कहते हैं
कि मापदंडों के प्रारंभिक
मान 1 और 1, xData, yData ठीक
थे।
यह सब मुझे चाहिए
और हमें lsqcurvefit का उपयोग
के लिए चाहिए।
इसे हम phi के बजाय phi
(1) कहते हैं।
और मुझे कहना है कि
यहाँ पर hold on करते है।
और प्लॉट (plot), मैं जो
प्लॉट (plot)करना चाहता
हूं, वह मूल रूप से
सिर्फ यह है और मैं
इसे प्लॉट (plot) करूंगा
बता दें कि प्लॉट
(plot) 0.5 की डॉटेड लाइनें
(dotted lines) हैं।
0.5 phi (1) + phi (2) एक ही से
गुणा और डॉटेड (dotted)।
आइए हम इसे हरे रंग
की डॉटेड (dotted) रेखा
के रूप में बनाते
हैं।
आइए हम इसे और इसके
स्पष्ट सभी को save करते
हैं, सभी को clear all, close
all करते हैं और हमें
बहु लीनियर रिग्रेशन
(linear regression) को ठीक से
run करने देते हैं।
हमें यहाँ पर एक समस्या
है ठीक है।
हमारा xData xData नहीं था
सिर्फ x था।
तो मुझे बदलने दो
कि yData सिर्फ y था।
तो मुझे भी बदलने
दो ठीक है।
देखिए क्या हुआ था
। मैं अभी-अभी हमारे
MATLAB में गया था, जहाँ
मैंने समग्र के लिए
सिंटैक्स (syntax) दिया
था।
आप इस समाधान को जानते
हैं जिसे हम प्राप्त
करना चाहते थे और
मैंने बस उस पर कॉपी
और पेस्ट (copy and paste) किया
था।
अब xData और yData एक ऐसी
चीज़ है जिसे इस कोड
में परिभाषित नहीं
किया गया है।
सभी xData को वेक्टर
x में शामिल किया गया
है, yData को वेक्टर y
में शामिल किया गया
है।
तो यह वेक्टर होना
चाहिए, जो वैक्टर
पहले परिभाषित किए
गए थे, हमें नेत्रहीन
रूप से एक ही वेक्टर
नाम देने की आवश्यकता
नहीं है।
यही वास्तव में शिकायत
है।
यह शिकायत है कि यह
xData परिभाषित नहीं
है।
तो अब हम मल्टी लीनियर
रिग्रेशन (multi linear regression)
run करते हैं और उम्मीद
है कि यह काम करना
चाहिए।
तो यह कहता है कि local
minimum found और हम परिणाम
को देखें।
तो यह लाल रेखा है
जो पहले की तरह थी
और उस लाल रेखा के
ऊपर वह हरी रेखा है।
मुझे नहीं पता, अगर
आप मेरे साथ लाइन
को देख सकते हैं, तो
मुझे सिर्फ 3.0 तक बढ़ने
दें।
ताकि, आप यह देख सकें।
हाँ तो अब आप देख सकते
हैं कि हरे रंग की
लाइन जो कि हरे रंग
की डॉटेड (dotted) रेखा
पर होती है जो कि लाल
डॉटेड (dotted) रेखा के
ऊपर होती है, हो सकता
है कि मैं बस इस लाइन
को थोड़ा पतला कर
दूं।
हाँ, तो आप लाल और
हरे रंग डॉटेड (dotted)
देख सकते हैं।
तो जैसा कि आप देख
सकते हैं कि 2 रेखाएं
एक-दूसरे के बिल्कुल
ऊपर हैं जो कि लाल
रेखा है, लीनियर रिग्रेशन
(linear regression) को खोजने
के लिए हमारी मैट्रिक्स
आधारित विधि के अलावा
कुछ भी नहीं है।
और हरे रंग की लाइन
लीनियर रिग्रेशन
(linear regression) खोजने के
लिए हमारे MATLAB lsqcurvefit
आधारित विधि थी।
मुझे खेद है, मैं वास्तव
में वही है जो हमने
यहाँ नहीं किया।
मुझे इसे संपादित
करने दें और अब मुझे
ठीक run करने दें।
हाँ, फिर से वही है
जो हम यहाँ देखते
हैं।
आइए हम इसे लाल रंग
के बजाय रूपांतरित
करते हैं, आइए हम इसे
काले रंग की रेखा
में बदलते हैं या
हरे रंग के बजाय इसे
काले रंग की रेखा
में परिवर्तित करते
हैं और 2 अंकित करते
हैं।
तो अब हम देख सकते
हैं।
तो वह काली डॉटेड
(dotted) रेखा है जो लाल
ठोस रेखा के ऊपर गिरती
है।
लाल ठोस रेखा सीधी
रेखा के लिए थी जिसे
हमारे मैट्रिक्स
विधि का उपयोग करके
गणना की गई थी।
और यह एक सीधी रेखा
के लिए था जो MATLAB आधारित
lsqcurvefit का उपयोग करके
गणना की गई थी।
आइए हम phi के मूल्यों
को देखते हैं।
phi यह है कि हम phi1 के
मूल्यों को देखते
हैं जो कि बिल्कुल
समान है।
तो अब हमने इस व्याख्यान
में क्या किया है,
MATLAB विधि और lsqcurvefit का
उपयोग करने के साथ-साथ
अपने स्वयं के मल्टी
लीनियर रिग्रेशन
(multi linear regression) कोड को
लिखने के लिए मैट्रिक्स
विधि का उपयोग करके
phi का मान ज्ञात करें
जो y = a0+a1x और इतने पर
के मॉडल को सबसे अच्छी
तरह से फिट (best fit) करता
है।
उसी के साथ मैं इस
व्याख्यान के अंत
में आता हूं।
अगले व्याख्यान में
हम प्रतिक्रिया की
दर का एक उदाहरण लेंगे।
और हम यह दिखाएंगे
कि कैसे उपयोग करें,
कैसे प्रतिक्रिया
दर की समस्या को एक
लीनियर रिग्रेशन
(linear regression) समस्या में
परिवर्तित करें और
आगे हम उस समस्या
को हल करने के लिए
मैट्रिक्स विधि का
उपयोग करेंगे।
तो मैं आपको व्याख्यान
6.3 में देखूंगा धन्यवाद
अलविदा।