regression

الانحدار الخطي المتعدد Multiple Linear Regression

ان نموذج الانحدار المتعدد هو عبارة عن انحدار للمتغير التابع (Y) على العديد من المتغيرات المستقلة X1 , X2 , ...XK ويسمى هذا بنموذج الانحدار الخطي المتعدد , Multiple Linear Regression .
ويهدف هذا المقال إلى توضيح كيفية تقدير نموذج الانحدار الخطي المتعدد , , ثم تحديد أهم افتراضات النموذج , يضاف إلي ذلك بيان عدم وجود علاقة خطية تامة بين المتغيرات المستقلة وكيف أن المصفوفة ( X) , تكون مصفوفة غير شاذة ( Non – Singular ) إذا كان محددها لا يساوي صفرا . ثم يتم بعد ذلك تقدير معلومات النموذج , تقدير التباين والتباين المشترك والانحراف المعياري لها للوصول إلى اختبار معاملات النموذج .

نموذج الانحدار الخطي المتعدد :
يستند النموذج الخطي المتعدد على افتراض وجود علاقة خطية بين متغير تابع Yi وعدد من المتغيرات المستقلة X1,X2,...XK وحد عشوائي Ui , ويعبر عن هذه العلاقة , بالنسبة لn من المشاهدات وk من المتغيرات المستقلة , بالشكل آلاتي :
Yi = B0 + B1Xi1 + B2Xi1 + … + BKXik + Ui …. (1)
وفي واقع الآمر فان هذه المعادلة هي واحدة من جملة معادلات يبلغ عددها (n) تكون نظام المعادلات آلاتي :
Y1 = B0 + B0X11 + B2X12 + … + BKX1K + U1
Y2 = B0 + B1X21 + B2X22 + … BKX2K + U2
. . .. .. … … … ..
…. .. .. .. … … … ..
Yn = B0 + B1Xn1 + B2Xn2 + … + BKXnK + Un
هذه المعادلة تتضمن (1+k) من المعلومات المطلوب تقديرها علما بان الحد الأول منها (B0) يمثل الحد الثابت , الآمر الذي يتطلب اللجوء إلى المصفوفات والمتجهات لتقدير تلك المعلمات. عليه يمكن صياغة هذه المعادلات في صورة مصفوفات وكآلاتي :
= + …. ( 2 )
وباختصار
Y = XB + U
Y: متجه عمودي أبعاده (1+n ) يحتوي مشاهدات المتغير التابع .
X : مصفوفة أبعادها (1+k × n ) تحتوي مشاهدات المتغيرات المستقلة يحتوي عمودها الأول على قيم الواحد الصحيح ليمثل الحد الثابت .
B: متجه عمودي أبعاده ( 1× 1 + K) يحتوي على المعالم المطلوب تقديرها .
U: متجه عمودي أبعاده (1× n) يحتوي على الأخطاء العشوائية .
وبما أن المعادلة (1) هي العلاقة الحقيقية المجهولة والمراد تقديرها باستخدام الإحصاءات المتوفرة عن المتغير التابع , Y , والمتغيرات المستقلة , X1,X2,..XK , فانه يستوجب تحقق الفروض الأساسية الخاصة بUi التالية :
Ui ~ N ( 0 , I n )
والذي يعني أن Ui يتوزع توزيعا طبيعيا (N) متعدد المتغيرات لمتجه وسطه صفري (0) ومصفوفة تباين وتباين مشترك عددية هي ( In ) .
فرضيات النموذج الخطي المتعدد :
عند استخدام طريقة OLS في تقدير نموذج الانحدار الخطي المتعدد , فانه يجب توافر الافتراضات آلاتية :
1- القيمة المتوقعة لمتجه حد الخطا تساوي صفرا أي أن , 0 = ( Ui ) E :
E (Ui) = E = =
2- تباين العناصر العشوائية ثابت , والتباين المشترك بينها يساوي صفرا , أي أن :
Cov (U) = E ( U ) = In
E ( U ) = E
= E
=
=
var (Ui) = E( ) =
Cov ( , I # j
E(
حيث أن : = ....... = =
=
=
وتسمى المصفوفة العددية أعلاه بمصفوفة التباين والتباين المشترك – Variance Covariance Matrix لحد الخطاU , حيث تشكل العناصر القطرية في المصفوفة , تباين قيم U بينما تبقى العناصر غير القطرية ( أعلى واسفل القطر ) مساوية للصفر لانعدام التباين المشترك والترابط بين قيم Ui .
3- ليس هناك علاقة خطية تامة بين المتغيرات المستقلة كما وان عدد المشاهدات يحجب أن يزيد على عدد المعلمات المطلوب تقديرها , أي أن :
R (x) = k + 1 < n
حيث أن (r) رتبة مصفوفة البيانات , (x) عدد المتغيرات المستقلة (k) زائدا (1) الحد الثابت , وهي اصغر من عدد المشاهدات (n) . وهذه الفرضية ضرورية جدا لضمان أيجاد معكوس المصفوفة ( ) , إذ أن انتفاء هذا الفرض يجعل رتبة المصفوفة (X) اقل من ( 1+K) وبالتالي فان رتبة ( ) التي تستخدم في الحصول على مقدرات OLS بدورها اقل من (1+K) ولايمكن أيجاد معكوسها بسبب ما يسمى بمشكل الارتباط الخطي المتعدد , وبالتالي لايمكن الحصول على مقدرات المربعات الصغرى العادية , OLS