No history yet

تجزیه SVD و فضاهای نال

تجزیه مقادیر منفرد (SVD)

تجزیه مقادیر منفرد یا SVD، یک روش قدرتمند برای فاکتورگیری هر ماتریس AA با ابعاد m×nm \times n است. برخلاف تجزیه‌های دیگر مانند تجزیه مقادیر ویژه که فقط برای ماتریس‌های مربعی کاربرد دارد، SVD برای هر ماتریسی قابل استفاده است. این ویژگی آن را به ابزاری بنیادی در تحلیل عددی، یادگیری ماشین و پردازش سیگنال تبدیل کرده است. فرمول اصلی SVD به این صورت است:

A=UΣVTA = U \Sigma V^T

از نظر هندسی، SVD یک تبدیل خطی اعمال شده توسط ماتریس AA را به سه عملیات ساده تجزیه می‌کند: یک دوران (توسط VTV^T)، یک مقیاس‌دهی در امتداد محورها (توسط Σ\Sigma) و یک دوران دیگر (توسط UU). این دیدگاه برای درک چگونگی تغییر شکل فضا توسط ماتریس بسیار مفید است. برای مثال، یک دایره واحد در فضای ورودی، تحت تبدیل AA به یک بیضی در فضای خروجی تبدیل می‌شود که محورهای اصلی آن توسط بردارهای تکین چپ (uiu_i) و طول نیم‌قطرهای آن توسط مقادیر تکین (\\[sigma_i]) تعیین می‌شود.

تخمین مرتبه پایین و فشرده‌سازی

یکی از مهم‌ترین کاربردهای SVD، تخمین یک ماتریس با یک ماتریس دیگر با رتبه (rank) پایین‌تر است. مقادیر تکین در ماتریس Σ\Sigma به ترتیب اهمیت مرتب شده‌اند؛ بزرگترین مقادیر تکین، بیشترین اطلاعات یا «انرژی» ماتریس را در خود جای داده‌اند. با نگه داشتن kk مقدار تکین بزرگتر و صفر کردن بقیه، می‌توانیم یک تقریب بهینه از ماتریس اصلی بسازیم. این تقریب، که به عنوان تقریب مرتبه-k شناخته می‌شود، بهترین تقریب ممکن از ماتریس AA در میان تمام ماتریس‌های با رتبه kk است. این نتیجه تحت عنوان قضیه اکارت-یانگ-میرسکی شناخته می‌شود.

Ak=UkΣkVkT=i=1kσiuiviTA_k = U_k \Sigma_k V_k^T = \sum_{i=1}^{k} \sigma_i u_i v_i^T

این تکنیک اساس فشرده‌سازی داده‌ها در حوزه‌هایی مانند پردازش تصویر است. یک تصویر دیجیتال را می‌توان به عنوان یک ماتریس بزرگ از مقادیر پیکسل‌ها در نظر گرفت. با محاسبه SVD و نگه داشتن تنها کسری از بزرگترین مقادیر تکین، می‌توانیم تصویر را با حجم داده بسیار کمتری بازسازی کنیم، در حالی که بیشتر ویژگی‌های بصری مهم آن حفظ شده است. هرچه kk بزرگتر باشد، تصویر بازسازی شده به نسخه اصلی نزدیک‌تر است، اما حجم داده نیز افزایش می‌یابد.

چهار زیرفضای اساسی و شبه‌معکوس

SVD یک ارتباط عمیق و زیبا بین ماتریس AA و چهار زیرفضای اساسی آن را آشکار می‌کند. ستون‌های ماتریس‌های UU و VV پایه‌های متعامد نرمال (orthonormal bases) برای این چهار فضا فراهم می‌کنند:

زیرفضاپایه متعامد نرمال
فضای ستونی (Column Space)، C(A)C(A)ستون‌های UU متناظر با σi>0\sigma_i > 0
فضای پوچ چپ (Left Null Space)، N(AT)N(A^T)ستون‌های UU متناظر با σi=0\sigma_i = 0
فضای سطری (Row Space)، C(AT)C(A^T)ستون‌های VV متناظر با σi>0\sigma_i > 0
فضای پوچ (Null Space)، N(A)N(A)ستون‌های VV متناظر با σi=0\sigma_i = 0

این ساختار، اساس مفهوم را تشکیل می‌دهد. برای ماتریس‌های غیرمربعی یا مربعی منفرد که معکوس کلاسیک ندارند، شبه‌معکوس یک تعمیم طبیعی ارائه می‌دهد. با استفاده از SVD، محاسبه آن بسیار ساده است:

A+=VΣ+UTA^+ = V \Sigma^+ U^T

شبه‌معکوس به ما اجازه می‌دهد تا «بهترین» راه‌حل را برای دستگاه معادلات خطی Ax=bAx = b پیدا کنیم، حتی زمانی که راه‌حل دقیق وجود ندارد (سیستم‌های بیش‌معین) یا بی‌نهایت راه‌حل وجود دارد (سیستم‌های کم‌معین). در سیستم‌های بیش‌معین که در معماری داده بسیار رایج هستند، راه‌حل کمترین مربعات به صورت x=A+bx = A^+ b به دست می‌آید. این راه‌حل، خطای Axb2||Ax - b||_2 را به حداقل می‌رساند.

راه‌حل کمترین مربعات، x=A+bx = A^+ b، برداری است که تصویر bb را در فضای ستونی AA تولید می‌کند و در عین حال کوتاه‌ترین طول اقلیدسی (norm) ممکن را دارد.

بنابراین، SVD نه تنها یک ابزار محاسباتی، بلکه یک چارچوب مفهومی قدرتمند برای درک ساختار عمیق ماتریس‌ها، ارتباط بین زیرفضاهای اساسی و بهینه‌سازی در سیستم‌های خطی است.