Овде се бавимо најважнијим деловима линеарне алгебре у пресликавању коначно-димензионалних простора на саме себе. Као и раније, тело скалара Φ чине реални бројеви ℝ, или комплексни ℂ, а X је претпостављена ознака актуелног векторског простора над Φ (ако другачије није наглашено). Све се чешће користе ознаке V, U и W редом уместо X, Y и Z, а F уместо Φ за тело скалара. Карактеристичне, или секуларне једначине имају и додатак квадратним формама у мом прилогу о тензорима.

1. Инваријантни подпростори

Оператор је линеарно пресликавање са векторског простора V на самог себе, а скуп свих оператора на том простору означавамо са \(\mathcal{L}(V) = \mathcal{L}(V, V)\). Подпростор \(U \subseteq V\) је инваријанта оператора \(T \in \mathcal{L}(V)\) ако из \(u \in U\) следи \(Tu \in U\). Другим речима, U је инваријантан за оператор, када је T(U) унутар U.

На пример, нула простор и сав V два су инваријантна (под)простора сваког оператора \(T \in \mathcal{L}(V)\). Како је извод полинома n-тог степена полином степена n - 1, то су полиноми до рецимо 5-ог степена такође инваријантан подпростор оператора извода. Стања електрона репрезентације су вектора са физичким процесима репрезентацијама оператора, у случају инваријантности, опет у нека стања електрона.

1.1. Својствена једнакост Tx = λx у случају једно-димензионалних простора представља множење 1-дим вектора x скаларом λ ∈ Φ. Уопште својственом вредношћу (eigenvalue) оператора \(T \in \mathcal{L}(X)\) називамо скалар λ ∈ Φ, ако постоји ненулти вектор \(x \in X\) такав да је Tx = λx. Такав се вектор назива својственим вектором (eigenvector) наведене својствене вредности датог оператора.

1. Став. Нека је X коначно-димензионалан векторски простор, оператор \(T \in \mathcal{L}(X)\) и скалар \(\lambda \in \Phi\). Тада су следеће четири тврдње еквивалентне:

  1. λ је својствена вредност T;
  2. T - λI није инјекција;
  3. T - λI није сурјекција;
  4. T - λI није инвертибилно.

За идентично пресликавање важи једнакост Ix = x за сваки x ∈ X.

Доказ: Услови (1) и (2) су еквивалентни јер је једначина Tx = λx еквивалентан једначини (T - λI)x = 0. Услови (2), (3) и (4) су еквивалентни са Инвертибилност, Став 16. ∎

Због Tx = λx акко (T - λI)x = 0, ненулти вектор x ∈ X је својствени вектор који одговара λ акко припада нула простору оператора T - λI. Друго, детерминанта матрице оператора T - λI је нула.

2. Пример. Дата је матрица M оператора T и израчунавамо њене својствене вредности (Mx = λx):

\[ \begin{pmatrix} 5 & 4 \\ 1 & 2 \end{pmatrix} \begin{pmatrix} \xi_1 \\ \xi_2 \end{pmatrix} = \lambda \begin{pmatrix} \xi_1 \\ \xi_2 \end{pmatrix}, \] \[ \begin{pmatrix} 5 - \lambda & 4 \\ 1 & 2 - \lambda \end{pmatrix} \begin{pmatrix} \xi_1 \\ \xi_2 \end{pmatrix} = 0, \] \[ \det \begin{pmatrix} 5 - \lambda & 4 \\ 1 & 2 - \lambda \end{pmatrix} = 0, \] \[ \lambda^2 - 7\lambda + 6 = 0, \] \[ \lambda_1 = 1, \quad \lambda_2 = 6. \]

Ове уврштавамо у полазну једначину и налазимо одговарајуће својствене векторе:

\[ x_1 = \begin{pmatrix} b_1 \\ -b_1 \end{pmatrix}, \quad x_2 = \begin{pmatrix} 4b_2 \\ b_2 \end{pmatrix}, \]

са произвољним бројевима b1, b2 ≠ 0, редом за прву и другу својствену вредност. □

3. Став. Нека је \(T \in \mathcal{L}(X)\). Ако су \(\lambda_1, ..., \lambda_m\) различите својствене вредности оператора T, онда су \(x_1, ..., x_m\) њима одговарајући својствени вектори линеарно независни.

Доказ: Ако су \(x_1, ..., x_m\) линеарно зависни, нека је k најмањи индекс такав да xk припада простору које \(x_1, ..., x_{k-1}\) разапиње. У 4. задатку наслова Независност доказана је егзистенција таквог. Тако постоје и \(a_1, ..., a_{m-1} \in \Phi\) такви да је

\[ x_k = a_1x_1 + ... + a_{m-1}x_{m-1}. \]

Применимо ли T на ову једнакост, добијамо

\[ \lambda_k x_k = a_1\lambda_1 x_1 + ... + a_{m-1}\lambda_{m-1}x_{m-1}, \]

а множећи претходну са \(\lambda_k\) и одузимањем ове добијамо

\[ 0 = a_1(\lambda_k - \lambda_1)x_1 + ... + a_{k-1}(\lambda_k - \lambda_{k-1})x_{k-1}. \]

Зато што је k најмањи индекс, вектори \(x_1, ..., x_{k-1}\) су линеарно независни, па ова једнакост налаже да су сви aj нуле (приметимо да ниједан од њих није ak). Међутим, онда је и xk нула, што је противречност са претпоставком става. ∎

4. Пример. У 2. примеру су λ1 = 1 и λ2 = 6 различите својствене вредности дате матрице (оператора), па су њима одговарајући својствени вектори x1 и x2 линеарно независни. Заиста, имамо:

\[ \alpha_1 x_1 + \alpha_2 x_2 = 0, \] \[ \alpha_1 \begin{pmatrix} b_1 \\ -b_1 \end{pmatrix} + \alpha_2 \begin{pmatrix} 4b_2 \\ b_2 \end{pmatrix} = 0, \] \[ \begin{pmatrix} \alpha_1 b_1 + 4\alpha_2 b_2 \\ -\alpha_1 b_1 + \alpha_2 b_2 \end{pmatrix} = 0, \] \[ \begin{cases} \alpha_1 b_1 + 4\alpha_2 b_2 = 0, \\ -\alpha_1 b_1 + \alpha_2 b_2 = 0. \end{cases} \]

Сабирањем ове две једначине налазимо \(\alpha_2b_2 = 0\), тј. \(\alpha_2 = 0\) (јер \(b_2 \ne 0\)), а онда и \(\alpha_1 = 0\), што значи линеарну независност вектора x1 и x2. □

Иако кажемо да „све од свега зависи“, ми смо окружени са независним мерљивим стањима. Има само онолико независних стања колика је база њима придруженог векторског простора, односно колико би поједини процес датог квантног система имао различитих обзервабли.

1.2. Репрезентације својствених вредности оператора су обзервабле процеса квантне физике. Такве нам указују на шансе мерења датог квантног стања, интерпретације одговарајућег својственог вектора. А процеси и стања су добро постављени ако су придружени независном скупу вектора и одговарајућих њихових оператора.

5. Став. Ако је X коначно-димензионалан, онда сваки оператор на том простору може имати највише dim X различитих својствених вредности.

Доказ: Нека је \(T \in \mathcal{L}(X)\). Ако су \(\lambda_1, ..., \lambda_m\) различите својствене вредности T и \(x_1, ..., x_m\) одговарајући својствени вектори, онда претходни став (3) каже да су они линеарно независни. Отуда m ≤ dim X. ∎

1.3. Ако је \(T \in \mathcal{L}(X)\) и инваријантан подпростор \(Y \subseteq X\) обзиром на оператор T, онда Y одређује два друга оператора \(T|_Y \in \mathcal{L}(Y)\) и \(T/Y \in \mathcal{L}(X/Y)\) на природан, следећи начин:

  • оператор рестрикције \(T|_Y \in \mathcal{L}(Y)\) дефинише \(T|_Y(y) = Ty\),
  • оператор количник \(T/Y \in \mathcal{L}(X/Y)\) дефинише \(T/Y(x + Y) = Tx + Y\),

где су \(y \in Y\) и \(x \in X\) произвољни.

Како је Y инваријанта оператора T, то је његова рестрикција \(T|_Y : Y \to Y\) пресликавање са доменом и кодоменом Y. Да и оператор количник \(T/Y\) има смисла видимо из \(x_1 + Y = x_2 + Y\), када \(x_1 - x_2 \in Y\) (в. Производ простора, 18. став) и због инваријантности имамо такође \(T(x_1 - x_2) \in Y\), одакле излази \(Tx_1 - Tx_2 \in Y\), а отуда и \(Tx_1 + Y = Tx_2 + Y\). Ово постаје значајно, код простора коначне димензије \(Y \subseteq X\), када проучавањем оператора рестрикције и количника на доменима сваког од њих димензија мањих од домена T, можемо сазнати пуно о оператору T.

Рестрикција функције f са домена X на мањи домен Y ⊆ X, коју означавамо f|y, супротна је екстензији рецимо функције f|y на f. На пример, квадратна функција (x) = x2 на скупу свих реалних бројева ℝ није инјекција, јер (-1)2 = (+1) = 1, па нема инверзну. Међутим, на домену Y = {x ∈ ℝ | x ≥ 0} она је бијекција (инјекција и сирјекција) и има инверзну корену функцију \(f|_y(x) = \sqrt(x)\). Екстензија инверзне кореној је полазна квадратна функција домена ℝ.

6. Пример. У простору X матрица типа 2×1 нека је Y ⊆ X подпростор разапет вектором (1 1)⊤. Другим речима, сви вектори из Y облика су

\[ y = \eta\begin{pmatrix} 1 \\ 1 \end{pmatrix} = \begin{pmatrix} \eta \\ \eta \end{pmatrix}, \quad \eta \in \Phi. \]

Ако је дат линеарни оператор f : X → X, такав да је

\[ f\begin{pmatrix} \eta \\ \eta \end{pmatrix} = \begin{pmatrix} 5\eta \\ 5\eta \end{pmatrix}, \]

онда, када год y ∈ Y биће f(y) = 5y ∈ Y. Дакле, подпростор y је инваријанта оператора f, односно имамо рестрикцију тог оператора на f|y. □

Иначе тривијалан инваријантан подпростор је нула простор оператора, а о оном другом, количничком простору, расправљено је у наслову Производ простора, посебно 5.2, да бих овде само додао оператор количника којему је такав домен.

1.4. Матрица која је једнака себи транспонованој (Дуалност, 6.4) назива се симетрична. Симетрична матрица са реалним коефицијентима има реалне својствене вредности.

Рецимо за матрицу другог реда којој израчунавамо својствене вредности λ на начин 2. примера:

\[ \det\begin{pmatrix} a - \lambda & b \\ b & d - \lambda \end{pmatrix} = 0, \]

даје квадратну једначину и решења:

\[ \lambda^2 - (a + d)\lambda + ad - b^2 = 0, \] \[ \lambda_{1,2} = \frac{a + d \pm \sqrt{(a - d)^2 + b^2}}{2}, \]

која су реални бројеви, због ненегативне дискриминанте \( (a - d)^2 + b^2 \ge 0 \) и реалних коефицијената матрице \( a, b, c, d \in \mathbb{R} \). Касније ћемо видети и општије доказе, а до тада могли би послужити и лакши одговори из мог блога (Self-adjoint).

2. Полином оператора

Једна важна особина оператора (пресликавања простора у себе) произилази из могућности њиховог степеновања, формирања низа композиција пресликавања а која и даље остају неке врсте оператора. На тај начин они постају модел за разне процесе, од квантно-механичких до информатичких.

2.1. Ако је \(T \in \mathcal{L}(X)\), онда је \(TT = T^2\) такође у \(\mathcal{L}(X)\) и уопште је \(T^m \in \mathcal{L}(X)\) за сваки број \(m \in \mathbb{N}\). При томе је \(T^0 = I\) идентички оператор на истом векторском простору X. За инвертибилан оператор T са инверзним оператором T-1 биће \((T^{-1})^m = (T^m)^{-1}\). Такође је \(T^mT^n = T^{m+n}\) и \((T^m)^n = T^{mn}\).

Међутим (Инвертибилност, 13. став), у низу оператора I, T, T2, ... највише (dim X)2 је линерано независних што процесима који се таквима преносе даје додатна ограничења, законитости које сада проучавамо. Иако делови низа карика ланца поменутих трансформација имају ограничену независност, не морају имати и периодичност, јер се њихови делови могу стално мењати (Tempo).

2.2. Стохастичка матрица C = (cjk) у колонама (врстама) има расподеле вероватноћа (Трансформације). Производ таквих, када постоји, опет је нека стохастичка матрица. Квадрирањем следеће (4. пример, Инвертибилност) налазимо степене, који показују усредњавање тих расподела:

\[ C = \begin{pmatrix} 0,5 & 0,2 & 0,1 \\ 0,3 & 0,6 & 0,2 \\ 0,2 & 0,2 & 0,7 \end{pmatrix}, \quad C^2 = \begin{pmatrix} 0,37 & 0,29 & 0,34 \\ 0,34 & 0,37 & 0,29 \\ 0,29 & 0,34 & 0,37 \end{pmatrix}, \quad C^4 = \begin{pmatrix} 0,3341 & 0,3302 & 0,3357 \\ 0,3357 & 0,3341 & 0,3302 \\ 0,3302 & 0,3357 & 0,3341 \end{pmatrix}, ... \]

Ако су елементи стохастичке матрице сви строго позитивни, cjk > 0, онда ће њено степеновање давати хомогеније колоне (врсте) и крајњу информацију која све мање зависи од полазне.

Степенујући дату стохастичку матрицу са n = 1, 2, 3, ..., добијамо низ матрица Cn, Марковљен ланац, све дужи процес који каскадно преноси информацију, тј. вектор или низ расподеле вероватноћа. У примеру видимо да дужи Марковљев ланац даје нове стохастичке матрице хомогених расподела колона (редова). Сваки од таквих поднизова има својствене вредности 1, али својствених вектор растућих степена ближи се хомогеној расподели (Информатичка Теорија II, 61.2. Ергодичка теорема). Навео сам и једноставније објашњење (Трансформације, 7.5-6)

2.3. Полином оператора је \(p(T) = a_0I + a_1T + ... + a_nT^m\), где је \(T \in \mathcal{L}(X)\), а сви коефицијенти \( a_k \in \Phi\).

На пример, оператор диференцијације \(D \in \mathcal{L}(X)\) у полиному \(p(D) = a_0I + a_1D + ... + a_nD^n\) делујући на функцију \(f(x)\), рецимо други полином, даје \(p(D)f = a_0f + a_1f' + ... + a_nf^{(m)}\).

Прозвод полинома је полином. Симболима, из \(p, q \in \mathcal{P}(\Phi)\) следи \((pq)(\lambda) = p(\lambda)q(\lambda)\), за скаларе \(\lambda \in \Phi\). Ова се особина лако преноси на полиноме оператора. Ако су скалари комутативни, онда су и множења полинома оператора комутативна, јер су производи степена истог оператора комутативни.

7. Став. Ако је \(p, q \in \mathcal{P}(\Phi)\) и \(T \in \mathcal{L}(X)\), онда је:

  1. \( (pq)(T) = p(T)q(T)\);
  2. \(p(T)q(T) = q(T)p(T)\).

Доказ: Нека је \(p(\lambda) = \sum_{j=0}^m p_j\lambda^j\) и \(q(\lambda) = \sum_{k=0}^n q_k \lambda^k\), где је \(\lambda \in \Phi\). Тада је

\[ (pq)(\lambda) = \sum_{j=0}^m \sum_{k=0}^n p_j q_k \lambda^{j+k} \]

па је (1):

\[ (pq)(T) = \sum_{j=0}^m \sum_{k=0}^n p_j q_k T^{j+k} = \left(\sum_{j=0}^m p_j T^j\right)\left(\sum_{k=0}^n q_k T^k\right) = p(T)q(T). \]

У случају комутативности скалара, из (1) непосредно следи (2). ∎

8. Став. Сваки оператор на коначно-димензионалном од нуле различитом комплексном векторском простору има својствену (сопствену, карактеристичну) вредност.

Доказ: Нека је \(n = \dim X\) комплексног векторског простора и \(T \in \mathcal{L}(X)\). За ненулти вектор \(x \in X\) је скуп вектора \(x, Tx, T^2x, ..., T^nx\) линеарно зависан, јер их има n + 1. То значи да постоје комплексни бројеви \(c_0, c_1, ..., c_n\) који нису сви нуле, али да је \(c_0x + c_1Tx + ... + c_nT^nx = 0 \). При томе нису ни сви \(c_1, ..., c_n\) нуле, јер није \(c_0x = 0\).

Према основној теореми алгебре (Нуле полинома, 7. став) је

\[ c_0 + c_1z + ... + c_nz^n = c(z - \lambda_1)...(z - \lambda_n), \quad c \in \mathbb{C}, \]

а отуда:

\[ 0 = c_0x + c_1Tx + ... + c_nT^nx = (c_0 + c_1T + ... + c_nT^n)x = c (T - \lambda_1I)...(T - \lambda_m I).\]

Отуда бар један од оператора \(T - \lambda_kI\) није инјективан, па T има својствену вредност. ∎

Ако је λ једна својствена вредност оператора \(T \in \mathcal{L}(X)\), онда je \(Tx = \lambda x\) за неки ненулти вектор \(x \in X\), па је: \( T^2(x) = T(Tx) = T(\lambda x) = \lambda(Tx) = \lambda^2 x\), \(T^3(x) = \lambda^3 x\), ..., \(T^n(x) = \lambda^nx\).

9. Пример. (Нуле полинома, 12. пример) Ако полином оператор \(p(T) = T^3 - 6T^2 + 11T - 6I\) има бар једну својствену вредност λ, онда их има три: λ ∈ {1, 2, 3}. Наиме:

\[ T^3 - 6T^2 + 11T - 6I = 0, \] \[ \lambda^3 - 6\lambda^2 + 11\lambda - 6 = 0, \] \[ (\lambda - 1)(\lambda - 2)(\lambda - 3) = 0. \]

Према томе, λ = 1, λ = 2, или λ = 3. □

10. Задатак. Нека су дати оператор \(T \in \mathcal{L}(X)\) и реалан број λ > 0. Доказати да је λ2 својствена вредност T2 ако и само ако је +λ или -λ својствена вредност T.

Доказ: Ако је λ2 својствена вредност T2, онда за неки ненулти вектор x ∈ X имамо T2(x) = λ2x. Затим је (T2 - λ2)x = 0, па (T - λ)(T + λ)x = 0. Тада су ±λ својствене врености T.

Обрнуто, ако је -λ својствена вреност T, онда за неки ненулти вектор x ∈ X важи Tx = -λx. Применимо T на обе стране ове једнакости, па је: T2(x) = -λT(x) = λ2x. Слично се доказује за λ својствену вредност T. □

3. Троугаона матрица

Раније смо упознали матрице као врсту линеарних пресликавања векторских простора, као и њихову зависност од избора база тих простора (Инвертибилност). На пример, коефицијенти (cjk) стохастичке матрице (овде 2.2) су условне вероватноће, да ће сигнал који стигне као k-ти бити пренешен као j-ти. Промена вероватноћа мењаће коефицијенти ове матрице, иако ће она остајати стохастичка (збирови колона биће јединице). Може се и средња вредност заједно са дисперзијом расподеле мењати, тако да њена природа (рецимо нормалне расподеле) остаје непромењена, као и број независних исхода.

11. Пример. Оператор \(T \in \mathcal{L}(\Phi^3)\) одређен са \(T(x, y, z) = (x+y, 2y-3z, 4z)\) у стандардној бази има матрицу

\[ \mathcal{M}(T) = \begin{pmatrix} 1 & 1 & 0 \\ 0 & 2 & -3 \\ 0 & 0 & 4 \end{pmatrix} \]

која је горња троугаона матрица трећег реда. □

3.1. Када су дати оператор \(T \in \mathcal{L}(X)\) и база простора \(x_1, ..., x_n \in X\), онда је матрица оператора обзиром на ту базу

\[ \mathcal{M}(T) = \begin{pmatrix} a_{11} & ... & a_{1n} \\ ... & ... & ... \\ a_{n1} & ... & a_{nn} \end{pmatrix} \]

чији су коефицијенти дефинисани са \( Tx_j = a_{j1}x_1 + ... + a_{jn}x_n\). Опширнија ознака ове матрице била би \(\mathcal{M}(T, (x_1, ..., x_n)^\tau)\), када се односи на множење вектора-колона (контраваријантних).

Приметимо да је редак j-тих коефицијената матрице \(\mathcal{M}(T) = (a_{jk})\) формиран коефицијентима записа вектора Txj као линеарне комбинације базних. Променом базе мењају се и коефицијенти матрице. Ако база није дефинисана подразумевана је стандардна: (1, 0, ..., 0)⊤, (0, 1, ..., 0)⊤, ..., (0, 0, ..., 1)⊤.

3.2. Посебна врста квадратне матрице је троугаона. Доња (горња) троугаона матрица је квадратна матрица ако су сви уноси изнад (испод) главне дијагонале нуле. Зато што се матричне једначине са троугластим матрицама лакше решавају, оне су веома важне у нумеричкој анализи. Алгоритмом LU факторизације матрица, инвертибилна матрица се може написати као производ доње троугаоне матрице (енг. lower) и горње (upper) троугласте матрице ако и само ако су сви њени водећи главни минори различити од нуле.

Декомпозиција може бити облика A = LU, у случају матрица трећег реда

\[ \begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{pmatrix} = \begin{pmatrix} l_{11} & 0 & 0 \\ l_{21} & l_{22} & 0 \\ l_{31} & l_{32} & l_{33} \end{pmatrix} \begin{pmatrix} u_{11} & u_{12} & u_{13} \\ 0 & u_{22} & u_{23} \\ 0 & 0 & u_{33} \end{pmatrix}, \]

а декомпозиција A = LDU имала би дијагоналну матрицу D као средњи фактор.

Идеја водиља линеарне алгебре је да датом оператору \(T \in \mathcal{L}(X)\) тражимо базу простора X у којој би T имало што једноставнију матрицу, рецимо да пронађемо базу за матрицу са много нула.

3.3. Распон, или линеал датих вектора, ознаке span{x1, ..., xn}, је подпростор X којег чинe све линеарнe комбинацијe вектора x1, ..., xn ∈ X. Са том ознаком, а у вези са горњом троугаоном матрицом, наводим следећи познати резултат који не важи за реалне векторске просторе. Наиме, ако оператор на реалном векторском простору нема својствене вредности, онда не постоји база у којој би оператор имао горњу троугаону матрицу.

12. Став. За оператор \(T \in \mathcal{L}(X)\) и базу \(x_1, ..., x_n \in X\) следећа три тврђења су еквивалентна:

  1. матрица оператора обзиром на дату базу је горња троугаона;
  2. Txj ∈ span{x1, ..., xj} за свако j = 1, ..., n;
  3. span{x1, ..., xj} је инваријанта оператора T за свако j = 1, ..., n.

Доказ: Еквиваленција (1) и (2) је очигледна, а такође да из (3) следи (2). Према томе, треба још само доказати да из (2) следи (3).

Дакле, претпоставимо да важи (2) и фиксирајмо индекс j ∈ {1, ..., n}. Из претпоставке:

\[ Tx_1 \in \text{span}\{x_1\} \subset \text{span}\{x_1, ..., x_j\}, \] \[ Tx_2 \in \text{span}\{x_1, x_2\} \subset \text{span}\{x_1, ..., x_j\}, \] \[ ... \] \[ Tx_j \in \text{span}\{x_1, ..., x_j\}. \]

Тако, ако је вектор x линеарна комбинација базних вектора до j-тог, онда Tx припада линеалу таквих. Другим речима, span{x1, ..., xj} је инваријанта оператора T. Тиме је став доказан. ∎

Сада можемо доказати да за сваки оператор на коначно-димензионалном комплексном векторском простору постоји база векторског простора у односу на коју матрица оператора има само нуле испод дијагонале.

13. Став. Нека су X коначно-димензионални комплексни простор и оператор \(T \in \mathcal{L}(X)\). Тада T има репрезентацију у горњој троугаоној матрици обзиром на неку базу X.

Доказ: Користимо методу математичке индукције по димензијама dim X = n. Први корак индукције, за dim X = 1, очигледно је тачан.

Претпоставимо да је став тачан и за све димензије до n - 1, па докажимо да је тачан за димензију n. Према 8. ставу, оператор T има неку својствену вредност λ. Нека је Y кодомен оператора T - λI. Тада, према ставу 1, пресликавање T - λI није сурјекција, тј. dim Y < dim X.

Штавише, Y је инваријанта оператора T. То се види из y ∈ Y и Ty = (T - λI)y + λy ∈ Y, јер је (T - λI)y ∈ Y и λy ∈ Y. Тако је T|Y оператор на Y. Према претпоставци индукције, постоји база y1, ..., ym ∈ Y која T|Y даје горњу троугаону матрицу.

За свако j, даље (12. став), Tyj = (T|Y)(yj) ∈ span{y1, ..., yj}. Проширимо базу до y1, ..., ym, x1, ..., xn ∈ X. За свако k, биће Txk = (T - λI)xk + λxk, а из дефиниције Y да је (T - λI)xk ∈ Y = span{y1, ..., ym}. Долазимо до Txk ∈ span{y1, ..., ym, x1, ..., xn}, па T има горњу троугаону матрицу у додатој бази y1, ..., ym, x1, ..., xn простора X. То је оно што је требало доказати. ∎

3.4. У наведеном, 11. примеру, оператор је инвертибилан, а сва три дијагонална елемента његове горње троугаоне матрице су различита од нуле. Погледајмо да постоји и општи критеријум за такве процене.

14. Став. Ако оператор \(T \in \mathcal{L}(X)\) има горњу троугаону матрицу у некој бази, онда је он инвертибилан ако и само ако су сви коефицијенти на дијагонали те матрице различити од нуле.

Доказ: Нека је \(x_1, ..., x_n \in X\) база простора у којој T има горњу троугаону матрицу

\[ \mathcal{M}(T) = \begin{pmatrix} \lambda_1 & & & * \\ & \lambda_2 & & \\ & & \ddots & \\ 0 & & & \lambda_n \end{pmatrix}. \]

Прво, претпоставимо да су сви дијагонални елеменати λ1, λ2, ..., λn различити од нуле. Тада имамо да је \(Tx_1 = \lambda_1 x_1\), непосредно из горње матрице, те \(T(x_1/\lambda_1) = x_1\), па x1 припада кодомену T. Даље, за неко \(a \in \Phi\) је \(T(x_2/\lambda_2) = ax_1 + x_2 \), где лево од једнакости и \(ax_1\) припадају кодомену T, па му припада и x2.

Слично, \(T(x_3/\lambda_3) = bx_1 + cx_2 + x_3\), за неке \(b, c \in \Phi\). Лева страна једнакости као и \(bx_1 + cx_2\) припадају кодомену T, па кодомену припада и x3. Настављајући, закључујемо да x1, ..., xn припадају кодомену T, а како је овај скуп вектора база простора, то је кодомен сав простор X.

Друго, претпоставимо да је T инвертибилан. Тада је λ1 ≠ 0, јер иначе би било Tx1 = 0. Нека је 1 ≤ j ≤ n и претпоставимо да је λj = 0. Тада T пресликава span{x1, ..., xj) у span{x1, ..., xj-1). Зато што је димензија првог j, а димензија другог j - 1, произилази да рестрикција T на приви није инјекција. Отуда постоји ненулти вектор x првог да је Tx = 0. Тако T није инјекција, што противречи претпоставци. Дакле, λj ≠ 0, чиме је доказ комплетиран. ∎

Инверзне матрице каналима преноса података постоје иако не постоје такви канали преноса.

Када би стохастичка матрица (попут 2.2) била горња троугаона, било би λ1 = 1, јер је збир елемената сваке колоне један. Сви њени коефицијенти су ненегативни, као у следећем примеру који је изузетак из претходног правила.

15. Пример. Стохастичка матрица \(\vec{q} = C\vec{p}\) пресликава расподеле:

\[ \begin{pmatrix} 0,77 \\ 0,17 \\ 0,06 \end{pmatrix} = \begin{pmatrix} 1 & 0,3 & 0,1 \\ 0 & 0,7 & 0,3 \\ 0 & 0 & 0,6 \end{pmatrix} \begin{pmatrix} 0,7 \\ 0,2 \\ 0,1 \end{pmatrix}. \]

Могуће су (не увек) реалне троугаоне матрице оператора. Својствене вредности ове матрице су 1, затим 0,7 и 0,6. Она је регуларна (детерминанте 0,42 = 1 ⋅ 0,7 ⋅ 0,6), са инверзном која није стохастичка

\[ C^{-1} = \begin{pmatrix} 1 & -0,4286 & 0,0476 \\ 0 & 1,4286 & -0,7143 \\ 0 & 0 & 1,6667 \end{pmatrix}, \]

овде приближно на четири децимале. Марковљев ланац генерисан таквом матрицом имао би рецимо следећа два дела

\[ C^2 = \begin{pmatrix} 1 & 0,51 & 0,25 \\ 0 & 0,49 & 0,39 \\ 0 & 0 & 0,36 \end{pmatrix}, \quad C^4 = \begin{pmatrix} 1 & 0,7599 & 0,5389 \\ 0 & 0,2401 & 0,3315 \\ 0 & 0 & 0,1296 \end{pmatrix} ... \quad \to C^{\infty} = \begin{pmatrix} 1 & 1 & 1 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{pmatrix}, \]

из којих наслућујемо уједначавање расподела колона, те конвергирање n-тог степена ове матрице, дакле дужег ланца процеса, ка хомогеним расподелама и „црној кутији“. У том граничном случају, сваки би излазни вектор био (1, 0, 0)⊤, без обзира шта је заправо послато. □

Приметимо да „црна кутија“ овог и претходног примера стохастичких матрица нису исте, али свеједно не дају податке о улазу на основу излаза. Такође, да матрица C, која је генератор Марковљевог ланца, у овом случају не испуњава услове поменуте „ергодичке теореме“ (Информатичка Теорија II), па ипак да у дугој композицији пресликавања конвергира „црној кутији“.

3.5. Својствене вредности су управо њени дијагонални елементи. Матрица 11. примера има својствене вредности 1, 2 и 4. Једном откривене својствене вредности даље се могу налазити поступком Гаусове елиминације, а то је још један пример практичности горњих троугаоних матрица.

16. Став. Својствене вредности оператора \(T \in \mathcal{L}(X)\) који у датој бази простора X има горњу троугаону матрицу су дијагонални елементи те матрице.

Доказ: Нека је \(x_1, x_2, ..., x_n \in X \) база у којој оператор \(T \in \mathcal{L}(X)\) има горњу троугаону матрицу

\[ \mathcal{M}(T) = \begin{pmatrix} \lambda_1 & & & * \\ & \lambda_2 & & \\ & & \ddots & \\ 0 & & & \lambda_n \end{pmatrix}. \]

Нека је λ ∈ Φ. Тада је

\[ \mathcal{M}(T - \lambda I) = \begin{pmatrix} \lambda_1 - \lambda & & & * \\ & \lambda_2 - \lambda & & \\ & & \ddots & \\ 0 & & & \lambda_n - \lambda \end{pmatrix}. \]

Како оператор T - λI није инвертибилан ако и само ако је λ једнако неком од λ1, λ2, ..., λn, то је λ својствена вредност T акко је то један од поменутих бројева. ∎

3.6. Посебан случај троугаоних матрица су дијагоналне матрице. Сви њихови елементи су нуле осим дијагоналних који су сви различити од нуле. Зато ће оператор који има дијагоналну матрицу у односу на неку базу имати елементе те дијагонале за својствене вредности.

4. Дијагонализација

4.1. Са E(λ, T) означавамо својствени простор (eigenspace) свих својствених вектора оператора T којима припада својствена вредност λ заједно са нула простором (Домени). Када имамо оператор \(T \in \mathcal{L}(X)\) и \(\lambda \in \Phi\), својствени простор T у односу на λ је \(E(\lambda, T) = \ker(T - \lambda I)\).

За поједину својствену вредност λ оператора T, својствени простор E(λ, T) је рестрикција на оператор множења са λ. Дијагонална матрица са дијагоналним елементима 3, 5 и 5, оператора \(T \in \mathcal{L}(X)\) у бази \(x_1, x_2, x_3 \in X\), имаће \(E(3, T) = \text{span}(x_1)\) и \(E(5, T) = \text{span}(x_2, x_3)\).

17. Став. Ако је X коначно димензионалан простор и оператор \(T \in \mathcal{L}(X)\) са различитим својственим вредностима λ1, λ2, ..., λm, онда је \(E(\lambda_1, T) + E(\lambda_2, T) + ... + E(\lambda_m, T)\) директна сума (в. 5.1. Производ простора). Штавише, \(\dim E(\lambda_1, T) + ... + \dim E(\lambda_m, T) \le \dim X\).

Доказ: Претпоставимо да је \(x_1 + ... + x_m = 0\), где је свако \(x_k \in E(\lambda, T)\). Зато што су својствени вектори, који припадају различитим својственим вредностима, линеарно независни (3. став), то значи да је свако \(x_k\) једнако 0. Отуда је \(E(\lambda_1, T) + E(\lambda_2, T) + ... + E(\lambda_m, T)\) директна сума.

Даље је \(\dim E(\lambda_1, T) + ... + \dim E(\lambda_m, T) = \dim[E(\lambda_1, T) \oplus ... \oplus E(\lambda_m, T)] \le \dim X \), јер скуп писан као дисјунктна унија коначно подскупова има број елемената једнак збиру елемената тих подскупова. ∎

4.2. За оператор \(T \in \mathcal{L}(X)\) кажемо да га је могуће дијагонализовати ако има дијагоналну матрицу која одговара некој бази X.

18. Пример. Оператор \(T \in \mathcal{L}(\mathbb{R}^2)\), који је дефинисан са \(T(\xi, \eta) = (6\xi - \eta, 2\xi + 3\eta)\), у стандардној бази e1 = (1, 0) и e2 = (0, 1) има матрицу A, а дијагоналну матрицу D:

\[ A = \begin{pmatrix} 6 & -1 \\ 2 & 3 \end{pmatrix}, \quad D = \begin{pmatrix} 5 & 0 \\ 0 & 4 \end{pmatrix}, \]

има у бази x1 = (1, 1) и x2 = (1, 2). Проверите!

Упута: Нови базни вектори су својствени: \[ \begin{pmatrix} 6 & -1 \\ 2 & 3 \end{pmatrix} \begin{pmatrix} 1 \\ 1 \end{pmatrix} = 5\begin{pmatrix} 1 \\ 1 \end{pmatrix}, \quad \begin{pmatrix} 6 & -1 \\ 2 & 3 \end{pmatrix} \begin{pmatrix} 1 \\ 2 \end{pmatrix} = 4\begin{pmatrix} 1 \\ 2 \end{pmatrix}, \]

па је:

\[ \begin{pmatrix} 6 & -1 \\ 2 & 3 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & 2 \end{pmatrix} = \begin{pmatrix} 1 & 1 \\ 1 & 2 \end{pmatrix} \begin{pmatrix} 5 & 0 \\ 0 & 4 \end{pmatrix}. \]

Укратко, AP = PD, где је P матрица чији су ступци (колоне) својствени вектори A. □

Наведенин поступак (18. примера) за тражење дијагоналне матрице D применљив је када год постоје различите својствене вредности (нпр. λ1 и λ2), односно различити припадни својствени вектори (x1 и x2) матрице \(A = \mathcal{M}(T)\) оператора \(T \in \mathcal{L}(X)\). Тада постоји регуларна матрица P = [x1, x2] чије колоне су својствени вектори, а која има инвезну P-1. Како је, PP-1 = P-1P = I, производ инверзних је јединична матрица, то из AP = PD следи D = P-1AP.

У том случају, дијагонална матрица је D = P-1AP и њени дијагонални елементи су редом одговарајуће својствене вредности (λ1 и λ2). Обрнуто, дата матрица изражена помоћу дијагоналне је A = PDP-1. Овај други израз даје A2 = (PDP-1)(PDP-1) = PD2P-1, а квадрирање дијагоналне матрице даје дијагоналну са квадрираним дијагоналним елементима. Уопште је An = PDnP-1, а n-ти степен дијагоналне матрице је дијагонална са n-тим степенима дијагоналних елемената.

У наведеном примеру проверавамо:

\[ A^2 = PD^2P^{-1}, \] \[ \begin{pmatrix} 6 & -1 \\ 2 & 3 \end{pmatrix}^2 = \begin{pmatrix} 1 & 1 \\ 1 & 2 \end{pmatrix}\begin{pmatrix} 5 & 0 \\ 0 & 4 \end{pmatrix}^2\begin{pmatrix} 1 & 1 \\ 1 & 2 \end{pmatrix}^{-1}, \] \[ \begin{pmatrix} 36 - 2 & -6 - 3 \\ 12 + 6 & -2 + 9 \end{pmatrix} = \begin{pmatrix} 1 & 1 \\ 1 & 2 \end{pmatrix} \begin{pmatrix} 25 & 0 \\ 0 & 16 \end{pmatrix}\begin{pmatrix} 2 & -1 \\ -1 & 1 \end{pmatrix}, \] \[ \begin{pmatrix} 34 & -9 \\ 18 & 7 \end{pmatrix} = \begin{pmatrix} 25 & 16 \\ 25 & 32 \end{pmatrix} \begin{pmatrix} 2 & -1 \\ -1 & 1 \end{pmatrix}, \]

што је тачно. Предност ове методе долази до изражаја код већих степена и сложенијих матрица. А сада је преостало да претходно речено и докажемо.

19. Став. Када у коначно димензионалном векторском простору X линеарни оператор \(T \in \mathcal{L}(X)\) има различите својствене вредности λ1, ..., λm, онда су следеће ставке еквивалентне:

  1. T има дијагоналну матрицу;
  2. X има базу коју чине својствени вектори T;
  3. постоје једно-димензионални потпростори \(Y_1, ..., Y_n\), сваки инваријанта оператора T, такви да \( X = Y_1 \oplus ... \oplus Y_n \);
  4. \( X = E(\lambda_1, T) \oplus ... \oplus E(\lambda_m, T) \);
  5. \( \dim X = \dim E(\lambda_1, T) + ... + \dim E(\lambda_m, T) \).

Доказ: Оператор \(T \in \mathcal{L}(X)\) има дијагоналну матрицу

\[ D = \begin{pmatrix} \lambda_1 & & 0 \\ & \ddots & \\ 0 & & \lambda_n \end{pmatrix} \]

у бази \( x_1, ..., x_n \in X \) ако и само ако \( Tx_k = \lambda_k x_k \) за свако k = 1, ..., n. На тај начин су (1) и (2) еквивалентни.

Нека је (2) тачно и Yk = span{xk} за свако k. Очигледно је поједини Yk једно-димензионалан простор и инваријантан је под T. Зато што је \( x_1, ..., x_n \in X \) база, сваки вектор из X може на јединствен начин бити писан помоћу њих. Другим речима, сваки вектор x ∈ X може бити писан на јединствен начин као x = y1 + ... + yn, сабирака yk ∈ Yk. Отуда \( X = Y_1\oplus ... \oplus Y_n \), па (2) имплицира (3).

Нека је (3) тачно. Нека је сваки вектор yk ∈ Yk ненулти, па је он својствени оператора T. Како сваки вектор x из X може на јединствен начин бити писан у облику x = y1 + ... + yn, са сабирцима yk ∈ Yk, видимо да је \(x_1, ..., x_n \) база простора X. Тако (3) имплицира (2). Дакле, прве три ставке (1), (2) и (3) су еквивалентне тврдње.

Ако је (2) тачно, онда је сваки вектор из X линеарна комбинација својствених вектора T одакле \( X = E(\lambda_1, T) + ... + E(\lambda_m, T)\). Отуда је (4) тачно (в. 17. став). Да из (4) следи (5) очигледно је.

Коначно, претпоставимо да је (5) тачно. Бирајмо базу за сваки \(E(\lambda_k, T)\) и ставимо све те базе заједно да чине листу својствених вектора \(x_1, ..., x_n\) простора X, где је n = dim X. Да докажемо линеарну независност низа, претпоставимо \(a_1x_1 + ... + a_nx_n = 0\), где \(a_1, ..., a_n \in \Phi\). За сваки k = 1, ..., m, нека yk буде збир свих чланова ajxj таквих да \(x_j \in E(\lambda_k, T)\). Тако сваки yk припада \(E(\lambda_k, T)\) и \(y_1 + ... + y_m = 0 \).

Како су својствени вектори који припадају различитим својственим вредностима линеарно независни то је сваки овај yk = 0. Пошто је сваки yk збир чланова ajxj, где j-ти бирамо да буде базни \(E(\lambda_j, T)\), то имплицира да је сваки aj = 0. Дакле, вектори \(x_1, ..., x_n\) су линеарно независни и база су X. Тако (5) имплицира (2), чиме је доказ завршен. ∎

4.3. Према овом ставу, оператор нема дијагоналну матрицу ако није испуњен било који од наведених пет услова. Рецимо ако нема довољно различитих својствених вредности, као \(T(x, y) = (y, 0)\) коме је нула једина својствена вредност.

Други пример оператора без дијагоналне матрице је матрица

\[ A = \begin{pmatrix} 1 & 0 \\ 1 & 1 \end{pmatrix}, \]

јер једнакост det(A - λI) = 0 своди се на (1 - λ)2 = 0, односно на једину својствену вредност λ = 1, која је двострука. За матрицу другог реда недовољно је имати само један својствени вектор да би се могле формирати матрице P и P-1 потребне за дијагоналну матрицу D = P-1AP.

20. Став. Довољно сопствених вредности подразумева дијагонализацију. Прецизније, ако \(T \in \mathcal{L}(X)\) има dim X различитих својствених вредности, онда се T може дијагонализирати.

Доказ: Претпоставимо да оператор T има различитих својствених вредности колика је димензија простора X. За свако j нека је xj ∈ X по један својствени вектор који одговара λj. Зато што су својствени вектори који одговарају различитим својственим вредностима линеарно независни, низ ових је линеарно независан (3. став). А линеарно независна листа вектора димензије простора је база тог простора. У тој бази својствених вектора оператор има дијагоналну матрицу. ∎

4.4. Да могућност дијагонализације нема везе са инвертибилношћу оператора, демонстрирају следеће матрице:

\[ \begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix}, \quad \begin{pmatrix} 1 & 0 \\ 0 & 0 \end{pmatrix}, \quad \begin{pmatrix} 1 & 1 \\ 0 & 1 \end{pmatrix}, \quad \begin{pmatrix} 0 & 1 \\ 0 & 0 \end{pmatrix}. \]

Прва је инвертибилна и дијагонална, друга има дијагоналну и није инвертибилна, трећа нема дијагоналну и јесте инвертибилна, а четврта нити има дијагоналну нити је инвертибилна.

Познати примери оператора који се не могу дијагонализовати су нулпотентни (Nilpotent) опеатори. То су оператори различити од нуле (N ≠ 0) чија је нека k-та потенција једнака нули (Nk = 0). Блиски њима су унипотентни (Unipotent) оператори облика U = I + N, где је I јединични оператор, а N нулпотентан. Примери таквих су матрице:

\[ N = \begin{pmatrix} 0 & 1 & ... & * \\ \vdots & \ddots & \ddots & \vdots \\ 0 & ... & 0 & 1 \\ 0 & 0 & ... & 0 \end{pmatrix}, \quad U = \begin{pmatrix} 1 & 1 & ... & * \\ \vdots & \ddots & \ddots & \vdots \\ 0 & ... & 1 & 1 \\ 0 & 0 & ... & 1 \end{pmatrix}. \]

Приметимо, ако је N нулпотентан оператор, онда је оператор I + N инвертибилан. Наиме, из Nk = 0 и геометријског низа налазимо:

\[ I + N + N^2 + ... + N^{k-1} = \sum_{n=0}^\infty N^n, \] \[ (I - N)(I + N + ... + N^{k-1}) = I - N^k = I, \] \[ (I - N)^{-1} = I + N + ... + N^{k-1}. \]

Сменом N → -N, налазимо да је инвертибилан и I + N.