Teoria de Matrizes para Estatística

Teoria de Matrizes para Estatística

(Parte 1 de 2)

Teoria de Matrizes para Estatıstica Jose Carlos Fogo

Teoria de Matrizes para Estatıstica 1 Conceitos Iniciais

1.1 Vetores

Definicao:

Na Fısica: e uma forma de se representar matematicamentegrandezas fısicas que possuam mais de um aspecto para ser definida. Exemplo: a forca, necessita da magnitude, direcao e sentido em que e aplicada;

Na Matematica: e uma tripla constituıda de uma direcao, um sentido e um numero nao negatico (modulo), Venturini, J.J.

Obs: Usando a teoria de matrizes, pode-se definir um vetor como qalquer matriz coluna, ou matriz linha.

Na Wikipedia: e um conceito caracterizado por uma magnitude (modulo) e uma orientacao (direcao e sentido).

Na disciplina, vamos adotar a notacao usual em publicacoes, ou seja, com letras mnusculas, em negrito: v, x, a.

xp , e um vetor de dimensao p.

Exemplo:

Teoria de Matrizes para Estatıstica

1.1.1 Representacao grafica no ℜ2 Exemplo: Sejam

6 Representação gráfica de vetores no plano

dim 1 dim 2 x

Figura 1: Vetores no plano

1.1.2 Propriedades algebricas i) u + v = v + u;

Teoria de Matrizes para Estatıstica

1.1.3 Vetores especiais i) vetor nulo:

i) vetor de 1’s:

i) vetor transposto:

1.1.4 Produto entre vetores

A multiplicacao de vetores pode ser feita basicamente de duas maneiras: o produto vetorial, ou produto externo e o produto escalar, ou produto interno. De qualquer forma, nos dois casos os vetores devem ter mesmas dimensoes.

Alem dos dois tipos de produtos acima, pode-se, ainda, realizar o produto elemento-aelemento entre dois vetores.

Nota: Na disciplina estaremos interessados apenas nos produtos interno e elemento-a-elemento.

Considere os vetores

Teoria de Matrizes para Estatıstica a) Produto elemento-a-elemento1:

b) Produto interno:

Exemplo:

Sejam x =

Nota: Existe, ainda, o produto Kronecker, ou produto direto, representado por x⊗v, que nao sera abordado por ora.

1Como nao temos uma notacao para um operador elemento-a-elemento, vamos utilizar o asterisco (*) 5

Teoria de Matrizes para Estatıstica

1.1.5 Propriedades algebricas do produto interno entre vetores i) u′v = v′u;

1.1.6 Modulo ou comprimenro de um vetor O comprimento, modulo ou norma de um vetor v e definido por

v21 + v22 ++ v2p.

O vetor u′ = (0.64, 0.36, tem comprimento 1, por ieeo e chamado de vetor unitario.

Outros resultados i) Angulo entre vetores:

v θ

Figura 2: Angulo entre vetores.

Teoria de Matrizes para Estatıstica

Lu Lv i) Projecao de um vetor sobre outro: Considere os vetores u e v. Entao, a projecao de u sobre v e obtida por:

O modulo da projecao, por sua vez, e dado por:

Exemplo: Dados os vetores u′ = (1, 2), v′ = (2, 1), encontar a projecao de u sobre v e calcular o seu modulo.

Figura 3: Projecao de um vetor u sobre um vetor v.

Calculos:

Teoria de Matrizes para Estatıstica Projecao de u sobre v:

De fato

1.2 Matrizes

Definicao: Matriz e uma colecao retangular n × p de valores reais, representada por

onde: n e o numero de linhas e p e o numero de colunas da matriz.

1.2.1 Casos Especiais i) Matriz Transposta: denotada por A′, e obtida trocando-se as linhas de A pelas colunas.

Exemplo:

Teoria de Matrizes para Estatıstica i) Matriz Quadrada: ocorre quando o numero de linhas e igual ao de colunas.

i) Matriz Diagonal: matriz quadrada na qual apenas os elementos da diagonal sao diferentes de zero.

Nota: A matriz identidade e um caso particular da matriz diagonal. Denotada por

a11 = a22 == app = 1.

Ip×p, seus elementos da diagonal sao todos iguais a 1, ou seja,

i, j = 1, 2,, p.

iv) Matriz Simetrica: matriz quadrada em que A = A′, ou seja, quando aij = aji,

1.2.2 Operacoes i) Multiplicacao por um escalar:

Teoria de Matrizes para Estatıstica Exemplo:

i) Adicao de matrizes de mesmas dimensoes: Exemplo:

Resultados

i) Multiplicacao de matrizes:

Para a multiplicacao de matrizes o numero de colunas da primeira (A) deve ser igual ao numero de linhas da segunda (B) em que A B tem elementos formados pelo produto interno das linhas de A pelas colunas de B.

Exemplo:

Nota: A matriz identidade e o elemento neutro da multiplicacao de matrizes, ou seja, AI = A.

Teoria de Matrizes para Estatıstica

Resultados (as matrizes A, B e C sao de dimensoes tais que os produtos abaixo sejam definidos)

Notas: 1) Em geral nao vale a propriedade comutativa, ou seja, A B6=B A, 2) Se A B = 0, nao implica que A = 0 ou que B = 0.

1.2.3 A Matriz Inversa Denotada por A−1, e tal que: A A−1 = I.

Caso especial: a inversa de uma matriz 2×2 e dada por

em que |A| e o determinante da matriz A. Exemplo:

Resultados (as matrizes A, B e C sao tais que as inversas existam e os produtos sejam definidos)

1.2.4 Matriz Nao Singular Uma matriz quadrada Ak×k e nao singular se:

1) Note que A x = a1 x1 + a2 x2 ++ ak xk, onde ai e a i-esima coluna de A,

Notas: i = 1,2,...,k. Portanto, uma matriz e nao singular se as suas colunas forem linearmente independentes,

Teoria de Matrizes para Estatıstica

2) Uma matriz quadrada e nao singular se o seu rank for igual ao seu numero de linhas (ou colunas), 3) Se A e nao singular, entao existe uma unica matriz inversa A−1.

1.2.5 Matriz Ortogonal

Uma matriz quadrada e dita ser ortogonal se suas linhas, consideradas como vetores, sao mutuamente perpendiculares e de comprimento 1, o que equivale a dizer que A A′ = I. Exemplo:

Nota: Uma matriz A e ortogonal, se e somente se, A′ = A−1.

1.2.6 Medidas Relacionadas i) Determinante: Seja uma matriz quadrada A, entao, seu determinante e um escalar denotado por |A| e e definido por:

em que a1j e o j-esimo elemento da primeira linha de A e A1j e a matriz obtida eliminando-se a primeira linha e a j-esima coluna de A.

O resultado tambem e valido quando excluımos qualquer uma das outras linhas, ou seja

(−1)j+1 aij |Aij| , k > 1, i = 1, 2,, k.

Teoria de Matrizes para Estatıstica • Eliminando-se a primeira linha:

Casos especiais: a) k = 2:

Exemplo:

Teoria de Matrizes para Estatıstica Exemplo:

Resultados (as matrizes A, B sao tais que as inversas existam e os produtos sejam definidos)

Observacao: Para uma matriz Ak×k os resultados a seguir sao equivalentes

i) Rank: O rank de uma matriz Ak×k e dado pelo numero maximo de linhas (ou colunas) linearmente independentes (LI).

Exemplos:

todas as colunas, ou linhas, de A sao LI.

Teoria de Matrizes para Estatıstica

a primeira coluna de B e combinacao linear das demais.

Notas:

1) Uma matriz quadrada Ak×k e dita ser de posto completo se o seu rank for igual ao numero de colunas (nesse caso k),

2) Uma matriz quadrada e de posto completo se, e so se, ela e nao singular,

3) Nos exemplos acima, a matriz A e de posto completo, enquanto que, a matriz B nao e de posto completo.

i) Traco: Seja uma matriz quadrada Ak×k, entao o traco de A, denotado por tr(A), e dado pela soma dos elementos de sua diagonal principal

Exemplos:

Resultados

Teoria de Matrizes para Estatıstica

1.2.7 Autovalores e Autovetores Considere a matriz A e os vetores u e v:

Entao, as transformacoes operadas por A resultam em

Representando as transformacoes graficamente temos:

x u v

Figura 4: Transformacoes do tipo Ax. Tomando como foco as transformacoes lineares do tipo

A x = λ x, com λ constante, temos transformacoes nas quais o vetor x tem seu tamanho expandido ou diminuido.

Nota: Toda transformacao linear de Rn em Rm pode ser representada por uma matriz m×n.

Teoria de Matrizes para Estatıstica

Por exemplo, A =

Definicoes:

i) Autovetor: um autovetor de uma matriz Ak × k e um vetor x, nao nulo, tal que A x = λx, para algum escalar λ.

i) Autovalor: um escalar λ e chamado de autovalor de A se existe solucao nao trivial x para A x = λx.

Notas: 1) Os valores λ e x e sao chamados autovalor e autovetor asociado, 2) Normamente, os autovetores sao dados na forma padronizada e, tal que e′e=1, em que

Considere a transformacao A x = λ x, entao temos

Calculando o deteminante, temos que equivale a

Nota: A equacao polinomial |A x − λ I| = 0 e chamada funcao caracterıstica. Desta forma, devemos obter os valores de λ que sao raızes da funcao caracterıstica.

Resultado: Seja Ak×k uma matriz quadrada, entao existem k autovalores λ1,λ2,...,λk que satisfazem a equacao polinomial |A x − λ I| = 0. Assim sendo, existem k autovetores

e1, e2,, ek associados.

Teoria de Matrizes para Estatıstica

Exemplos: i) Seja a matriz:

Portanto, os autovalores de A sao λ1 = 3 e λ2 = 1.

Para encontrar os autovetores associados devemos fazer: • Autovetor e1 associado ao autovalor λ1 = 3:

Do sistema acima temos que x11 = 0 e x12 pode ser um valor arbitrario, o qual sera considerado igual a 1. O primeiro autovetor e, portanto, x′1 = (0,1). Padronizando o autovetor x1 temos

Teoria de Matrizes para Estatıstica

• Autovetor e2 associado ao autovalor λ2 = 1:

Da segunda equacao temos x21 = −2x22. Tomando x22 = 1, entao x21 fica igual a x21 = −2 e o segundo autovetor e, portanto, x′2 = (−2,1). Padronizando o autovetor x2 temos

i) Outro exemplo:

, entao

Teoria de Matrizes para Estatıstica

1.2.8 Decomposicao Espectral Seja a matriz Ak×k, simetrica, entao A pode escrita por:

Exemplo:

Logo,

e2,, ek e, da mesma forma, uma matriz ortogonal V, tal que V = V′, ou seja

Vamos definir uma matriz U, ortogonal, cujas colunas sao formadas pelos autovetores e1,

e1 | e2 || ek ]
Definindo, ainda, uma matriz diagonal formada pelos autovalores λ1, λ2,, λk, ou seja,

Teoria de Matrizes para Estatıstica

podemos escrever

A = UΛV ou A = UΛU′. No caso 2×2, temos

Desta forma, uma matriz A2×2 pode ser representada por

= λ1 e1 e′1 + λ2 e2 e′2. Exemplo: No exemplo anterior temos

1.2.9 Matriz Definida Positiva

Considere o produto x′Ax. Como temos apenas termos quadraticos x2i e termos cruzados xi xj, x′A x recebe o nome de forma quadratica.

Se uma matriz Ak×k, simetrica, e tal que entao, dizemos que A e uma matriz definida positiva.

positivos, isto e λi > 0, ∀ i = 1, 2,, k.

Nota: Se uma matriz Ak×k e definida positiva, entao os seus autovalores sao todos 21

Teoria de Matrizes para Estatıstica

Exemplo: Considere a forma quadratica 6x21 + 4x1x2 + 3x22, entao

] e definida positiva.

Notas: 1) Se x′A x ≥ 0, ∀ x nao nulo, entao A e semi-definida positiva, 2) Se x′A x < 0, ∀ x nao nulo, entao A e definida negativa, 3) Se x′A x ≤ 0, ∀ x nao nulo, entao A e semi-definida negativa.

Casos especiais: a) Matriz inversa: a inversa de uma matriz Ak×k, simetrica, pode ser obtida fazendo

λi ei e′i,

b) Matriz raiz quadrada: a matriz raiz quadrada de uma matriz Ak×k, definida positiva, e uma matriz tal que A1/2A1/2 = A, podendo ser obtida de

ou, equivalentemente,

Teoria de Matrizes para Estatıstica

Outras relacoes envolvendo a matriz raiz quadrada sao apresentadas a seguir: • A−1/2 = (A1/2)−1 = UΛ−1/2U′;

Exemplo: Considere a matriz A =

Desta forma, fazendo Λ1/2 = [ √

] , temos

A matriz A1/2 e a matriz raiz quadrada de A sendo que, de fato

] , temos sendo assim, teremos

Teoria de Matrizes para Estatıstica

1.2.10 Decomposicao em Valores Singulares

Seja a matriz Am×k uma matriz de valores reais. Existem matrizes Um×m e Vk×k, ortogonais, tais que

A = UΛV′, em que Λ e uma matriz do tipo

m×k , com r = posto de A, e D e uma matriz diagonal com os r valores singulares de A.

A decomposicao em valores singulares pode ser expressa numa relacao matricial que depende do rank da matriz.

Considerando m > k, entao, existem r constantes positivas, λ1,λ2,...,λr, r autovetores u1,u2,...,ur, de dimensao m × 1 e r autovetores v1,v2,...,vr, de dimensao k × 1, tal que

√ λi ui e′i = Ur Λr V′r, em que Ur = [u1 | u2 | · | ur] e Vr = [v1 | v2 | · | vr], sao matrizes ortogonais e Λr e uma matriz diagonal do tipo

Nessa situacao, λ1,λ2,...,λr e u1,u2,...,ur, sao pares de autovalores e autovetores de A A′, obtidos de

em que λ1 > λ2 >> λr > 0, sao valores estritamente positivos.

A A′ ui = λi ui,

Os vetores vi, por sua vez, estao relacionados aos autovetores ui, i = 1,2,...,r, pela relacao

λi A′i ui.

positivos λ1 > λ2 >> λr > 0 de A′ A.

Alternativamente, vi, i = 1,2,...,r, sao autovetores associados aos mesmos autovalores 24

Teoria de Matrizes para Estatıstica

Desta forma, a decomposicao em valores singulares pode ser escrita pela expressao

A = UΛV′, com U, V e Λ dadas pelas relacoes acima.

Exemplo: Seja A =

] , entao, A A′ e dada por

Os autovalores de A A′ sao λ1 = 150 e λ2 = 120 com autovetores associados,

respectivamente. Os vetores v1 e v2, por sua vez, sao obtidos de

Assim sendo, a matriz A pode ser escrita como A = U Λ V′, ou seja,

Teoria de Matrizes para Estatıstica 2 Vetores aleatorios

Aplicacoes das tecnicas multivariadas

Alguns exemplos em Johnson & Wichern, 3a ed.

• medicina e saude; • meio ambiente; • sociologia; • meteorologia;

• economia e negocios; • geologia;

• educacao; • psicologia;

• biologia; • esportes.

2.1 Vetores aleatorios

Definicao: Um vetor X, dado por:

e um vetor aleatorio se X1,X2,...,Xp forem variaveis aleatorias (va’s).

Nota: Da mesma maneira, uma matriz aleatoria e uma matriz cujos elementos sao variaveis aleatorias.

Como um vetor aleatorio X e uma representacao generalizada para uma variavel aleatoria, aqui tambem iremos representa-lo por va.

2.2 Valor esperado de um vetor aleatorio O valor esperado de um vetor aleatorio e dado por:

Teoria de Matrizes para Estatıstica

Propriedades:

i) Sejam um va X e a um vetor de coeficientes lineares, entao a combinacao linear a′X tem valor esparado

Se temos k combinacoes lineares com coeficientes dados pelas linhas da matriz Ak×p, entao:

b) Se temos k = 4 combinacoes lineares com coeficientes dados pela matriz

i) Se X e Y sao vetores alatorios com mesmas dimensoes, entao E(X+Y) = E(X)+E(Y).

Ainda, se a e b sao vetores de coeficientes lineares, entao a combinacao linear a′X+b′Y tem valor esparado

Teoria de Matrizes para Estatıstica Nota: Normalmente o vetor de medias e denotado por µ, isto e,

em que

xi xi fi(xi)dxi, se xi e contınua, xi xi pi(xi), se xi e discreta,

i = 1, 2,, p.

2.3 Matriz de variancias e covariancias de um va Pela definicao a matriz de variancias e covariancias de um va X, e dada por

Como podemos ver, cada termo de Σ e da forma

Teoria de Matrizes para Estatıstica

Exemplo: Considere dois va’s X1 e X2 com a funcao de probabilidade conjunta representada pela tabela (Johnson & Wichern, 3a ed., p. 71)

Calculando dos valores esperados:

Calculando as variancias e covariancias:

Teoria de Matrizes para Estatıstica

2.4 Matriz de correlacoes de um va A correlacao entre duas va’s Xi e Xj, i,j = 1,2,...,p, e definida por

Corr(Xi,Xj) = ρij = σij√ σi√ σj

Assim sendo, a matriz de correlacoes do va e, portanto,

Fazendo

entao,

Desta forma, podemos escrever:

ou ainda,

A matriz de covariancias, portanto, e dada pela seguinte relacao: Σ = V1/2ρ V1/2.

Teoria de Matrizes para Estatıstica

Exemplos: a) Considerando o exemplo anterior, temos que e, portanto, a matriz de correlacao e dada por

b) Considere um vetor aleatorio com matriz de covariancias

A matriz de variancias diagonal e dada por

e a matriz de correlacao, obtida de

Propriedades:

a) Seja um va Xp×1, com matriz de covariancias Σp×p e seja ap×1 um vetor de coeficientes lineares, entao a combinacao linear a′X tem variancia dada por

Teoria de Matrizes para Estatıstica

Se temos k combinacoes lineares com coeficientes dados pelas linhas da matriz Ak×p, entao, a matriz de covariancias dessas combinacoes lineares e calculada por

Exemplos: c) Conforme exemplo anterior, seja X′=(X1,X2,X3) com

d) Se temos k = 4 combinacoes lineares com coeficientes dados pela matriz

entao:

Teoria de Matrizes para Estatıstica Nesse caso, a matriz de correlacoes e dada por

Nota: Seja o va Xp×1 e um vetor de constantes bp×1, entao, Cov(X+b) = Cov(X) = Σ.

Ainda, se A e uma matriz de coeficientes k × p e b um vetores de constantes k × 1, entao, as combinacoes lineares AX + b tem matriz de covariancias

2.4.1 Particionando um va

O vetor aleatorio X pode ser particionado em grupos de variaveis de acordo com as suas naturezas. Por exemplo:

i) Estudo do efeito da estrutura organizacional sobre a satisfacao no trabalho.

(Parte 1 de 2)

Comentários