Indrodu¸˜o `s ca a Redes Neurais Artificiais
Jorge M. Barreto
Laborat´rio de Conexionismo e Ciˆncias Cognitivas o e UFSC -Departamento de Inform´tica e de Estat´ a ıstica 88040-900 - Florian´polis - SC o

e-mail: barreto@inf.ufsc.br

4/2002 Uma vers˜o preliminar deste texto foi apresentada na Escola de Computa¸ao da Regi˜o a c˜ a Sul em 1997

1

Redes Neurais Artificiais

2

Sum´rio a
1 Redes Neurais e Inteligˆncia Artificial e 1.1 Alguns Fatos Hist´ricos das Redes Neurais . . . . . . . . . . . . . . . . . . . . . . o 1.2 Que Esperar da IAC? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Fundamentos Biol´gicos o 2.1 O Sistema Nervoso . . . . . . . . . . . . 2.2 Descobrimento de Neurˆnio . . . . . . . o 2.2.1 Organiza¸ao geral . . . . . . . . c˜ 2.2.2 Potencial de A¸˜o . . . . . . . . ca 2.2.3 Transmiss˜o da Informa¸ao entre a c˜ 3 Vocabul´rio B´sico a a 3.1 Modelos de Neurˆnios . . . . . . . o 3.1.1 Modelo de McCulloch-Pitts 3.1.2 Modelo Geral de Neurˆnio . o 3.2 Caracteriza¸˜o de RNA . . . . . . ca 4 Topologias das RNAs 4.1 Redes diretas (Feedforward) 4.2 Redes com ciclos . . . . . . 4.3 Redes sim´tricas . . . . . . e 4.4 O que as RNAs n˜o s˜o! . . a a 6 6 7 10 11 11 11 12 13 13 13 14 14 16 17 19 20 21 22 22 23 23 23 24 24 24 25 27 28 29 29 30 30

. . . . . . . . . . . . . . . . . . . . . . . . Neurˆnios o

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

5 Aprendizado 5.1 Aquisi¸˜o do Conhecimento: Aprendizado . . . . . . . . . . . . ca 5.1.1 Classifica¸ao quanto ` Independˆncia de quem Aprende c˜ a e 5.1.2 Classifica¸ao Segundo Retroa¸˜o do Mundo . . . . . . . c˜ ca 5.1.3 Classifica¸ao quanto ` Finalidade do Aprendizado . . . c˜ a 5.2 Regras de Aprendizado Conexionistas . . . . . . . . . . . . . . 5.2.1 Aprendizado Hebbiano . . . . . . . . . . . . . . . . . . . 5.2.2 Regra Delta . . . . . . . . . . . . . . . . . . . . . . . . . 5.2.3 Retropropag¸ao . . . . . . . . . . . . . . . . . . . . . . . c˜ 5.2.4 Aprendendo com a Natureza . . . . . . . . . . . . . . . 5.2.5 Aprendizado Competitivo . . . . . . . . . . . . . . . . . 5.2.6 Aprendizado Refor¸ado . . . . . . . . . . . . . . . . . . c 5.2.7 Aprendizado Aleat´rio . . . . . . . . . . . . . . . . . . . o 5.2.8 Aprendizado Evolutivo . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

Redes Neurais Artificiais 6 M´quina de Resolver Problemas a 6.1 Tipos de Computadores . . . . . . . . . . . . . . . . . . 6.2 Teoria de Problemas . . . . . . . . . . . . . . . . . . . . 6.3 O Computador na Resolu¸ao de Problemas . . . . . . . c˜ 6.4 Equivalˆncia de Computabilidade . . . . . . . . . . . . . e 6.5 Pontos de D´vida . . . . . . . . . . . . . . . . . . . . . . u 6.6 N˜o Equivalˆncia de Complexidade . . . . . . . . . . . . a e 6.7 Alguns Resultados Sobre Complexidade de RNA . . . . 6.8 Aprendizado de RNA como Paradigma de Programa¸ao c˜ 6.9 Um Pouco de Fic¸ao . . . . . . . . . . . . . . . . . . . . c˜ 7 Aplica¸oes das RNAs c˜ 7.1 Reconhecimento de Padr˜es . . . . . . . . . . . . . . . o 7.1.1 Em que Consiste o Reconhecimento de Padr˜es o 7.1.2 Reconhecimento de Padr˜es como Classificador o 7.1.3 Principais Aplica¸oes . . . . . . . . . . . . . . . c˜ 7.1.4 Reconhecimento de Caracteres . . . . . . . . . 7.1.5 Reconhecimento de Faces . . . . . . . . . . . . 7.2 Sistemas Especialistas Conexionistas . . . . . . . . . . 7.2.1 SE Conexionistas . . . . . . . . . . . . . . . . . 7.2.2 SE usando Redes Diretas . . . . . . . . . . . . 7.2.3 SE implementados com BAM . . . . . . . . . . 7.3 Controle de Processos . . . . . . . . . . . . . . . . . . 7.3.1 Controle Neural . . . . . . . . . . . . . . . . . 7.3.2 Topologias de Controle . . . . . . . . . . . . . . 7.3.3 Malha Aberta . . . . . . . . . . . . . . . . . . . 7.3.4 Controle com Retroa¸˜o . . . . . . . . . . . . . ca 7.3.5 Modelos Internos . . . . . . . . . . . . . . . . . 7.4 S´ries Temporais . . . . . . . . . . . . . . . . . . . . . e 7.5

3 30 30 31 32 33 35 35 36 37 38 38 39 39 39 40 40 41 41 41 41 42 43 43 43 43 44 44 45 45 46 46 47 47 47 48 48

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

Monitoramento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8 Implementa¸˜o ca 8.1 Simula¸ao de RNA . . . . . . . . . . . . . . . . . . c˜ 8.2 Implementa¸˜es por Circuitos . . . . . . . . . . . . co 8.2.1 Implementa¸ao da Sin´pse . . . . . . . . . . c˜ a 8.2.2 Implementa¸ao do Neurˆnio . . . . . . . . . c˜ o 8.2.3 Implementa¸ao do Aprendizado . . . . . . . c˜ 8.2.4 Implementa¸oes Digitais versus Anal´gicas c˜ o

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

Redes Neurais Artificiais 9 Ep´ ılogo Referˆncias bibliogr´ficas e a

4 49 51

Redes Neurais Artificiais .

5

Redes Neurais Artificiais J. M. Barreto
Resumo

Redes neurais artificiais podem ser consideradas como metodologia de resolver problemas caracter´ ısticos da inteligˆncia artificial. Ap´s apresenta¸˜o e o ca de alguns fatos hist´ricos e dos fundamentos biol´gicos s˜o apresentados os o o a conceitos de neurˆnio e rede neural artificial. Sendo a capacidade de apreno der por exemplos a grande motivadora do uso de redes neurais, os principais paradigmas de aprendizado s˜o apresentados. Segue-se uma compara¸˜o das a ca possibilidades destas redes na resolu¸˜o de problemas dando-se uma vis˜o de ca a computabilidade e complexidade em termos de redes neurais. Finalmente s˜o a apresentadas alguns campos de aplica¸˜o e como s˜o atualmente estas redes ca a implementadas.

Redes Neurais Artificiais

6

1

Redes Neurais e Inteligˆncia Artificial e

Pode-se dizer que redes neurais artificiais consistem em um modo de abordar a solu¸˜o de probleca mas de inteligˆncia artificial. Neste caso, em lugar de tentar programar um computador digital e de modo a fazˆ-lo imitar um comportamento inteligente (saber jogar xadrez, compreender e e manter um di´logo, traduzir l´ a ınguas estrangeiras, resolver problemas de matem´tica tais como a se encontram nos primeiros anos dos cursos de engenharia, etc.) procura-se construir um computador que tenha circuitos modelando os circuitos cerebrais e espera-se ver um comportamento inteligente emergindo, aprendendo novas tarefas, errando, fazendo generaliza¸˜es e descobertas, co e frequentemente ultrapassando seu professor. Da mesma forma, estes circuitos neurais artificiais poder˜o se auto-organizar, quando apresentados a ambientes diversos, criando suas pr´prias a o representa¸˜es internas e apresentar comportamentos imprevis´ co ıveis. E, melhor ainda, (ou pior) ter um comportamento que nem sempre pode-se prever e compreender, tal como hoje n˜o a compreendemos mecanismos do nosso pr´prio c´rebro. o e Fic¸˜o cient´ ca ıfica? N˜o! Trata-se sim de nova tecnologia que depois de um tempo de latˆncia, a e emerge encontrando aplica¸˜es concretas, algumas das quais ser˜o mencionadas mais adiante. co a

1.1

Alguns Fatos Hist´ricos das Redes Neurais o

O primeiro esfor¸o conjunto para estudar inteligˆncia artificial (IA) foi o encontro no “Darthc e mouth College”, em 1956. No livro publicado a seguir [83] com o t´ itulo de “Automata Studies”, o primeiro artigo tratava de redes neurais como um paradigma da arquitetura computacional¿ Pode-se dizer que a´ nasceram simultaneamente os dois paradigmas da inteligˆncia artificial: ı e simb´lica e conexionista. o Na IAS (Inteligˆncia Artificial Simb´lica), o comportamento inteligente global ´ simulado, e o e sem considerar os mecanismos respons´veis por este comportamento. Na IAC (Inteligˆncia a e Artificial Conexionista) acredita-se que construindo m´quina que imite a estrutura do c´rebro a e ela apresentar´ inteligˆncia. Progressivamente as duas correntes para IA separaram-se, e as a e pesquisas em redes neurais (corrente conexionista) andaram lentamente enquanto a corrente da manipula¸˜o simb´lica se acelerou. ca o ´ E interessante notar que um motivo para esta separa¸˜o foi o livro de Minsky & Papert [71]. ca Este livro, entretanto, constitui um dos primeiros estudos sobre a complexidade do problema e a correspondente capacidade das redes neurais para resolve-lo: “uma perceptron de uma unica ´ camada ´ incapaz de resolver o problemas linearmente n˜o separ´veis”. Possivelmente admine a a istradores dos USA, respons´veis por distribuir fundos de pesquisa conclu´ a iram que o assunto n˜o era interessante e cortaram os investimentos em redes neurais. Os anos que seguiram o a encontro Darthmouth foram anos de grande otimismo e o trabalho feito estava centralizado principalmente em pesquisas de laborat´rio. Entretanto, o progresso em muitos destes camo pos caminhava lentamente. Um exemplo estava no campo da tradu¸˜o autom´tica, onde os ca a

Redes Neurais Artificiais

7

problemas apresentavam-se muito mais complexos que o esperado. Por outro lado, muito se estava aprendendo sobre linguagens adequadas para pesquisar em IA! Entretanto, ´ necess´rio e a n˜o esquecer que em alguns outros campos de aplica¸˜o a IA obteve sucesso, e que esses seus a ca m´ritos n˜o s˜o mais considerados como pertencentes a IA. Como exemplos, temos o xadrez e a a (sendo considerado agora como um jogo, e n˜o como um desafio) e fazer matem´tica simb´lica, a a o onde diversos programas comerciais fazem nos esquecer que s˜o resultado de t´cnicas de IA. a e

1.2

Que Esperar da IAC?

A IAS j´ deu muitos frutos, alguns atualmente t˜o populares que nem s˜o mais considerados a a a como produtos da IA. Exemplos s˜o: jogo de xadrez, sistemas especialistas que fazem apoio ` a a decis˜o m´dica, programas de matem´tica simb´lica, etc. a e a o E a IAC? Pode-se dizer que se espera da IAC uma performance melhor que a da IAS em problemas mal definidos, onde falta o conhecimento expl´ ıcito de como realizar uma tarefa. Nestes o conhecimento ´ dado atrav´s de exemplos. Alem disso, caracter´ e e ısticas encontradas nos seres vivos s˜o esperadas e dificuldades em realizar tarefas de natureza intr´ a ınsicamente algor´ ıtmicas. As principais caracter´ ısticas s˜o: a • Degrada¸˜o progressiva e qualidade. Significa que a performance de um sistema ca baseado na IAC diminue lenta e monotonicamente em presen¸a de informa¸˜es falsas ou c co ausentes. Para ilustrar a id´ia, tome-se a pesquisa em uma base de dados em que se deseje e obter o nome de um artigo que seja do interesse de um certo leitor caracterizado por seu perfil de interesse. Usando t´cnicas conexionistas, na falta de um documento satisfazendo e aos requisitos da busca, um mais pr´ximo ser´ escolhido. o a ´ • Racioc´ ınio por Default. E outra propriedade intr´ ınseca de RNA, coisa que requer bastante esfor¸o se for usada a IAS. c • Generaliza¸˜o. Uma vez uma rede aprendendo um conceito ela ´ capaz de funcionar com ca e conceitos similares que n˜o foram aprendidos e isto sem esfor¸o suplementar. Roisenberg a c [76], [77] estuda no caso de interceptar um objeto voador esta capacidade.

• Racioc´ ınio impreciso. Mas, o mais importante ´ o racioc´ e ınio impreciso, que pode ser tratado na IAS pela a l´gica nebulosa. o Em resumo, a IAC se baseia no seguinte princ´ ıpio: Princ´ ıpio 1 Princ´ ıpio da R´plica: Se for constru´ um modelo suficientemente preciso do e ıdo c´rebro, este modelo apresentar´ um comportamento inteligente. Se apenas uma pequena parte e a do c´rebro for reproduzida, a fun¸˜o exercida por esta parte emergir´ do modelo. e ca a

Redes Neurais Artificiais

8

Atualmente as duas abordagens est˜o cada vez mais sendo usadas juntamente, e `s duas se a a junta ainda uma outra fam´ de abordagens: as inspiradas na evolu¸˜o biol´gica e constituem ılia ca o 1 que ser˜o abordados no cap´tulo ??, os sistemas evolucion´rio, tamb´m chamados evolutivos a e a ı base da Inteligˆncia Artificial Evolucion´ria ou IAE. e a Tamb´m esta se baseia em um princ´ e ıpio conhecido com o nome de Sele¸˜o Natural, tirado ca dos trabalhos de Darwin [24] e que pode ser enunciado como: Princ´ ıpio 2 Princ´ ıpio da Sele¸˜o Natural: Dada uma popula¸˜o de indiv´duos vivendo em ca ca ı um determinado ambiente, os mais aptos `s condi¸˜es de vida oferecidas, tem mais probabilidade a co de se reproduzir do que os menos aptos. Desta forma, com o correr do tempo e ap´s gera¸˜es o co sucessivas a popula¸˜o tende a ficar cada vez mais adaptada ao ambiente. ca Este paradigma permite a resolu¸˜o de problemas ser feita considerando v´rias solu¸˜es ca a co poss´ ıveis como os indiv´ ıduos da popula¸˜o e o problema a resolver como o ambiente. A adapta¸˜o ca ca seria ent˜o a qualidade da solu¸˜o permitindo considera¸˜es sobre o qu˜o “inteligente” seria a a ca co a solu¸˜o comparada com as demais [31]. ca Com o que foi dito ´ poss´ dividir as fases da hist´ria da IA2 com nos seguintes per´ e ıvel o ıodos [9]: ´ 1. Epoca pr´-hist´rica (Nesta ´poca nada se conhecia sobre os mecanismos da mente, nem e o e sob o prisma fisiol´gico nem psicol´gico e por esta raz˜o vai at´ 1875 quando Camillo Golgi o o a e visualizou o neurˆnio.) o Objetivo: Criar seres e mecanismos apresentando comportamento inteligente. Metodologia e Conquistas: Mecanismos usando mecˆnica de precis˜o desenvolvida nos a a autˆmatos, mecanismos baseados em teares, etc. Apelo ao sobrenatural. o Limita¸oes: Complexidade dos mecanismos, dificuldades de constru¸˜o. Insucesso dos c˜ ca apelos ao sobrenatural. ´ ´ 2. Epoca Antiga (1875-1943) (Epoca em que a L´gica formal apareceu (Russel, G¨del, o o etc) bem como se passou a reconhecer o c´rebro como ´rg˜o respons´vel pela inteligˆncia. e o a a e Hilbert imaginava um mundo paradis´ ıaco, em que tudo poderia ser axomatizado e reduzido ` L´gica. Entretanto, assim como o final do s´culo XIX viu o desmoronamento do a o e mundo Euclidiano, G¨del abalou o mundo de Hilbert com seu teorema da imcompletude o da aritm´tica. Foi a ´poca em que, tal como os fil´sofos gregos fizeram, s˜o colocadas e e o a as bases da IAS e IAC, terminando com a publica¸˜o do trabalho de McCulloch e Pitts ca modelando o neurˆnio [66]): o
Neste texto ser˜o usados indistintamente e como sinˆnimos, os dois termos evolutivo e evolucion´rio. a o a Note-se que os termos usados n˜o se referem a per´ a ıodos da hist´ria da humanidade e sim hist´ria da IA. o o Assim, o tremo “pr´-hist´ria” nada tem a ver com a ´poca em que seres humanos n˜o deixaram documentos e o e a escritos.
2 1

Redes Neurais Artificiais Objetivo: Entender a inteligˆncia humana. e

9

Metodologia e Conquistas: Estudos de psicologia e de neurofisiologia. Nascimento da psican´lise. a Limita¸oes: Grande distˆncia entre as conquistas da psicologia e da neurofisiologia. c˜ a ´ ´ 3. Epoca Romˆntica (1943-1956) (E o otimismo desordenado, que tal um j´vem rapaz a o 3 , crˆ que tudo ´ poss´ romˆntico a e e ıvel. Acaba com a reuni˜o no Darthmouth College): a Objetivo: Simular a inteligˆncia humana em situa¸˜es pr´-determinadas. e co e Metodologia e Conquistas: Inspira¸˜o na Natureza. Nascimento da Cibern´tica. Primeiros ca e mecanismos imitando funcionamento de redes de neurˆnios. Primeiros programas imo itando comportamento inteligente. Limita¸oes: Limita¸˜o das capacidades computacionais. c˜ ca ´ 4. Epoca Barroca (1956-1969) (Tudo ´ f´cil e ser´ conseguido. O livro Perceptrons [71] e a a mostra que nem tudo ´ poss´ e ıvel. Al´m disto, grandes fabricantes de computadores, intere essados em vender suas m´quinas para aplica¸˜es de escrit´rio, tiveram grande interesse a co o em desmistificar o computador que na ´poca chegou a ser chamado pelo grande p´blico e u de “c´rebro eletrˆnico”. Estes dois fatos marcaram o fim da ´poca.): e o e Objetivo: Expandir ao m´ximo as aplica¸˜es da IA tanto usando a abordagem simb´lica a co o quanto a conexionista. Metodologia e Conquistas: Perceptron. Primeiros sistemas especialistas usando a abordagem simb´lica. Grandes esperan¸as da IAS. o c Limita¸oes: Dificuldades em t´cnicas de aprendizado de redes complexas. c˜ e ´ 5. Epoca das Trevas (1969-1981) (Paraliza¸˜o de quase todas as pesquisas em IA por falta ca de verbas. Acabou quando em outubro os japoneses anunciaram seus planos para a Quinta Gera¸˜o de Computadores e em outro ambiente Hopfield publica c´lebre artigo sobr redes ca e neurais. Uma caracter´ ıstica interessante ´ que o renascimento de IA simb´lica se fez em e o ambiente de computa¸˜o e o de redes neurais em um ambiente interdisciplinar. ca Assim como a Idade M´dia da Hist´ria da humanidade viu florescer id´ias novas, esta e o e ´poca n˜o foi de total trevas. Nasceram as primeiras aplica¸˜es dos conjuntos nebulosos e a co de Zadeh [87] nascendo o controle inteligente com Mamdani [54, 64]. Alem disto os sistemas especialistas se firmaram com Shortliffe [84]) Objetivo: Encontrar para a IA aplica¸˜es pr´ticas. co a
Para satisfazer a uma minha aluna que teve a gentileza de ler e sugerir melhoras no texto, troquei “a j´vem o romantica” por rapaz “romˆntico” evitando conota¸ao machista. a c˜
3

Redes Neurais Artificiais

10

Metodologia e Conquistas: Sistemas especialistas. Aplica¸˜es principalmente em labco orat´rios. Os computadores usados principalmente para aplica¸˜es administrativas o co e num´ricas. Interesse dos fabricantes de computadores de desmistificar a m´quina e a 4. levando a pouco interesse em IA Limita¸oes: Interesses econˆmicos. c˜ o 6. Renascimento (1981-1987) (Come¸ou a corrida para IA. Os resultados obtidos nas ´pocas c e anteriores atingiram o p´ blico em geral. Sistemas especialistas se popularizaram. Primeira u conferˆncia internacional em Redes Neurais marca o final do per´ e ıodo. Note-se que redes neurais evoluiu independentemente da IA simb´lica.): o Objetivo: Renascimento da IA, simb´lica e conexionista. o Metodologia e Conquistas: Popularidade da linguagem Prolog, adotada pelos japoneses. Crescimento da importˆncia da L´gica. Prolifera¸˜o de m´quinas suportando a o ca a ferramentas para IA. Alguns poucos pesquisadores continuaram seus trabalhos em RNAs, Grossberg, Kohonen, Widrow, Hinton, etc. No final do per´ ıodo, trabalhos de Hopfield, do grupo PDP, etc., criaram condi¸˜es para a fase seguinte no que diz co respeito `s RNAs. a Limita¸oes: a IAS e a IAC evoluindo separadamente. c˜ ´ 7. Epoca Contemporˆnea (1987 - atual): (Logo no in´ do per´ a ıcio ıodo Gallant [36] publica seu c´lebre artigo sobre sistemas especialistas conexionistas. Foi o ponto de partida para a e uni˜o das duas abordagens de IA, tornando a abordagem dirigida problemas a abordagem a ´ atual. E a abordagem adotada neste trabalho. Objetivo: Alargamento das aplica¸˜es das IAs. Uso em tomografia, pesquisas em campos co de petr´leo, e bases de dados inteligentes. o Metodologia e Conquistas: Redes diretas como aproximador universal. L´gica nebuo losa usada largamente em ind´ strias para controle inteligente. Sistemas especialistas u se torna tecnologia dominada. Bons resultados em problemas mal definidos com sistemas usando hibridismo neural-nebuloso. Novo paradigma de programa¸˜o: proca grama¸˜o conexionista. ca Limita¸oes: Quem sabe???. Uma possibilidade ´ uma grande expans˜o das bases de c˜ e a dados inteligentes.

2

Fundamentos Biol´gicos o

Supondo que grande parte dos leitores deste texto n˜o est˜o mais familiarizados com conceitos a a biol´gicos em que as redes neurais se inspiram, pequena introdu¸˜o aqui ´ feita. o ca e
4

Um exemplo ´ a referˆncia ` IA como sendo “ignorˆncia atrevida”, usual a t´ e e a a ıtulo de humor.

Redes Neurais Artificiais

11

2.1 2.2

O Sistema Nervoso Descobrimento de Neurˆnio o

Um dos primeiros passos na neuroanatomia foi a descoberta do italiano Camillo Golgi em 1875 [50]. Ele encontrou um m´todo, aparentemente ao acaso, pelo qual apenas uma pequena por¸˜o e ca de neurˆnios s˜o corados durante um tempo, e essas c´lulas s˜o completamente coradas. Com o a e a esse m´todo ´ poss´ e e ıvel isolar e observar neurˆnios individuais. Golgi foi contemporˆneo de o a Santiago Ram´n y Cajal, um Espanhol, que dedicou sua vida usando o m´todo de Golgi para o e cada parte do sistema nervoso. Nesta ´poca as jun¸˜es entre neurˆnios eram desconhecidas, e co o principalmente porque o m´todo de Golgi revelou um grande n´ mero de c´lulas isoladas mas e u e sem sugerir jun¸˜es entre estas no sentido de formar uma rede. co Entretanto os estudos de Cajal apresentaram dois resultados principais. Primeiro Cajal adotou a no¸˜o de sistema nervoso, postulando sobre a comunica¸˜o entre as c´lulas pela sinapse. ca ca e A segunda foi de que a interconex˜o entre neurˆnios seria ´ altamente espec´ a o e ıfica e estruturada. Ele descreveu diversas estruturas cerebrais. Isto fez com que as pesquisas se voltassem n˜o a apenas para a estrutura dos neurˆnios mas tamb´m para o desconhecido campo das muitas o e estruturas neuronais. 2.2.1 Organiza¸˜o geral ca

O sistema nervoso juntamente com o sistema end´crino proporciona muitas das fun¸˜es de o co controle do corpo. O sistema nervoso de que o c´rebro faz parte, controla as rea¸˜es r´pidas do e co a corpo, como uma contra¸˜o muscular (fun¸˜o motora) e controla a velocidade e equilibra a taxa ca ca de secre¸˜o de muitas glˆndulas end´crinas. Partes do corpo que tˆm as fun¸˜es controladas ca a o e co pelo sistema nervoso tem tempo de resposta relativamente r´pido. O sistema end´crino, por a o outro lado, controla muitas fun¸˜es do metabolismo do corpo e sua atua¸˜o ´ mais lenta. co ca e Um neurˆnio Existem dois tipos principais o de c´lulas no c´rebro, os neurˆnios e a glia. e e o ´ comum atribuir aos neurˆnios as principais E o fun¸˜es cerebrais j´ que a fun¸˜o da glia ainda co a ca tem muito a ser descoberto. Existem aproximadamente 1011 neurˆnios (um fator de 10 ´ o e razo´vel como expectativa de erro) no c´rebro a e humano. Eles podem ser de diversos tipos. Um neurˆnio t´ o ıpico ´ apresentado na figura ao lae do. O neurˆnio tem um corpo celular chamado o soma e diversas ramifica¸˜es. As ramifica¸˜es conhecidas como dendritos, conduzem sinais das co co extremidades para o corpo celular. Existe tamb´m uma ramifica¸˜o, geralmente unica, chamada e ca ´ axˆnio, que transmite um sinal do corpo celular para suas extremidades. As extremidades do o

Redes Neurais Artificiais

12

axˆnio s˜o conectadas com dendritos de outros neurˆnios pelas sinapses . Em muitos casos, um o a o axˆnio ´ diretamente conectado com outros axˆnios ou com o corpo de outro neurˆnio. o e o o As sin´pses tem um papel fundamental na memoriza¸˜o da informa¸˜o e s˜o principalmente a ca ca a as do c´rtex cerebral e algumas vezes de partes mais profundas do c´rebro que armazenam esta o e informa¸˜o. Pode-se imaginar que em cada sin´pse, a quantidade de neurotransmissores que ca a podem ser liberados para uma mesma frequˆncia de pulsos do axˆnio representa a informa¸˜o e o ca armazenada nesta sin´pse. a Ora, pode-se imaginar, que seguindo um princ´ ıpio frequentemente v´lido em biologia, o de a que o uso de um ´rg˜o favorece seu desenvolvimento, que cada vez que uma sin´pse ´ ativada e o a a e encontra ativado ou consegue ativar outro neurˆnio o n´mero de neurotransmissores liberados o u aumenta na pr´xima vez que o neurˆnio for ativado. Isto representa um aumento da conex˜o o o a entre os dois neurˆnios. Este processo chama-se facilita¸˜o. Um neurˆnio tem de 1000 a 10000 o ca o sin´pses e pode receber informa¸˜o de perto de 1000 outros neurˆnios. a ca o O mecanismo de facilita¸˜o inspirou a conhecida Lei de Hebb: A intensidade de uma conex˜o ca a sin´ptica entre dois neurˆnios aumenta quando os dois neurˆnios est˜o excitados simultaneaa o o a mente. Note- se que a Lei de Hebb ´ b´sica de muitos algoritmos de aprendizagem de RNA. e a 2.2.2 Potencial de A¸˜o ca

Existe dentro e fora da c´lulas concentra¸˜es diferentes de N a+ e K − que provocam um ponto e co de equil´ ıbrio de -85 milivolts, o interior da c´lula negativo com rela¸˜o ao exterior. Qualquer e ca perturba¸˜o da membrana do neurˆnio provoca uma s´rie de modifica¸˜es que desaparecem ca o e co tamb´m rapidamente, e durante as quais o potencial se torna positivo durante um curto espa¸o e c de tempo. A esta onda de varia¸˜o de tens˜o chama-se potencial de a¸˜o. ca a ca A forma¸˜o de um potencial de a¸˜o pode ser causado por uma estimula¸˜o el´trica, qu´ ca ca ca e ımica, calor, etc. Um est´ ımulo tem por efeito a destrui¸˜o das propriedades diel´tricas da membrana, ca e em particular as permeabilidades tanto ao s´dio como ao pot´ssio, que s˜o aumentadas pero a a mitindo a difus˜o destes ions atrav´s da membrana. Ap´s um certo tempo as coisas voltam ao a e o normal devido a mecanismos de transporte ativo (transporte de mol´culas atrav´s da membrana e e celular contra o gradiente de concentra¸˜o e com uso de energia). Esta fase chama-se repolarca iza¸˜o. Logo ap´s a repolariza¸˜o a membrana passa por um per´ ca o ca ıodo de tempo durante o qual ela n˜o ´ mais sens´vel a outras perturba¸˜es e que se chama per´odo refrat´rio. a e ı co ı a Este per´ ıodo refrat´rio tem papel preponderante na transmiss˜o de pulsos el´tricos no axˆnio. a a e o Suponha que por uma raz˜o qualquer apare¸a no axˆnio, perto do soma uma perturba¸˜o a c o ca provocando um potencial de a¸˜o. Ele age com rela¸˜o ao trecho do axˆnio um pouco mais ca ca o longe do soma como uma perturba¸˜o, provocando o aparecimento de novo potencial de a¸˜o um ca ca pouco mais longe e assim por diante at´ a regi˜o junto ` sinapse onde o potencial de a¸˜o tem por e a a ca efeito liberar mol´culas de neurotransmissores. Estes neurotransmissores liberados se difundem e no espa¸o entre neurˆnios indo se colar na membrana de um outro neurˆnio, provocando uma c o o

Redes Neurais Artificiais perturba¸˜o de membrana do outro neurˆnio, e o fenˆmeno continua. ca o o 2.2.3 Transmiss˜o da Informa¸˜o entre Neurˆnios a ca o

13

Quando o potencial de a¸˜o se propaga pelo axˆnio, chega a uma de suas termina¸˜es. A´ ele ca o co ı provoca modifica¸˜es na membrana destas termina¸˜es, as sin´pses. Isto permite a libera¸˜o co co a ca de mol´culas, de v´rios tipos com o nome gen´rico de neurotransmissores que se difundem no e a e espa¸o entre o terminal do axˆnio e um outro neurˆnio, geralmente o terminal de um dendrito. c o o Mol´culas de neurotransmissor ao se colar ao dendrito provocam uma modifica¸˜o na membrana e ca deste que acaba, algumas vezes, provocando um potencial de a¸˜o, outras vezes, dificultando ca seu aparecimento. Este potencial de a¸˜o, se criado, se propaga at´ o soma do neurˆnio que ca e o recebeu o sinal alterando sua frequˆncia de disparo. e Pode-se dizer portanto que a transmiss˜o de informa¸˜o entre neurˆnios depende do tipo de a ca o neurotransmissor e de sua abundˆncia no terminal sin´ptico e da sensibilidade da membrana a a dendr´ ıtica ` excita¸˜es. Desta forma modificando a intensidade com que um neurˆnio ´ capaz de a co o e excitar (ou inibir) um outro neurˆnio, depende de caracter´ o ısticas sin´pticas, e s˜o estes valores de a a conex˜es que globalmente s˜o respons´veis pelo comportamento da rede de neurˆnios. Mudando o a a o valores destas conex˜es muda-se o comportamento da rede. E estas mudan¸as de comportamento o c representam um aprendizado da rede. Como o comportamento de uma rede neural depende diretamente dos valores de suas conex˜es o sin´pticas, o estudo de redes neurais tem tamb´m o nome de Conexionismo. a e

3

Vocabul´rio B´sico a a

A terminologia usada em redes neurais artificiais apresenta varia¸˜es, principalmente em textos co em portuguˆs. Neste trabalho usa-se a terminologia da Teoria de Sistemas tal como apresentada e em [8].

3.1

Modelos de Neurˆnios o

A constru¸˜o de redes neurais artificiais (RNAs) tem inspira¸˜o nos neurˆnios biol´gicos e nos ca ca o o sistemas nervosos. Entretanto, ´ importante compreender que atualmente as RNAs est˜o muito e a distantes das redes neurais naturais (RNNs) e freq¨ entemente as semelhan¸as s˜o m´ u c a ınimas. Se ´ verdade que o primeiro modelo de neurˆnio, proposto por McCulloch e Pitts em 1943 e o [66] ´ tamb´m um modelo simples, cabe ressaltar que a inten¸˜o era de imitar a realidade e e ca biol´gica, preocupa¸˜o n˜o compartilhada pelos muitos pesquisadores atuais. De fato, dois o ca a fatores diferentes motivam a pesquisa hoje em dia: • O primeiro ´ modelar o sistema nervoso com suficiente precis˜o de tal modo a poder e a observar um comportamento emergente que sendo semelhante ao comportamento do ser

Redes Neurais Artificiais vivo modelado, possa servir de apoio `s hip´teses usadas na modelagem. a o • O segundo ´ construir computadores com um alto grau de paralelismo. e

14

O trabalho na modelagem do sistema nervoso come¸ou h´ um s´culo aproximadamente. c a e Depois do trabalho de McCulloch and Pitts [66], Hebb [43], e Rosenblatt [78], muitos cientistas se interessaram pelo campo. O desejo de construir neurocomputadores ´ mais recente [44]. e 3.1.1 Modelo de McCulloch-Pitts

Warren S. McCulloch era um fisiologista e conhecendo as ondas de potencial de membrana ele interpretou o funcionamento do neurˆnio como sendo um circuito bin´rio. Seu modelo [65] ´ o a e portanto bin´rio e ´ apresentado na figura 1. a e
excitação u1 excitação u2 excitação u
i

w1 w
2

Neurônio

wi



D

1

resposta y

excitação un

wn

Figura 1: Modelo de McCulloch e Pitts A entrada do neurˆnio ´ tamb´m bin´ria e as v´rias entradas s˜o combinadas por uma soma o e e a a a ponderada, produzindo a entrada efetiva do neurˆnio: o
n

entrada ef etiva =
1

ωi ui

(1)

O resultado na entrada efetiva sofre um retardo D (algumas vˆzes este retardo ´ desprezado e e tendo-se um neurˆnio est´tico) e serve de argumento a uma fun¸˜o chamada de fun¸˜o de o a ca ca transferˆncia (neste caso de sa´ bin´ria {0 1} para dar a resposta do neurˆnio. e ıda a o 3.1.2 Modelo Geral de Neurˆnio o

O modelo geral de neurˆnio ´ mostrado na figura 2, sendo uma generaliza¸˜o do modelo de o e ca McCulloch e Pitts. Neste modelo as entradas wi ui s˜o combinadas usando uma fun¸˜o Φ, para produzir um a ca estado de ativa¸˜o do neurˆnio que atrav´s da fun¸˜o η vai produzir a sa´ do neurˆnio (corca o e ca ıda o respondente ` freq¨ˆncia de descarga do neurˆnio biol´gico). Um valor auxiliar θ ´ geralmente a ue o o e usado para representar uma polariza¸˜o, valor abaixo do qual a sa´ ´ nula. ca ıda e

Redes Neurais Artificiais

15

u1 u2 u3
• • • •

w1 w2 w3 wn
• • • •

Φ

x

y

un

θ

Figura 2: Neurˆnio artificial o Note-se que isso poderia tamb´m ser obtido por escolha adequada da fun¸˜o η, mas seria mais e ca dif´ de trabalhar. Note-se ainda que as conex˜es sin´pticas s˜o consideradas como externas ao ıcil o a a modelo do neurˆnio, tal como ocorre no sistema nervoso biol´gico e n˜o como fazendo parte do o o a neurˆnio, como usado por alguns autores. Se este detalhe pode ter pouca importˆncia aparente o a no estudo de uma RNA, proporciona a possibilidade de interpretar a matriz de conex˜es, chamao da matriz de conectividade como a matriz de pesos de um grafo, o grafo representativo da rede neural. Geralmente Φ ´ a soma das entradas. Algumas vezes o produto. Raramente uma outra e fun¸˜o, se bem que isto seja poss´ ca ıvel. Geralmente costuma-se dar o nome confluˆncia ` combie a na¸˜o ponderada das entradas de um neurˆnio. A n˜o linearidade do neurˆnio frequentemente ca o a o ´ introduzida na fun¸˜o tangente hiperb´lica,, em degr´us. A Figura 3 mostra algumas fun¸˜es e ca o a co comumente usadas.

f(x)

f(x) v +a

f(x)

v

x u u

x -a

x

Figura 3: N˜o linearidades frequentemente usadas no modelo de neurˆnios de uma RNA. a o O neurˆnio formal ´ um sistema dinˆmico por ter mem´ria materializada pelo retardo (ou o e a o equa¸˜o diferencial). Um neurˆnio ´ est´tico quando o valor de x e de y se referem ao mesmo ca o e a instante que as excita¸˜es ou seja, o retardo ´ nulo. O neurˆnio ´ dito dinˆmico se para o c´lculo co e o e a a de x em um determinado instante ´ necess´rio o conhecimento de x em um instante anterior no e a

Redes Neurais Artificiais

16

caso do neurˆnio ser a tempo discreto. o Por esta defini¸˜o nota-se que o modelo de neurˆnio proposto por McCulloch e Pitts ´ um ca o e sistema dinˆmico se o retardo D n˜o for nulo. a a

3.2

Caracteriza¸˜o de RNA ca

Informalmente uma rede neural artificial (RNA) ´ um sistema composto por v´rios neurˆnios. e a o Estes neurˆnios est˜o ligados por conex˜es, chamadas conex˜es sin´pticas. Alguns neurˆnios reo a o o a o cebem excita¸˜es do exterior e s˜o chamados neurˆnios de entrada e correspondem aos neurˆnios co a o o dos ´rg˜os dos sentidos. Outros tˆm suas respostas usadas para alterar, de alguma forma, o o a e mundo exterior e s˜o chamados neurˆnios de sa´da e correspondem aos motoneurˆnios que s˜o a o ı o a os neurˆnios biol´gicos que excitam os m´ sculos. Os neurˆnios que n˜o s˜o nem entrada nem o o u o a a sa´ s˜o conhecidos como neurˆnios internos. Estes neurˆnios internos ` rede tem grande ıda a o o a importˆncia e s˜o conhecidos na literatura saxˆnica como “hidden” fazendo com que alguns a a o traduzam como “escondidos”. Os neurˆnios internos s˜o importantes por v´rios aspectos: o a a • Importˆncia biol´gica: Por corresponder a uma atividade do sistema nervoso que pode a o apresentar uma independˆncia de excita¸˜es externas. Com efeito, se entre estes neurˆnios e co o houver liga¸˜es formando ciclos, e considerando ainda um certo tempo de resposta de um co neurˆnio, ap´s cessar toda excita¸˜o exterior pode haver nestes neurˆnios internos uma o o ca o evolu¸˜o de um vetor representativo da excita¸˜o destes neurˆnios. Esta excita¸˜o pode ca ca o ca provocar uma evolu¸˜o durante um tempo relativamente longo e pode ser interpretada ca como uma met´fora da mente, onde pensamentos vˆm e voltam, sem est´ a e ımulo exterior. • Importˆncia matem´tica: Desde que se provou que sem estes neurˆnios ´ imposs´ a a o e ıvel uma RNA resolver problemas classificados como linearmente n˜o separ´veis. a a Para caracterizar uma RNA ´ importante especificar os seguintes pontos5 : e • Os componentes da rede: os neurˆnios: ex; est´ticos? dinˆmicos? o a a • A resposta de cada neurˆnio: dicotˆmica? intervalo dos reais? o o • O estado global de ativa¸˜o da rede: vetor cujas componentes s˜o as ativa¸˜es dos ca a co neurˆnios? o • A conectividade da rede dada pelos valores de conex˜es sin´pticas: que define a o a topologia da rede. • Como se propaga a atividade da rede: s´ ıncrona? ass´ ıncrona?
5

Inspirado em Rumelhart & al. [80].

Redes Neurais Artificiais • Como se estabelece a conectividade da rede: aprendizado. • O ambiente externo ` rede: est´tico? dinˆmico? aleat´rio? determin´ a a a o ıstico? • Como o conhecimento ´ representado na rede: localizado? distribuido? e

17

4

Topologias das RNAs

De forma a definir as Redes Neurais Artificiais n´s poderiamos, em princ´ o iıpio, estabelecer (e provar) um teorema mostrando que elas se constituem em sistemas dinˆmicos, da mesma forma a que foi feito para os neurˆnios. Todavia, um problema surgiria aqui: nada seria dito acerca o dos pesos das conex˜es entre os diferentes neurˆnios da rede. Uma outra abordagem seria a de o o considerar uma rede neural como um sistema dinˆmico complexo, onde: a Defini¸˜o 1 Um sistema dinˆmico complexo ´ uma rede de sistemas interconectados. ca a e Da defini¸˜o apresentada decorre que um sistema complexo pode ser representado por um ca grafo direcionado ou d´ ıgrafo, onde os v´rtices representam os sistemas componentes (subsise temas) e os arcos as intera¸˜es entre subsistemas. co Esta ser´ a abordagem utilizada aqui. No entanto, antes de desenvover estes conceitos, faza se necess´rio apresentar alguns conceitos de Teoria de Grafos. Estes conceitos s˜o baseados a a naqueles apresentados por Harary [41]. ´ Nota: E importante observar que, considerando que, em princ´ ıpio, qualquer d´ ıgrafo possa dar lugar a uma topologia de RNA, esta abordagem vem sendo utilizada em textos surgidos nos ultimos anos, como por exemplo [42], [52] entre outros. No entanto, De Azevedo [25] ´ utilizou esta abordagem ainda em 1993. Defini¸˜o 2 Um Grafo G consiste de um conjunto n˜o vazio finito de v´rtices V = vi juntaca a e mente com um conjunto n˜o ordenado de arcos A conectando certos pares de v´rtices. Cada par a e vi , vj de v´rtices em V ´ um arc0 de G, e o par vi , vj ´ dito “juntar” vi e vj . e e e Defini¸˜o 3 Um Grafo G ´ Rotulado quando os p v´rtices s˜o distingu´ ca e e a ıveis uns dos outros por nomes ou r´tulos. o Defini¸˜o 4 Um Grafo G ´ Arco Rotulado quando tamb´m os arcos s˜o distingu´veis um dos ca e e a ı outros por nomes ou r´tulos. o Tendo estabelecido o que siginifica “Grafo”, no nosso contexto, n´s estamos prontos para o definir as Redes Neurais Artifciais. Defini¸˜o 5 Uma Rede Neural Artificial, RN A, ´ um Sistema Dinˆmico Complexo represenca e a tado por um grafo arco rotulado em que cada v´rtice ´ um Neurˆnio Artificial N A. e e o

Redes Neurais Artificiais

18

Nesta defini¸˜o, r´tulos s˜o, naturalmente, valores num´ricos. Eles correspondem aos valores ca o a e das conex˜es entre os diferentes neurˆnios. Todavia, eles podem ser interpretados, tamb´m, o o e como os valores “fuzzy” entre as conex˜es. Neste caso, eles devem pertencer a um conjunto, o que na maioria dos casos, ´ o conjunto [0, 1] 6 . Ambas interpreta¸˜es s˜o v´lidas para nossos e co a a prop´sitos. Todavia, se n´s escolhermos a segunda interpreta¸˜o n´s poder´ o o ca o ıamos repensar a defini¸˜o de Grafos e, por conseq¨ˆncia, a de Redes Neurais, conforme segue: ca ue Defini¸˜o 6 Um Grafo Nebuloso ´ um Grafo Arco Rotulado onde os r´tulos s˜o valores de um ca e o a conjunto nebuloso. Defini¸˜o 7 Uma Rede Neural Nebulosa ´ ou: ca e • uma rede neural representada por um grafo nebuloso iu • uma rede neural contendo ao mnenos um neurˆnio nebuloso. o

Tendo estabelecido defini¸˜es precisas para Redes Neurais e Redes Neurais “Fuzzy” n´s co o podemos definir diferentes tipos de redes. Isto ´ feito atrav´s de escolhas particulares dos e e conjuntos e fun¸˜es envolvidas na defini¸˜o de Redes Neurais como Sistemas Dinˆmicos. Temco ca a se, por conseguinte: Defini¸˜o 8 Uma Rede Neural Cont´ ca ınua no Tempo ´ uma rede neural definida em um subcone junto cont´nuo do eixo do tempo T = . ı Defini¸˜o 9 Uma Rede Neural Discreta no Tempo ´ uma rede neural definida em um subconca e junto discreto do eixo do tempo T = Z. Defini¸˜o 10 Uma Rede Neural Invariante no Tempo ou Rede Neural Estacion´ria ´ uma rede ca a e neural em que a fun¸˜o de transi¸˜o Φ depende de um ´nico elemento de T e a fun¸˜o de sa´da ca ca u ca ı λ ´ independente de T . e Neste trabalho n´s consideramos ambos os tipos de redes, cont´ o ınuas e discretas. Todavia, todas s˜o invariantes no tempo para permitir uma f´cil tratabilidade matem´tica. a a a Aqui uma quest˜o surge. Relembremos a defini¸˜o de “automatum”. Seguindo esta defini¸˜o a ca ca um “automatum” ´ um sistema dinˆmico discreto e invariante no tempo. A quest˜o que surge e a a ´: Pertencem as RNA ` classe dos “automata” ? e a
6

Outros intervalos de valores podem ser, tamb´m, considerados para conjuntos “fuzzy”. e

Redes Neurais Artificiais

19

Ali´s, esta quest˜o ´ muito importante posto que os Computadores baseados em Instru¸˜o a a e ca 7 est˜o intrinsecamente ligados a Teoria de “Automata”. A resposta ´ afirmativa. Pode ser (CBI) a e claramente provado que qualquer rede neural discreta e invariante no tempo ´ um “automatum”. e Este resultado permite que o formalismo que ´ usado para representar RNA e Computadores e baseados em Redes Neurais (CBRN) seja o mesmo daquele usado para representar CBI’s. Este fato torna mais f´cil o estudo da integra¸˜o das duas abordagens quando do desenvolvimento a ca de computadores h´ ıbridos. Nesta dire¸˜o, um resultado surpreendente ´ que qualquer “automatum” finito pode ser, ca e essencialmente, substitu´do por uma RNA. A prova deste estabelecimento foi feita por McCulloch ı e Pitts [66]. Arbib apresentou, em [3], uma prova mais did´tica. A partir destes resultados ´ a e f´cil mostrar as capacidades das RNA para mem´ria e computa¸˜o. a o ca At´ agora n´s propusemos defini¸˜es matem´ticas para NA’s e RNA’s. Estas defini¸˜es e o co a co permitem o estudo de diferentes tipos particulares de RNA’s como sistemas dinˆmicos. A a abordagem dinˆmica para RNA serve como um guia para o estudo da capacidade de mem´ria e a o para formular id´ias no sentido de uma Teoria da Computabilidade adaptada a RNA. A seguir e ser˜o apresentadas as topologias de RNA’s que podem ser derivados de nossos modelos formais. a Nota: Faz-se necess´rio dizer que algumas topologias particulares receberam maior aten¸˜o dos a ca pesquisadores e s˜o conhecidas com nomes espec´ a ıficos.

4.1

Redes diretas (Feedforward)

Defini¸˜o 11 Redes Diretas (“Feedforward”) s˜o aquelas cujo grafo n˜o tem ciclos. ca a a Freq¨ entemente ´ comum representar estas redes em camadas e, neste caso, s˜o chamadas u e a redes em camadas. Neurˆnios que recebem sinais de excita¸˜o s˜o chamados da camada de o ca a entrada, ou primeira camada. Neurˆnios que tˆm sua sa´ como sa´ da rede pertencem a o e ıda ıda camada de sa´ ou ultima camada. Neurˆnios que n˜o pertencem nem a camada de entrada ıda ´ o a nem a de sa´ s˜o neurˆnios internos ` rede podendo se organizar em uma ou mais camadas ıda a o a internas (“hidden layers”). A figura ?? mostra uma rede direta com 3 camadas de neurˆnios. Observe que nesta figura o os neurˆnios s˜o apresentados com os seus diversos elementos constituintes conforme a figura ??. o a Estas redes s˜o atualmente as mais populares, principalmente por existirem m´todos de aprena e dizado bastante difundidos e f´ceis de usar. Um m´todo bastante usado, mas muito ineficiente, ´ a e e o “backpropagation”. Por esta raz˜o alguns autores chegam mesmo a chamar, impropriamente, a este tipo de rede, de “backpropagation”. Al´m disto, estas redes s˜o capazes de aproximar, e a com maior ou menor precis˜o, dependendo do n´mero de neurˆnios da rede, qualquer fun¸˜o a u o ca n˜o-linear. Entretanto, mesmo no caso de usarem neurˆnios dinˆmicos (equa¸˜o diferencial de a o a ca
7

Para saber mais dos conceitos de CBI e CBRN veja [5], [10] [25], etc

Redes Neurais Artificiais

20

primeira ordem ou a uma diferen¸a finita), tˆm uma dinˆmica muito limitada n˜o podendo c e a a representar todos os sistemas dinˆmicos. a
N4 u1 N9 N1 N5 N10 u2 N2 N6 N11 u3 N3 N7 N12 N14 y2 N13 y1

N8

Figura 4: Uma rede direta com 3 camadas de conex˜es o Com efeito, seja por exemplo, uma rede s´ ıncrona de 4 camadas com neurˆnios definidos por o uma equa¸˜o contendo um retardo. Neste caso, a rede se comportar´ como um filtro n˜o-linear ca a a FIR de ordem 4, sendo sua aproxima¸˜o linear um sistema com todos os polos na origem do plano ca Z n˜o podendo aproximar convenientemente sistemas de resposta indicial de dura¸˜o infinita. a ca

4.2

Redes com ciclos

Defini¸˜o 12 Redes com ciclos (ou com realimenta¸˜o, ou com retroa¸˜o, ou com “feedback”) ca ca ca s˜o aquelas cujo grafo de conectividade cont´m, ao menos, um ciclo. a e Um exemplo bem conhecido de rede com ciclos ´ a proposta por Hopfield [47]. e Defini¸˜o 13 Redes recorrentes s˜o aquelas que, al´m de apresentarem ciclos, envolvem neurˆnios ca a e o dinˆmicos. a Por esta raz˜o McCulloch chamou-as de “networks with cycles”, ou redes com ciclos. Duas a destas redes tˆm particular importˆncia: as redes propostas por Hopfield [47, 48] e as redes e a bi-direcionais, de Kosko [58], que podem ser usadas em um dos dois principais paradigmas de sistemas especialistas: treinamento com exemplos de uma rede direta e representa¸˜o do ca conhecimento de modo localizado pelo uso de rede com ciclos, geralmente uma rede sim´trica. e Com efeito, o mais popular paradigma usado na implementa¸˜o de sistemas especialistas com ca redes neurais usa redes diretas e foi proposto por Gallant [36], existindo bastantes resultados neste dom´ ınio [37]. Baseia- se no fato de que as redes diretas s˜o aproximadores universais de a

Redes Neurais Artificiais

21

fun¸˜es. Assim, apresenta-se, na entrada da rede, os dados e ela ´, ent˜o, treinada para a sa´ co e a ıda representar o parecer do sistema especialista. O funcionamento da RNA se torna uma met´fora a de um ato reflexo que, depois de aprendido, se repete inconscientemente. E este aspecto, que ´ uma das for¸as do paradigma, pois pode ser largamente empregado, constitui-se, tamb´m, em e c e um dos seus pontos fracos, pois, tal como um ato reflexo, ´ dif´cil explicar o porquˆ do ato. e ı e Assim ´ que, com o uso das redes diretas, existem dificuldades em extrair explica¸˜es de como e co 8. o sistema chegou a uma conclus˜o a O segundo paradigma usa redes bidirecionais, caso particular das redes com ciclos, contendo neurˆnios dinˆmicos [27]. Neste caso, tanto os dados, como os poss´ o a ıveis pareceres do especialista s˜o representados pela ativa¸˜o de neurˆnios, o conhecimento sendo representado por valores das a ca o intensidades de conex˜es sin´pticas. Uma consulta ´ feita excitando neurˆnios representativos o a e o dos sintomas presentes no caso, deixando a rede evoluir at´ atingir um ponto de equil´ e ıbrio. A excita¸˜o de algum (ou alguns) neurˆnios, representando pareceres, ser´ a resposta do sistema. ca o a Este segundo paradigma ´ mais recente e ainda pouco explorado. Os principais pontos fracos e s˜o: a - ´ dif´ saber se a rede vai, ou n˜o, parar em um ponto de equil´ e ıcil a ıbrio; - o tempo correspondente ao transit´rio da rede pode ser longo. o As principais vantagens s˜o: a - Uso de representa¸˜o de conhecimento localizada, facilitando extra¸˜o de explica ca ca¸˜es; co - ausˆncia de m´todo de aprendizagem ; e e - transit´rio da rede pode ser interpretado como met´fora de racioc´ o a ınio, podendo-se esperar deste paradigma, mais do que um simples ato reflexo.

4.3

Redes sim´tricas e

Defini¸˜o 14 Uma rede sim´trica ´ aquela cuja matriz de conectividade ´ uma matriz sim´trica. ca e e e e

Trata-se de um caso particular das redes com ciclos. Com efeito, os sistemas especialistas mencionados anteriormente e que usam redes com ciclos, usam redes sim´tricas. Isto foi feito e 9. para assegurar estabilidade do transit´rio da rede o
Note-se que no artigo de Gallant [36], sugest˜es de como extrair explica¸oes s˜o apresentadas. Mas ´ dif´ o c˜ a e ıcil usar estas sugest˜es em um caso geral. o 9 Pode ser mostrado que tal caso se trata de sistema discreto em que a aproxima¸ao linear tem polos de m´dulo c˜ o menor que a unidade. Assim, conforme o teorema de Liapunov da estabilidade local [40] [39], o sistema ter´, ao a menos, um ponto de equil´ ıbrio est´vel. a
8

Redes Neurais Artificiais

22

4.4

O que as RNAs n˜o s˜o! a a

Sim, as RNAs s˜o inspiradas na redes neurais biol´gicas (RNB). Mas at´ onde esta inspira¸˜o a o e ca ´ usada? Na realidade, freq¨ entemente esta inspira¸˜o ´ muito limitada e as RNA s˜o uma e u ca e a caricatura da realidade biol´gica. o • RNN n˜o s˜o circuitos digitais. O modelo apresentado por McCulloch-Pitts [66] usava a a sinais bin´rios. O neurˆnio biol´gico expressa sua ativa¸˜o pela freq¨ˆncia que emite pulsos a o o ca ue e esta freq¨ˆncia tem uma varia¸˜o cont´ ue ca ınua entre dois valores positivos. • RNN n˜o podem ter excita¸˜o negativa. Alguns modelos usam valores de excita¸˜o a ca ca negativa. • RNN n˜o s˜o homogˆneas. As RNN n˜o possuem todos os seus neurˆnios de mesmo a a e a o tipo como nas RNA, apenas em algumas regi˜es existe uma certa uniformidade no tipo de o neurˆnios existentes nas RNN. o • RNN n˜o s˜o circuitos s´ a a ıncronos ou ass´ ıncronos. Com efeito, as RNB s˜o sistemas a a tempo cont´ ınuo, logo n˜o cabe a classifica¸˜o de s´ a ca ıncrono ou ass´ ıncrono. • Nem neurˆnios nem sinapses tem dois valores. Logo a semelhan¸a com o “spin” do o c eletron n˜o ´ v´lida [56]. a e a • Circuitos cerebrais n˜o s˜o capazes de c´lculos recursivos. Isto ´ consequˆncia a a a e e dos neurˆnios n˜o serem sistemas discretos, levando a rede a n˜o ser um autˆmato. Logo, o a a o equivalˆncia c

Comentários