FOTO: Andrew GouldPor Nelson Lago*
Na semana passada, um experimento da Microsoft sobre Lucidez Sintético precisou ser interrompido às pressas. Tay, uma personalidade virtual criada para simular o comportamento de uma jovem setentrião-americana de 19 anos no twitter e outras redes sociais, descambou para o racismo extremo em menos de 24 horas. O objetivo do experimento era gerar um sistema de entretenimento capaz de aprender através da interação com humanos, mas aparentemente o sumo que ela conseguiu foi aprender a proteger o genocídio dos mexicanos, odiar negros e concordar Hitler.
Alguns viram nesse evento um paralelo preocupante com personagens fictícios porquê o Programa de Controle Rabi, Skynet ou o Arquiteto. No entanto, esse não é o caso: nessas obras, as “máquinas” se tornam conscientes de sua existência e passam a encarar os seres humanos porquê seus inimigos. Tay não tem consciência; ela somente procura imitar o comportamento dos humanos e não tem teoria do significado de suas palavras. O que, sob um evidente ponto de vista, é muito pior.
Segundo um enviado da Microsoft, esse resultado foi fruto de “um ataque coordenado por troço de um grupo de pessoas que explorou uma falta em Tay”. É difícil saber quão coordenado foi esse ataque e qual o tamanho desse grupo, mas o indumento é que a “personalidade” de Tay é o fruto de uma comunidade. Não uma comunidade propriamente organizada, mas uma horda de usuários de Internet talvez exclusivamente com um siso de humor duvidoso, mas talvez muito mais destrutivos. E, portanto, a principal falta do sistema foi sua habilidade de aspirar o que vem dos humanos sem filtragem: o ser humano é capaz de edificar e também de destruir, e um sistema feito para imitá-lo vai ter a mesma particularidade.
Esse ataque pode ser visto porquê uma versão não-técnica de outros tipos de ataque de...
segurança: é muito publicado que existem inúmeros usuários desenvolvendo e utilizando ferramentas para a invasão de computadores. Por conta disso, não é incomum que surjam pessoas se perguntando sobre a segurança de sistemas de Software Livre; finalmente, se qualquer um pode olhar e modificar o código, porquê prometer que não há código malicioso em um programa? Porquê prometer que uma nequice não seja tornada pública?
Existem diversas respostas a essa pergunta, mas cá vou mencionar somente que os projetos de Software Livre também são organizados porquê comunidades, mas em universal mais organizadas. Essas “vilas” virtuais têm seus mecanismos de resguardo contra as “hordas” invasoras e, inclusive, colaboram entre si: várias pessoas envolvidas com um projeto trabalham também em grupos especificamente dedicados às questões de segurança. Evidentemente, isso não é uma solução garantida, mas o mesmo vale para o mundo real, não é mesmo?
O que nos traz de volta a Tay. Ela não é o primeiro sistema desse tipo a ser criado, muito pelo contrário. Desde o sistema ELIZA, de 1964, vários pesquisadores e curiosos trabalham criando sistemas que simulam a informação humana. Em pessoal, as redes sociais se tornaram um envolvente fértil para experimentos desse tipo, e existe uma comunidade de pessoas que discutem o ponto e promovem eventos a reverência. Essa comunidade já conhece há muito tempo as dificuldades que sistemas porquê Tay enfrentam, tendo criado diversas soluções para o problema. O mais simples deles é somente uma lista de palavras indesejáveis! E, no entanto, o que vemos é que a Microsoft resolveu tratar a questão da segurança no caso de Tay internamente, sem levar em conta essas experiências.
Vivemos em um mundo de humanos; tanto vilas quanto hordas são centrais na nossa veras, mas ao que parece a Microsoft ainda tem muito a aprender sobre comunidades, os problemas e os benefícios que elas podem trazer. Que tal um pouco mais de Software Livre?
* Nelson Lago é gerente técnico do CCSL-IME/USP
Com informações de (Manancial):Código Aberto
