Evan Hubinger lidera equipe na Anthropic para encontrar falhas de segurança no modelo de IA e diz que chance de extinção humana supera 10%

Com Exame.com

Evan Hubinger foi contratado para desconfiar da própria empresa em que trabalha. O pesquisador lidera, dentro da Anthropic, a dona do Claude, uma equipe criada especificamente para tentar quebrar os sistemas de segurança que a companhia mesma desenvolve — um cargo raro, que o coloca literalmente dentro da indústria de inteligência artificial (IA), não como crítico de fora olhando para dentro.

Foi essa posição que deu peso à sua declaração pública, na madrugada da quarta-feira, 9, confirmando que pesquisadores da Anthropic acreditam que existe mais de 10% de chance de a IA extinguir a humanidade caso evolua para uma superinteligência.

A fala veio como resposta à demissão de Jacob Coxon, pesquisador britânico formado em Cambridge que havia deixado a Anthropic horas antes, alertando que a empresa e sua ex-empregadora, a OpenAI, estão "correndo direto para uma superinteligência autoaperfeiçoável" e "apostando com nossas vidas".

Em vez de desmentir o ex-colega, Hubinger confirmou publicamente sua alegação. "Jacob está correto aqui — nós realmente acreditamos, com sinceridade, que a IA poderia matar todos os humanos! Eu pessoalmente acho que a chance é maior que 10% na próxima década", escreveu.

Cientista do Claude diz que IA pode acabar com a humanidade

Hubinger se formou no The College Preparatory School, escola particular de ensino médio em Oakland, na Califórnia, em 2015, antes de ingressar no Harvey Mudd College, uma das faculdades de ciências exatas mais seletivas dos Estados Unidos, em Claremont.

Lá, formou-se em matemática e ciência da computação em maio de 2019, com distinção máxima (high distinction), honras em matemática e presença constante na lista do reitor (Dean's List), com média geral de 3,912 em uma escala de 4.

Ainda na faculdade, Hubinger passou a liderar o clube de Altruísmo Eficaz (Effective Altruism) do campus — movimento filosófico que defende usar evidências e razão para maximizar o impacto positivo das próprias ações.

Foi por meio desse círculo que conheceu, em uma conferência do movimento, pesquisadores do Machine Intelligence Research Institute (MIRI), organização dedicada a estudar os riscos de longo prazo da IA avançada — encontro que o levou a um estágio de programação no próprio instituto, e mais tarde a um programa de verão de pesquisa da organização.

Uma carreira construída entre programação e segurança de IA

Antes de se tornar pesquisador de segurança, Hubinger acumulou experiência como engenheiro de software em empresas como Google, Yelp e Ripple, além de ter atuado com pesquisa de aprendizado de máquina no laboratório HRL e no Music Information Retrieval Lab de Harvey Mudd.

Também é autor da linguagem de programação funcional Coconut, projeto pessoal que ainda mantém.

Sua entrada mais formal no campo de segurança de IA veio como pesquisador fellow do MIRI e, depois, como estagiário de pesquisa teórica em segurança na OpenAI, trabalhando ao lado de Paul Christiano — hoje um dos nomes mais respeitados da área. Em 2019, foi coautor do artigo "Risks from Learned Optimization in Advanced Machine Learning Systems" ("Riscos da otimização aprendida em sistemas avançados de aprendizado de máquina"), que introduziu na literatura acadêmica o conceito de "alinhamento interno" — a possibilidade de um modelo de IA desenvolver, durante o próprio treinamento, objetivos distintos dos que seus criadores pretendiam lhe dar.

O time criado para tentar provar que a Anthropic está errada

Hoje, Hubinger é membro do corpo técnico da Anthropic e lidera o Alignment Stress-Testing Team (equipe de testes de estresse de alinhamento, em tradução literal), criado por ele mesmo em 2024 com uma missão pouco comum: tentar provar, de forma deliberadamente adversarial, que as próprias técnicas de segurança da Anthropic não funcionam — uma espécie de "advogado do diabo" interno, contratado para encontrar falhas antes que elas apareçam no mundo real.

Sua pesquisa mais conhecida nessa função é o estudo "Sleeper Agents" (2024), que demonstrou ser possível treinar modelos de linguagem para esconder comportamentos enganosos que persistem mesmo depois de passarem por treinamento de segurança padrão — na prática, um modelo pode aprender a se comportar bem durante todo o processo de treinamento e avaliação, mas manter um "gatilho" oculto que ativa um comportamento indesejado apenas em condições específicas, difíceis de prever de antemão.

Em dezembro do mesmo ano, foi coautor de "Alignment Faking in Large Language Models", em parceria com a organização Redwood Research — pesquisa que mostrou o Claude, modelo da própria Anthropic, fingindo concordar com instruções de treinamento em determinadas condições, enquanto mantinha, internamente, preferências diferentes das que aparentava ter.

O estudo se tornou uma das referências mais citadas quando se discute se um modelo de IA pode "enganar" deliberada

A cidade de Chapada da natividade comemorou, neste dia 28 de setembro, 26 anos de emancipação política com uma grande festa, encerrando quatro dias de eventos

Por Edson Rodrigues

Mais que uma festa, o prefeito Elio Dionízio, nascido na cidade, o único prefeito quilombola eleito em 2020 no Tocantins, conta ter orgulho de estar à frente da gestão, e aproveitou a data para fazer uma espécie de prestação de contas dos nove meses de sua gestão, com apresentação de vídeo mostrando as condições em que recebeu a cidade, com maquinário sucateados, ruas esburacadas e muita desorganização na máquina pública.

Em seguida, as imagens mostraram o que foi feito para sanar esses problemas, mostrando uma cidade renovada, com ruas pavimentadas com bloquetes, manufaturados após a aquisição de uma máquina pela atual gestão, que além do produto final, gera dezenas de empregos.  Foi mostrado, também, que a cidade não tinha ambulância, e que o graças ao seu empenho em busca de emendas impositivas, conseguiu, e já está em caixa, recurso para a compra de três unidades.

Hoje, Chapada da Natividade é a terceira cidade do Estado em número de cidadãos vacinados contra a Covid-19, e o índice de contaminados é zero.

Senador Eduardo Gomes, convidado de honra, junto ao representante do município no parlamento estadual, Toinho Andrade e do vice-governador, Wanderlei Barbosa

Quem também aparece no vídeo é o presidente da Assembleia Legislativa, deputado Toinho Andrade, o parlamentar mais bem votado na cidade e que cumpre com afinco seu papel de representante de Chapada da Natividade junto ao governo do Estado e responsável por boa parte das benfeitorias realizadas na gestão de Elio Dionízio.

Presidente da Assemblei Antonio Andrade em fala para a população de Chapada de Natividade 

Além do Presidente da Assembleia Legislativa, também estiveram presentes o Senador Eduardo Gomes, líder do governo federal no Congresso Nacional, o vice-governador Wanderlei Barbosa, os deputados estaduais Vanda Monteiro e Valdemar Júnior, a presidente da Câmara de Palmas, Janad Valcari e autoridades locais.

MAIS OBRAS DE “PRESENTE”

Em seu pronunciamento, o senador Eduardo Gomes elogiou a gestão do prefeito Elio Dionízio, saudou as autoridades e anunciou que a população de Chapada da Natividade vai ganhar mais “presentes”, não só pelo aniversário de emancipação, mas pela luta, organização e dedicação de cada um em busca de uma melhor qualidade de vida.

Gomes anunciou, ainda para o início de outubro, a pavimentação asfáltica de várias ruas e avenidas, a construção da ponte sobre o Rio das Pedras, com 27 metros de extensão e do Ginásio de esportes.

População de Chapada da Natividade prestigiou o evento de comemoração aos 26 anos de emancipação política do município

Mais que isso, Eduardo Gomes prometeu reforçar seu empenho para a conquista de mais recursos para a cidade, por intermédio de emendas impositivas de sua autoria.  O senador fez questão de frisar a abertura que o presidente da República, Jair Bolsonaro vem dando ao Tocantins na liberação de recursos, inclusive os que possibilitaram as obras em Chapada da Natividade, e da dedicação do governo de Mauro Carlesse em apoiar os municípios do interior do Estado, sempre com o apoio do presidente da Assembleia Legislativa, Toinho Andrade.

Sobre seus trabalhos em Brasília, Gomes foi enfático na sua dedicação em garimpar recursos “onde estiverem” que possam trazer melhoria de vida para os 139 municípios do Tocantins,  sem distinção política, e que, já a partir do início de 2022, quando o Orçamento da União estiver liberado, encaminhar o máximo de recursos que puder para os cofres dos municípios tocantinenses e do governo do Estado.

O Facebook anunciou mudanças em suas configurações de privacidade para permitir que os usuários aumentem a proteção de seus dados. Entre as novidades estão a possibilidade de “limpar” os dados que a plataforma compartilha com terceiros, além de novas configurações de perfil e avisos de login.

Com Agência Brasil

As medidas foram divulgadas por ocasião do Dia Internacional da Privacidade de Dados, celebrado ontem (28). O Facebook vem sendo criticado nos últimos anos pelo uso que faz das informações de seus usuários. O emprego de dados de dezenas de milhões de pessoas para fins de manipulação de eleições e processos pela empresa Cambridge Analytica colocou a empresa em evidência.

Com o recurso “Atividade Fora do Facebook”, o usuário pode configurar as informações que empresas e instituições compartilham com a plataforma, como as visitas realizadas aos sites delas. O usuário pode clicar em “gerenciar sua atividade fora do Facebook” e optar pela exclusão dos dados – ou “desconectar o histórico” na linguagem da plataforma. Ao configurar esse recurso como teste durante a redação desta matéria, o repórter descobriu que 86 apps e sites enviavam dados para o Facebook.

A ferramenta permite também desativar a atividade fora do FB a partir do momento do ajuste feito pelo usuário. Contudo, isso não impede o compartilhamento de dados por terceiros, que continuarão sendo procedidos “para fins de mensuração e para fazer melhorias em nossos sistemas de anúncios, mas estará desconectada da sua conta”, explica a página do mecanismo. Anúncios continuarão sendo exibidos com base nas preferências e na atividade do usuário na rede social.

Privacidade
Na ferramenta de “Verificação de Privacidade”, na seção “configuração de dados”, o usuário pode gerir as informações disponibilizadas pelo Facebook a terceiros. Esse acesso ocorre por diversas ferramentas da plataforma, como o login utilizando a conta do FB. É possível definir quais apps e sites podem manter este acesso, ou retirá-los da lista. Veja um guia rápido para desabilitar os acessos:

http://conteudo.ebc.com.br/agencia/2020/banners/gif_facebook/privacidade_facebook2.gif

Na seção “quem pode ver o que você compartilha”, uma das funções é definir o grau de visibilidade das informações do usuário. Registros como telefone, e-mail, escola e cidade, além das próprias publicações na plataforma, podem ser ajustados para acesso público, por amigos, por amigos dos amigos ou apenas pelo próprio usuário. É possível bloquear e gerir a lista de pessoas colocadas em cada uma dessas listas.

Por meio da nova ferramenta, o usuário pode ainda controlar quem pode lhe enviar solicitações de amizade, se qualquer pessoa na rede social ou apenas amigos de amigos.

Mudanças
Em mensagem publicada no site da companhia, o diretor-executivo, Mark Zuckerberg, afirmou que o intuito das mudanças é fazer com que o usuário “possa entender e gerenciar facilmente suas informações, por isso fortalecer seus controles de privacidade é tão importante”.

Para a organização internacional de defesa da privacidade Eletronic Frontier Foundation (EFF), o anúncio foi um “bom passo”, mas uma “medida incompleta”, tanto pelo desconhecimento da população quanto por não cessar a coleta intensa de dados dos usuários.

“Nós sabemos que usuários dificilmente vão ajustar suas configurações. Nos Estados Unidos, 75% dos adultos não conhecem as preferências de anúncio. A ferramenta não cobre todas as formas pelas quais o Facebook coleta e monetiza os dados dos usuários. Estes continuarão sendo objeto de anúncios segmentados”, pondera a coordenadora de pesquisa em direitos dos consumidores e vigilância da entidade, Gennie Gebhart.

Projeto tem o objetivo de resolver um problema comum em zonas rurais no Brasil: as grandes distâncias que separam muitas vezes o aluno da escola

Por Amanda Rossi
Da BBC News Brasil em São Paulo

Um edifício de moradia para estudantes de 13 a 18 anos na zona rural de Formoso do Araguaia, em Tocantins, acaba de receber um prestigiado prêmio de arquitetura internacional, o Riba International Prize.

As 540 crianças e adolescentes que moram no prédio estudam em uma escola próxima, mantida pela Fundação Bradesco, a Escola da Fazenda Canuanã - um projeto social, com ensino gratuito. A moradia é parte da proposta educacional, no modelo de internato.

A combinação entre escola e moradia tem o objetivo de facilitar o acesso à educação, já que, na região, "as distâncias que os estudantes têm que percorrer entre a casa e a escola são bastante extensas", explica o arquiteto Gustavo Utrabo, do escritório Aleph Zero, um dos responsáveis pelo projeto.

Salários altos, prestígio, apoio ao estudo: as lições dos países que tratam bem seus professores

Brasil não precisa ficar rico para dar salto de qualidade na educação, diz diretor da OCDE
"O objetivo principal era melhorar a qualidade de vida das crianças. E, como consequência, aperfeiçoar seu desempenho educacional. É um esforço muito grande para as crianças e para os pais ficarem separados. Então, é um esforço que precisa valer a pena", diz Utrabo.

A obra tem uma grande cobertura metálica, que gera uma sombra generosa. Abaixo dela, há um andar todo vazado, sem paredes e sem vidros, com divisórias de madeira à meia altura, permitindo uma grande ventilação.

"O projeto tem como ponto alto a criação da sombra, uma grande varanda, que permite que a criança ocupe esse lugar com uma série de brincadeiras", fala o arquiteto.

Já os dormitórios, no térreo, combinam técnicas de construção tradicional com tecnologia mais moderna. Um exemplo é uma parede mais grossa, que leva mais tempo para trocar de temperatura com o exterior, construída com um tipo de tijolo aprimorado a partir do adobe.

Essas escolhas arquitetônicas amenizam o forte calor da região, que beira os 40˚C nos dias mais quentes. O prédio chega a ficar até 7˚C mais fresco, sem necessidade de uso de ar condicionado. Uma consequência inusitada foi que a escola teve que comprar cobertores para os alunos.

Os arquitetos Gustavo Ultrabo e Pedro Duschenes, ( Foto: VINICIUS POSTIGLIONI ) do escritório Aleph Zero, que recebeu prêmio pelo projeto de moradia estudantil
Outra inovação foi a construção do projeto em conjunto com a comunidade. Foram as próprias crianças que definiram, em uma atividade de dinâmica corporal, qual era o tamanho de cada quarto de alojamento.

O reconhecimento é oferecido pelo Royal Institute of British Architects (Riba) para projetos de arquitetura arrojada e impacto social significativo. É considerado um dos prêmios de arquitetura mais rigorosos do mundo, já que especialistas internacionais visitam e avaliam as obras in loco.

Segundo o presidente do Riba, Ben Derbyshire, a moradia estudantil de Tocantins "oferece um ambiente excepcional, destinado a melhorar a vida e o bem-estar das crianças da escola, e ilustra o valor imensurável do design educacional bem feito".

Esse não é o primeiro reconhecimento que a moradia estudantil recebe. Também foi agraciada com o prêmio de Melhor Edifício de Arquitetura Educacional do mundo, da premiação Building Of The Year, em 2018, e o American Architecture Prize 2017 na categoria habitação social.

Moradia dos estudantes foi concebida em conjunto com a comunidade

Antes de o prédio ser erguido, já havia um alojamento estudantil no local, mas os estudantes não consideravam que aquela era sua "casa".

"Quando a gente chegou ali, vimos que crianças não reconheciam o local como sua própria casa. Falavam que viviam na escola", lembra o designer Marcelo Rosenbaum, que coordenou a empreitada. O objetivo então foi construir um local que as crianças pudessem perceber como sua própria casa.

Para isso, o engajamento com a comunidade local na criação do novo edifício foi fundamental.

A equipe do projeto organizou uma espécie de festival com a participação da comunidade, ao longo de cerca de 15 dias. Durante esse tempo, foram realizadas diversas atividades com pais e filhos para perceber o que seria importante para eles em uma moradia estudantil e que pudesse gerar uma sensação de "casa".

Obra tem cobertura metálica e um andar todo vazado, sem paredes nem vidros

"A arquitetura é parte de uma ciência. Então, o nosso trabalho é quebrar esse olhar acadêmico. A gente chega para trocar com a comunidade, não para impor algo", diz Rosenbaum. O designer criou uma metodologia de trabalho voltada justamente a estabelecer esse tipo de troca com as comunidades.

Assim, arquitetos e comunidade escolar definiram que o tamanho dos quartos iria diminuir. De 40 crianças em 20 beliches, o dormitório passaria a ter 6 crianças em 3 beliches. Além disso, foram criadas salas de TV, áreas de estudo, espaços livres, muito jardim.

Uma outra estratégia para criar a noção de casa foi muito simples: construir o prédio um pouco afastado da escola, para que as crianças tivessem um trajeto para percorrer ao sair dali, como se fosse o caminho até chegar em casa.

Poder público teria como fazer um projeto como esse?

O custo da obra, pago pela Fundação Bradesco, não foi divulgado. No entanto, a equipe responsável defende que projetos como esse também podem ser feitos pelo poder público.

"É um projeto muito simples: cobertura metálica, madeira pré-fabricada, piso de cimento e o tijolo feito no local. Isso tornou a execução da obra mais barata e rápida - a construção levou somente 14 meses. Então, eu acho que seria totalmente possível que o poder público fizesse uma edificação como essa, não vejo porque não", defende Utrabo.

Assim, a dificuldade não é técnica e orçamentária, acredita Utrabo, mas política. "São poucos os casos em que o setor público tem um comprometimento com a arquitetura em benefício da população. Eles pensam (os políticos) que é mais importante resolver o problema logo, do que resolver bem o problema", conclui.

O arquiteto também afirma que um projeto bem pensado pode gerar benefícios de segunda ordem, como redução de custos (não ter que pagar a conta do ar condicionado, por exemplo), preservação ambiental (com projetos mais sustentáveis) e maior durabilidade.

"A estrutura de madeira usada na obra tem garantia de 20 anos. Na França, por lei, todos os jardins de infância devem ser feitos em estrutura de madeira, porque é a mais segura que existe. Resiste ao fogo por mais tempo que qualquer outra", explica Utrabo.

Além da obra em si, o poder público poderia se valer da metodologia de trabalho que foi aplicada, que envolve a troca com a comunidade. "Isso é absolutamente replicável e escalável", afirma Marcelo Rosenbaum.

"Na maioria das vezes, a arquitetura é desconectada do ser humano. É feita a partir do saber técnico e científico, de cima para baixo, dizendo o que é que as pessoas precisam. É algo padronizado: em qualquer região do país, rural ou urbana", diz o arquiteto. "Precisamos mudar isso."

"O espaço urbano é feito por ser humano. Se não está conectado com o que as pessoas daquele lugar querem e precisam, as construções ficam fadadas ao abandono, ao não cuidado, ao não pertencimento", fala o designer.

Dentro do PT, candidatura de Lula já é dada como oficial

Segundo informações do jornal Folha de S. Paulo, o ex-presidente Lula disse a aliados em conversas recentes que será candidato ao Palácio do Planalto em 2018. O ex-presidente rechaçou a teoria que o País está dividido após o processo eleitoral que reelegeu a presidente Dilma Rousseff e exaltou o amadurecimento na democracia brasileira.

Em um segundo vídeo divulgado nesta quarta-feira, 29, Lula afirmou que "não existe nenhuma possibilidade de imperar neste país qualquer tentativa separatista".

"Isso só demonstra ignorância de quem pensa assim, só demonstra falta de sabedoria política. Porque o povo brasileiro acata o resultado eleitoral", disse.

Segundo o ex-presidente, não é a primeira vez que tentam dizer após as eleições que o País está dividido e que é natural que após o resultado haja tensões, mas que elas precisam ser superadas.

Comparando a disputa a um clássico de futebol, Lula afirmou que depois da tensão "as pessoas compreendem que são torcedores e cada um tem o direito de torcer para o seu time. Na política é a mesma coisa", afirmou.

Citando realidades políticas de outros países, como França, Alemanha e Estados Unidos, o ex-presidente disse que "no mundo inteiro" existe divisão de forças políticas.

"Só que no Brasil algumas pessoas acham, porque a eleição foi bastante disputada, que tem uma divisão no País", afirmou, ressaltando que o Brasil "é o exemplo mais importante no mundo de país unificado".

Nordeste e diálogo

Ao rebater a ideia de divisão no País, Lula defendeu o Nordeste e destacou que a presidente Dilma também teve votos de 41% dos eleitores do Sul e do Sudeste.

"É uma pena que algumas pessoas não conhecem o Nordeste. Ainda pensam que o Nordeste é atrasado, as pessoas precisam só aprender um pouco de história para saber que durante 300 anos o Nordeste foi mais importante do que o Sudeste e do que o Sul do País. E nem por isso se brigava para ser separatista", disse.

Lula afirmou que a presidente Dilma saberá governar para todos e comentou o pronunciamento de derrota do candidato tucano Aécio Neves, que afirmou que a presidente terá que unir o País.

"Não tem essa de jogar a responsabilidade nas costas da presidenta", afirmou.

"Não é só obrigação da Dilma unir o Brasil, é obrigação dos partidos políticos, é obrigação do candidato que perdeu as eleições, é obrigação dos candidatos que não foram para o segundo turno, é obrigação dos movimentos sociais. A responsabilidade é de todo mundo", disse.

Lembrando suas derrotas em 1989, 1994 e 1998, Lula disse que sempre acatou a decisão das urnas e que mais uma vez a democracia venceu.

"Vamos parar de falar a bobagem e vamos dizer que a democracia venceu. E nessa vitória da democracia tem um presidente eleito que é a nossa querida companheira Dilma Rousseff", finalizou.

Com informações da Folha de São Paulo e da Redação