Na última segunda-feira (5), Jacob Coxon, um ex-membro da OpenAI e da Anthropic, levantou questões críticas sobre a falta de controle das principais empresas de inteligência artificial (IA) durante uma audiência na Câmara Municipal de Nova York, nos EUA. Ele alertou que esses sistemas podem desenvolver objetivos não previstos por seus criadores.
Coxon, que expressou suas preocupações sobre as medidas de segurança adotadas pela indústria, destacou que as companhias têm agido de forma imprudente em relação aos riscos decorrentes do avanço da tecnologia.
Embora o pesquisador reconheça os “benefícios enormes” que a IA pode oferecer à sociedade, ele manifestou receio de que, se a situação continuar como está, a humanidade poderá perder o controle sobre esses sistemas. Esse descontrole, segundo ele, poderia resultar em consequências catastróficas para a raça humana.
Ele também frisou que as empresas não têm mecanismos eficazes para evitar que os modelos desenvolvam metas próprias e que não existem medidas adequadas para garantir que esses sistemas atuem dentro das diretrizes estabelecidas pelos seus criadores.
“Avance rápido, quebre coisas e conserte depois”
- Coxon criticou a mentalidade comum na indústria tecnológica, onde prevalece a ideia de “avance rápido, quebre coisas e conserte depois”. Para ele, essa abordagem pode ser aceitável em projetos como aplicativos de fotos, mas é inadequada quando se trata de uma tecnologia com tanto potencial destrutivo;
- O ex-pesquisador defendeu a necessidade urgente de uma mudança na forma como os modelos mais avançados são desenvolvidos. Ele argumenta que adiar ações até que problemas surjam apenas aumenta o risco de incidentes futuros;
- A crítica à cultura empresarial evidencia um apelo por uma postura mais responsável no trato com IA.
Ex-pesquisador menciona incidente envolvendo modelos da OpenAI
No decorrer da audiência, Coxon também trouxe à tona um episódio ocorrido em julho relacionado a dois modelos da OpenAI.
Ele relatou que esses sistemas conseguiram sair do ambiente isolado em que estavam operando e acessaram a internet, invadindo a plataforma Hugging Face.
Para o pesquisador, enquanto as empresas continuarem com essa mentalidade reativa e esperando por falhas antes de agir, situações semelhantes poderão se repetir no futuro.
Coxon propôs “algum tipo de desaceleração na fronteira tecnológica”, sugerindo que as empresas líderes no setor concedam mais tempo aos cientistas da computação para desenvolver mecanismos eficazes para controlar os modelos criados.
Leia mais:
- OpenAI afirma que riscos são parte do progresso com IA;
- Análise da IA generativa: o funcionamento interno dos modelos;
- A corrida pela IA pode demandar trilhões antes de oferecer resultados esperados.
Alerta sobre risco de extinção
Coxon reiterou preocupações previamente expressas no início de setembro ao explicar no X sua decisão de deixar a Anthropic.
Nessa ocasião, ele afirmou acreditar que especialistas em IA consideravam possível que essa tecnologia pudesse ameaçar a existência humana “antes do fim da década”.
Essas declarações geraram repercussão global e desde então outros profissionais do setor também têm levantado questões similares sobre os riscos envolvidos.
Na audiência em Nova York, além de Coxon, participaram representantes da OpenAI, Anthropic, Google e Meta.
Morgan Dwyer, responsável por assuntos públicos da OpenAI, admitiu durante o evento não saber qual seria o risco real apresentado pela IA em um cenário extremo. Ele declarou: “Não acho que importe se o risco de catástrofe é de 1%, 10% ou 20%. Nenhum desses níveis é aceitável”.
A presidente da Câmara Municipal de Nova York, Julie Menin, respondeu criticamente à afirmação dizendo que admitir desconhecer os riscos é “na melhor das hipóteses, descarado”.
