Uma empresa que trabalhou em estreita colaboração com o governo do Reino Unido na segurança da inteligência artificial, no NHS e na educação também está a desenvolver IA para drones militares.

A consultoria Faculdade AI tem “experiência no desenvolvimento e implantação de modelos de IA em UAVs”, ou veículos aéreos não tripulados, de acordo com uma empresa parceira da indústria de defesa.

A Faculdade emergiu como uma das empresas mais ativas na venda de serviços de IA no Reino Unido. Ao contrário de pessoas como OpenAI, Deepmind ou Antrópiconão desenvolve modelos por si só, concentrando-se na revenda de modelos, nomeadamente da OpenAI, e na consultoria sobre a sua utilização no governo e na indústria.

O corpo docente ganhou especial destaque no Reino Unido depois de trabalhar na análise de dados para a campanha Vote Leave antes da votação do Brexit. O ex-conselheiro de Boris Johnson, Dominic Cummings, então deu trabalho governamental à Faculdade durante a pandemia, e incluiu seu CEO, Marc Warnerem reuniões do painel consultivo científico do governo.

Desde então, a empresa, oficialmente denominada Faculdade de Ciências, tem realizado testes de modelos de IA para o AI Safety Institute (AISI) do governo do Reino Unido, criado em 2023 na forma do primeiro-ministro Rishi Sunak.

Os governos de todo o mundo estão a correr para compreender as implicações de segurança da inteligência artificial, depois de as rápidas melhorias na IA generativa terem provocado uma onda de entusiasmo em torno das suas possibilidades.

As empresas de armas estão interessadas em potencialmente colocar IA em drones, desde “alas leais” que poderiam voar ao lado de caças, até munições ociosas que já são capazes de esperar que os alvos apareçam antes de disparar contra eles.

Os mais recentes desenvolvimentos tecnológicos aumentaram a perspectiva de drones que podem rastrear e matar sem um humano “no circuito” tomar a decisão final.

Em um Comunicado de imprensa ao anunciar uma parceria com a Faculdade com sede em Londres, a startup britânica Hadean escreveu que as duas empresas estão trabalhando juntas na “identificação de sujeitos, rastreamento de movimento de objetos e exploração do desenvolvimento, implantação e operações autônomas de enxameação”.

Entende-se que o trabalho da Faculdade com Hadean não incluiu o direcionamento de armas. No entanto, a Faculdade não respondeu a perguntas sobre se estava a trabalhar em drones capazes de aplicar força letal, nem deu mais detalhes sobre o seu trabalho de defesa, citando acordos de confidencialidade.

Um porta-voz do corpo docente disse: “Ajudamos a desenvolver novos modelos de IA que ajudarão nossos parceiros de defesa a criar soluções mais seguras e robustas”, acrescentando que possui “políticas éticas e processos internos rigorosos” e segue as diretrizes éticas sobre IA do Ministério de Defesa.

O porta-voz disse que o corpo docente tem uma década de experiência em segurança de IA, inclusive no combate ao abuso sexual infantil e ao terrorismo.

O Scott Trust, proprietário final do Guardian, é investidor na Mercuri VC, anteriormente GMG Ventures, que é acionista minoritária da Faculdade.

“Trabalhamos na segurança da IA ​​há uma década e somos especialistas líderes mundiais nesta área”, disse o porta-voz. “É por isso que os governos e os desenvolvedores de modelos confiam em nós para garantir que a IA de fronteira seja segura, e os clientes de defesa para aplicar a IA de forma ética para ajudar a manter os cidadãos seguros.”

Muitos especialistas e políticos apelaram à prudência antes de introduzir tecnologias mais autónomas nas forças armadas. Um comité da Câmara dos Lordes apelou em 2023 ao governo do Reino Unido para tentar estabelecer um tratado ou um acordo não vinculativo para clarificar a aplicação do direito humanitário internacional quando se trata de drones letais. O Partido Verde apelou em Setembro a leis que proibissem completamente os sistemas de armas autónomos letais.

O corpo docente continua a trabalhar em estreita colaboração com o AISI, colocando-o numa posição em que os seus julgamentos podem influenciar a política governamental do Reino Unido.

Em novembro, a AISI contratou o corpo docente para pesquisar como grandes modelos de linguagem “são usados ​​para ajudar em comportamentos criminosos ou de outra forma indesejáveis”. A AISI afirmou que o vencedor do contrato – Faculdade – “será um colaborador estratégico significativo da equipa de salvaguardas da AISI, contribuindo diretamente com informações importantes para os modelos de segurança do sistema da AISI”.

A empresa trabalha diretamente com a OpenAI, a startup que iniciou a última onda de entusiasmo pela IA, para usar seu modelo ChatGPT. Os especialistas já levantaram preocupações sobre um potencial conflito de trabalho no trabalho que o corpo docente realizou com o AISI, de acordo com o Politico, um site de notícias. A Faculdade não detalhou quais modelos de empresas havia testado, embora tenha testado Modelo o1 da OpenAI antes de seu lançamento.

O governo disse anteriormente sobre o trabalho da Faculdade AI para a AISI: “crucialmente, eles não entram em conflito através do desenvolvimento do seu próprio modelo”.

Natalie Bennett, colega do Partido Verde, disse: “O Partido Verde há muito expressa grande preocupação com a ‘porta giratória’ entre a indústria e o governo, levantando questões desde funcionários de empresas de gás sendo destacados para trabalhar na política energética até ex-ministros da defesa indo trabalhar para empresas de armas.

“O fato de uma única empresa ter assumido um grande número de contratos governamentais para trabalhar em IA e ao mesmo tempo trabalhar com o AI Safety Institute no teste de grandes modelos de linguagem é uma preocupação séria – não tanto ‘caçador furtivo que virou guarda-caça’, mas desempenhando ambas as funções ao mesmo tempo.”

Bennett também destacou que o governo do Reino Unido “ainda não assumiu um compromisso total” para garantir que haja um ser humano no processo de sistemas de armas autônomos, conforme recomendado pelo comitê dos Lordes.

A Faculdade, cujo maior acionista é uma holding registada em Guernsey, também procurou cultivar laços estreitos com o governo do Reino Unido, ganhando contratos no valor de pelo menos 26,6 milhões de libras, de acordo com divulgações do governo. Isso inclui contratos com o NHS, o Departamento de Saúde e Assistência Social, o Departamento de Educação e o Departamento de Cultura, Mídia e Esporte.

Esses contratos representam uma fonte significativa de receitas para uma empresa que realizou vendas no valor de 32 milhões de libras no ano até 31 de março. Não perdi £ 4,4 milhões durante esse período.

Albert Sanchez-Graells, professor de direito económico na Universidade de Bristol, alertou que o Reino Unido depende da “autocontenção e responsabilidade no desenvolvimento da IA” das empresas tecnológicas.

“As empresas que apoiam o trabalho da AISI precisam evitar conflitos de interesses organizacionais decorrentes do seu trabalho para outras partes do governo e para negócios de IA mais amplos baseados no mercado”, disse Sanchez-Graells.

“As empresas com portfólios tão amplos de atividades de IA, como o corpo docente, têm perguntas a responder sobre como garantem que seus conselhos à AISI sejam independentes e imparciais, e como evitam aproveitar esse conhecimento em suas outras atividades.”

O Departamento de Ciência, Inovação e Tecnologia não quis comentar, dizendo que não entraria em detalhes sobre contratos comerciais individuais.