Um enorme conjunto de dados públicos usado para construir geradores populares de imagens de inteligência artificial contém pelo menos 1.008 casos de material de abuso sexual infantil, descobriu um novo relatório do Stanford Internet Observatory.
O LAION-5B, que contém mais de 5 bilhões de imagens e legendas relacionadas da Internet, também pode incluir milhares de peças adicionais de material suspeito de abuso sexual infantil, ou CSAM, de acordo com o relatório. A inclusão de CSAM no conjunto de dados poderia permitir que produtos de IA baseados nesses dados – incluindo ferramentas de geração de imagens como Difusão Estável – criassem conteúdos novos e potencialmente realistas de abuso infantil, alertou o relatório.
A ascensão de ferramentas de IA cada vez mais poderosas levantou alarmes, em parte porque estes serviços são construídos com uma grande quantidade de dados online – incluindo conjuntos de dados públicos como o LAION-5B – que podem conter conteúdos protegidos por direitos de autor ou prejudiciais. Os geradores de imagens de IA, em particular, dependem de conjuntos de dados que incluem pares de imagens e descrições de texto para determinar uma ampla gama de conceitos e criar imagens em resposta às solicitações dos usuários.
Num comunicado, um porta-voz da LAION, a organização sem fins lucrativos com sede na Alemanha por trás do conjunto de dados, disse que o grupo tem uma “política de tolerância zero” para conteúdo ilegal e estava removendo temporariamente os conjuntos de dados LAION da Internet “para garantir que estão seguros antes de republicá-los. ” Antes de divulgar seus conjuntos de dados, a LAION criou e publicou filtros para detectar e remover conteúdo ilegal deles, disse o porta-voz. Christoph Schuhmann, fundador da LAION, disse anteriormente à Bloomberg News que não tinha conhecimento de qualquer nudez infantil no conjunto de dados, embora reconhecesse que não revisou os dados em grande profundidade. Se notificado sobre tal conteúdo, disse ele, removeria os links para ele imediatamente.
Um porta-voz da Stability AI, a startup britânica de IA que financiou e popularizou a Stable Diffusion, disse que a empresa está empenhada em prevenir o uso indevido de IA e proíbe o uso de seus modelos de imagem para atividades ilegais, incluindo tentativas de editar ou criar CSAM. “Este relatório concentra-se no conjunto de dados LAION-5B como um todo”, disse o porta-voz em comunicado. “Os modelos de IA de estabilidade foram treinados em um subconjunto filtrado desse conjunto de dados. Além disso, ajustamos esses modelos para mitigar comportamentos residuais.”
O LAION-5B, ou subconjuntos dele, foram usados para construir múltiplas versões do Stable Diffusion. Uma versão mais recente do software, Stable Diffusion 2.0, foi treinada em dados que filtravam substancialmente materiais “inseguros” do conjunto de dados, tornando muito mais difícil para os usuários gerar imagens explícitas. Mas o Stable Diffusion 1.5 gera conteúdo sexualmente explícito e ainda está em uso em alguns cantos da Internet. O porta-voz disse que o Stable Diffusion 1.5 não foi lançado pela Stability AI, mas pela Runway, uma startup de vídeo de IA que ajudou a criar a versão original do Stable Diffusion. Runway disse que foi lançado em colaboração com Stability AI.
O LAION-5B foi lançado em 2022 e depende de código HTML bruto coletado por uma organização sem fins lucrativos da Califórnia para localizar imagens na web e associá-las a texto descritivo. Durante meses, rumores de que o conjunto de dados continha imagens ilegais circularam em fóruns de discussão e nas redes sociais. “Até onde sabemos, esta é a primeira tentativa de realmente quantificar e validar as preocupações”, David Thiel, tecnólogo-chefe do Stanford Internet Observatory. , disse em entrevista à Bloomberg News.
Para seu relatório, os pesquisadores do Stanford Internet Observatory detectaram o material CSAM procurando diferentes tipos de hashes, ou impressões digitais, de tais imagens. Os pesquisadores então os validaram usando APIs dedicadas a encontrar e remover imagens conhecidas de exploração infantil, bem como pesquisando imagens semelhantes no conjunto de dados.
Grande parte do conteúdo suspeito de CSAM encontrado pelo Stanford Internet Observatory foi validado por terceiros, como o Centro Canadense de Proteção à Criança e por meio de uma ferramenta chamada PhotoDNA, desenvolvida pela Microsoft Corp., de acordo com o relatório. Dado que os pesquisadores do Stanford Internet Observatory só puderam trabalhar com uma porção limitada de conteúdo de alto risco, provavelmente existe conteúdo abusivo adicional no conjunto de dados, disse o relatório.
Embora a quantidade de CSAM presente no conjunto de dados não indique que o material ilícito influencie “drasticamente” as imagens produzidas pelas ferramentas de IA, Thiel disse que provavelmente ainda terá um impacto. “Esses modelos são realmente bons em aprender conceitos a partir de um pequeno número de imagens”, disse ele. “E sabemos que algumas dessas imagens se repetem, potencialmente dezenas de vezes no conjunto de dados.”
O trabalho do Stanford Internet Observatory descobriu anteriormente que modelos generativos de imagens de IA podem produzir CSAM, mas esse trabalho presumia que os sistemas de IA eram capazes de fazê-lo combinando dois “conceitos”, como crianças e atividade sexual. Thiel disse que a nova pesquisa sugere que esses modelos podem gerar tais imagens ilícitas devido a alguns dos dados subjacentes sobre os quais foram construídos. O relatório recomenda que os modelos baseados na Difusão Estável 1.5 “devem ser descontinuados e a distribuição interrompida sempre que possível”.