29 ago 2024
16:00 Defesa de Mestrado Auditório do IC3
Tema
Avaliação de Ferramentas de Ética em Modelos de Linguagem Desenvolvidos em Português
Aluno
Jhéssica Victória Santos da Silva
Orientador / Docente
Hélio Pedrini - Coorientadora: Sandra Eliza Fontes de Avila
Breve resumo
Na área de Inteligência Artificial (IA), os modelos de linguagem ganharam um espaço importante devido aos grandes avanços obtidos em vários campos de conhecimento e a recente popularização de sistemas capazes de simular conversas realistas com seres humanos através da geração de textos. Por conta dos seus impactos na sociedade, torna-se fundamental que esses modelos sejam desenvolvidos e implantados de forma responsável, com atenção aos seus impactos negativos e possíveis danos.
Nos últimos anos, houve um aumento na publicação de Ferramentas de Ética para IA (AIETs, do inglês AI Ethics Tools). Essas AIETs têm como objetivo ajudar desenvolvedores, empresas, governos e outras partes interessadas a estabelecer confiança, transparência e responsabilidade com suas tecnologias. As AIETs visam trazer valores aceitos para orientar os estágios de projeto, desenvolvimento e uso da IA. No entanto, muitas AIETs carecem de boa documentação, exemplos de utilização e provas da sua eficácia.
Neste trabalho, apresentamos uma metodologia abrangente para selecionar e avaliar AIETs em modelos de linguagem. Nossa abordagem envolveu a realização de uma extensa pesquisa bibliográfica sobre AIETs. Aplicamos critérios de inclusão e exclusão para filtrar todos as AIETs encontradas, resultando em oito AIETs. Para testar nosso método, entrevistamos desenvolvedores de modelos de linguagem desenvolvidos para a língua portuguesa, onde aplicamos quatro AIETs diferentes – Model Cards, ALTAI, FactSheets e Harms Modeling – nos modelos de linguagem entrevistados. A avaliação considerou as percepções dos desenvolvedores sobre o uso e a qualidade das AIETs em ajudar a identificar considerações éticas sobre os modelos de linguagem, e se as considerações levantadas correspondem à literatura sobre os impactos éticos dos modelos de linguagem. Os resultados mostram as preferências dos desenvolvedores para cada AIET utilizada e sugerem aprovação dos desenvolvedores sobre o uso das AIETs. Contudo, notamos que a facilidade de uso das AIETs é um fator importante que influencia as preferências dos desenvolvedores.
Banca examinadora
Titulares:
| Hélio Pedrini | IC/UNICAMP |
| Mariza Ferro | IC/UFF |
| Marisol Marini | FFLCH/USP |
Suplentes:
| Tatiane Nogueira Rios | IC/UFBA |
| Leonardo Tomazeli Duarte | FCA/UNICAMP |