IA causando a morte(?) de uma boa proporção da humanidade
https://en.wikipedia.org/wiki/Existential_risk_from_artificial_general_intelligence
Matrix, Terminator, etc
IA precisa ter consciência (e ser mau)
IA precisa ter acesso ao mundo físico
A ideia ameaça existencial depende de
IA só precisa ser competente, ela não quer destruir a humanidade, isso apenas acontece
IA pode modificar o mundo real via internet (pelo menos em parte)
uma IA geral é criada (AGI)
ela é tão inteligente como nós
ela entende sua própria inteligencia
ela entende os gargalos da sua inteligencia
ela melhora sua inteligência corrigindo os gargalos
trivialmente, se o limite é processamento, paralelize o código e aloque mais computadores.
recursive self-improvement
Good, 1965
Ray Kurzweil (parcialmente a “singularidade”)
Bostrom: Superintelligence https://en.wikipedia.org/wiki/Superintelligence:_Paths,_Dangers,_Strategies
Assumindo uma superinteligência (SAGI)
assumindo que ela tenha objetivos próprios, de longa duração, e capacidade de atuar no mundo
ela é mais competente que nós, e portanto vai atingir seus objetivos
ela não precisa ter intenções maliciosas quanto a humanos, só precisa considerar seus objetivos como mais importantes que humanos (ou pode nem ter o conceito de humanos)
Humanos e formigas, humanos e macacos: não temos nada contra eles, ótimo que eles estejam felizes e prósperos, mas não são levados em consideração na hora de construir uma casa, um estacionamento, uma represa.
Não é necessário que seja a relação como a de humanos em relação a bovinos, galinhas (exploração)
as AI até agora só funcionam com “perguntas” - tool AI
elas não ficam ligadas o tempo todo, pensando no que fazer.
elas não tem objetivos
Agent AI tem objetivos, e tenta atingi-los
pode causar ações no mundo
SAGI é um agent AI
estados do mundo
o agente tem um conjunto de ações (não necessariamente determinísticas)
o agente tem preferencias sobre os estados (objetivos)
Se as preferencias são consistentes, então isso equivale a ter uma valor de utilidade em cada estado
e portanto o agente busca maximizar a utilidade (esperada, descontada, etc)
Conceitos relevantes:
objetivos, subobjetivos, ações, testes
planjamento (dado a descrição das ações) logico/probabilistico
reinforcement learning: aprende o que fazer em cada estado sem ter uma descrição das ações.
Não importa muito os objetivos (de longo termo) da SAGI. Provavelmente ela precisa:
obter recursos
proteger sua existência (se ela não existe, o objetivo não é atingido)
proteger seus objetivos (sejam quais forem) - nao deixar que humanos modifiquem seus objetivos
e é ai que ela interfere conosco: captura recursos, dinheiro, e se protege de desligar e de ser modificada.
inteligencia é ortogonal a qualidade/virtude/bondade dos objetivos de um agente inteligente
os objetivos da SAGI não necessariamente trarão benefícios a humanidade apenas porque ela é super inteligente
O objetivo da SAGI poderia ser - aumente a felicidade e prosperidade humana
toda estória de “gênio da lampada” conta casos onde pode-se dar uma interpretação perversa do um objetivo que parece OK para nós.
por exemplo: “reduza o sofrimento humano” ação: matar sem dor as pessoas sofrendo.
mas só porque as estórias são que a gente se arrepende de pedidos, não significa que isso é verdade
ficamos monitorando a SAGI e desligamos a eletricidade quando ela agir mal
SAGI pode nos enganar (quanto mais inteligente mais vc pode enganar os outros?)
podemos não entender o que a SAGI esta fazendo (o que uma formiga entende de envenenamento químico)
enganar não precisa ser um ato explicito, planejado. A SAGI percebe que em um conjunto de situações vale mais a pena (recebe recompensa) fazer coisas que agradam os humanos, mas que em outras situações (sem monitoração) vale mais a pena fazer outras coisas.
vai acontecer?: mediana da prob de extinção 59%
AGI quando?: mediana 2031
motivação: eu gostaria que IA não fosse uma ameaça de extinção. isso me torna mais sensível a argumentos contra extinção por IA que a favor
eu acho argumentos como “um SAGI será capaz de enganar pessoas” meio ficção cientifica
Não sei!
mais barato que um tool AI especifico(?) https://gwern.net/tool-ai
provavelmente necessário para construir habitats na Lua e em Marte, usando robôs
provavelmente será desenvolvido por bancos de investimento (hedge funds) para maximizar ganhos financeiros
estou pouco convencido de afirmações do tipo “IA vai resolver os problemas do mundo” (cancer, doenças, mudanças climáticas, poluição por plástico, etc).
na minha opinião, a grande maioria dos problemas sérios não se resolve com mais inteligencia, se resolve com mais poder ou vontade politica (mudanças climáticas, poluição mas não cancer)
na minha opinião, mais inteligencia provavelmente não melhora a ciência e a engenharia, essas coisas melhoram com experimentação
os casos de melhora em ciências me parece pode ser feito com tool AI https://www.estadao.com.br/saude/novo-antibiotico-capaz-de-matar-superbacterias-descoberto-com-a-ajuda-de-inteligencia-artificial-nprm/
o que é “inteligencia”? Competencia vs aprendizado
ela tem gargalos? Os gargalos são superáveis? https://medium.com/@francois.chollet/the-impossibility-of-intelligence-explosion-5be4a9eda6ec
para que a IA se proteja ela tem que achar que existe um “eu” no seu raciocínio: se me desligarem o objetivo não será atingido
etc
superintelligence Bostrom 2014 https://en.wikipedia.org/wiki/Superintelligence:_Paths,_Dangers,_Strategies
human compatible Russell 2019 https://en.wikipedia.org/wiki/Human_Compatible
life 3.0 Tegmart 2017 https://en.wikipedia.org/wiki/Life_3.0
Robert Miles https://www.youtube.com/c/RobertMilesAI/vídeos
AI safety https://aisafety.info (mais simples)
AI impacts wiki https://wiki.aiimpacts.org/start
https://www.alignmentforum.org (mais complexo)
https://www.lesswrong.com/tag/ai (super complexo)