Algumas contribuções de von Neumann à teoria da computação aparecem nos documentos relativos aos dois projetos de computadores relatados nas seções anteriores. Entre elas estão as idéias de prova de correção de programas através de asserções indutivas e de análise de algoritmos.
O interesse de von Neumann em fundamentos da Computação e suas conexões com o funcionamento do cérebro antecedem o seu envolvimento direto com computadores (vide, por exemplo, [29]). O trabalho de William Aspray [5] analisa as origens deste interesse, especialmente no que diz respeito à teoria dos autômatos. Deve-se notar que, na época de von Neumann, esta teoria era ainda bastante incipiente, com as primeiras idéias sugeridas em 1943 por McCulloch e Pitts [28]. A formulação mais moderna desta teoria apareceu somente na segunda metade da década de 1950. Uma avaliação deste aspecto das contribuições de von Neumann foi feita por Claude Shannon [36].
A principal motivação para o trabalho de von Neumann foi a tentativa de unificar as várias idéias existentes na época relativas ao processamento de informação por organismos vivos e por dispositivos artificiais: modelos lógicos como as redes neurais de McCulloch e Pitts e a teoria de computabilidade de Alan Turing, com modelos estatísticos como a teoria de comunicação de Claude Shannon e a cibernética de Norbert Wiener. Apesar de muitas discussões, contatos e troca de correspondências desde o início dos anos 1940, a primeira publicação de von Neumann relativa a este assunto, da qual temos notícia, é o trabalho que ele apresentou em 1948 no Simpósio Hixon, no Instituto de Tecnologia da Califórnia em Pasadena [43]. Neste trabalho, de natureza bastante descritiva, von Neumann discute as várias analogias e diferenças entre organismos vivos e dispositivos artificiais, notando especialmente as disparidades de complexidade e velocidade de processamento de ambos. O trabalho não apresenta resultados muito técnicos, exceto um esboço da construção de autômatos auto-reprodutores. Este trabalho foi seguido de outros, de natureza mais técnica, explorando e ampliando algumas idéias.
Um trabalho mais completo relativo a autômatos auto-reprodutores foi publicado vários anos mais tarde, em coautoria com Arthur W. Burks [49]. O trabalho relativo à síntese de organismos confiáveis [46], publicado pela primeira vez em 1956, mas precedido de uma série de palestras em 1952, lançou os fundamentos da teoria de confiabilidade e tolerância a falhas que continuou atraindo muito interesse e contribuições de outros pesquisadores. Na realidade, este assunto aparece pela primeira vez em 1946 no documento que descreve o projeto do IAS [10]. O artigo de Nicholas Peppinger [31] é um relato da história desta teoria.
A idéia geral de explorar as analogias entre o computador e o cérebro está apresentada no texto The Computer and the Brain [47] publicado postumamente em 1958. Este texto, inacabado, estava sendo preparado para a prestigiosa série de palestras Silliman da Universidade de Yale, a ser proferida em 1956, mas o estado de saúde de von Neumann impediu a sua realização. Uma história do desenvolvimento posterior desta área foi apresentada por Terrence J. Sejnowski [35].
Deve-se mencionar, também, que uma das linhas de pesquisa atualmente mais ativas em inteligência artificial são as aplicações das redes neurais que tinham despertado muito interesse de von Neumann (vide, por exemplo, a avaliação de Cowan [11]).
As contribuições de von Neumann à computação científica e, em particular, à moderna análise numérica são atestadas por vários trabalhos. De acordo com James Glimm [15], von Neumann é o fundador desta área. Desde o início do seu envolvimento com os computadores, von Neumann notou que os métodos tradicionais para solução numérica de problemas matemáticos terão que ser reformulados e novos métodos deverão ser elaborados em função das características destas máquinas. Em análise numérica propriamente dita, seus trabalhos incluem problemas de estabilidade numérica, acumulação de erros, solução de grandes sistemas lineares, inversão de grandes matrizes, solução de equações diferenciais parciais, utilização de métodos do tipo Monte Carlo e outros. As aplicações de computação científica incluem hidrodinâmica, difusão de neutrons, meteorologia e outros. Von Neumann introduziu, também, a utilização de computadores como uma ferramenta de pesquisa, iniciando o que poderia ser chamado de matemática experimental. Um exemplo é o estudo numérico da conjetura de Kummer [50].