Criptografia é uma ciência muito antiga. Mas não quer dizer que seja popular e fácil de encontrar livros e textos a respeito.
De fato,a maioria dos textos que são possíveis de encontrar pela internet, são teses de mestrado e doutorado de pesquisadores ligados a matemática e segurança.
Um bom livro com toda a matemática envolvida na criptografia pode ser achado para download em
"Handbook of Applied Cryptography" - excelente livro com todas as informações sobre a criptografia (em inglês) http://cacr.math.uwaterloo.ca/hac/
"Code Breakers" - este livro é sobre a história da criptografia, com todos os métodos e histórias sobre esta ciência. Pode ser encontrado em alguma livraria virtual(em inglês).
"Ritter's Crypto Glossary and Dictionary of Technical Cryptography" - um dicionário completo sobre os termos usados em criptografia. Para download ou consulta online.
Estes são os principais e os que conheço. Na parte de links sobre criptografia, sempre tem algum lugar com textos diversos explicando separadamente algum método ou algoritmo criptográfico.