A Diretoria do Patrimônio Histórico e Documentação da Marinha (DPHDM) teve sua origem na Biblioteca da Marinha, criada pelo Decreto no 479, de 17 de outubro de 1846, que funcionava dentro do Arsenal da Marinha da Corte.
Em 1943, com a incorporação da Biblioteca da Marinha, da Seção de História Marítima do Brasil, do Arquivo Histórico e da Revista Marítima Brasileira, foi criado o Serviço de Documentação da Marinha pelo Decreto-Lei no 5.558, de 8 de junho. Esta organização militar foi subordinada ao Ministro da Marinha.
Em 1953, o Decreto no 32.273, de 18 de fevereiro, que aprovou o Regulamento da Secretaria-Geral de Marinha, reativou o Museu Naval e colocou-o sob a estrutura do renomeado Serviço de Documentação Geral da Marinha (SDGM), que ficou diretamente subordinado à Secretaria-Geral da Marinha.
As atividades do SDGM foram regulamentadas pelo Decreto no 69.497, de 5 de novembro de 1971, alterado pelos Decretos no 79.771, de 3 de junho de 1977, e no 91.441, de 18 de julho de 1985. Revogados os Decretos de regulamentação e de alteração pelo Decreto no 1.144, de 20 de maio de 1994, o SDGM teve a sua denominação alterada para Serviço de Documentação da Marinha (SDM) pela Portaria Ministerial no 0344, de 23 de maio de 1994.
O SDM passou, então, a ter sua organização e atividades regulamentadas pela Portaria no 0068, de 31 de maio de 1994, do Chefe do Estado-Maior da Armada, que, posteriormente, foi revogada pela Portaria no 0349, de 14 de novembro de 1996, do Chefe do Estado-Maior da Armada. Revogada esta última, passou a ter as atividades e organização estruturadas pelo Regulamento aprovado pela Portaria nº 029, de 8 de setembro de 1998, do Secretário-Geral da Marinha. Com a revogação da Portaria 0029/98, passou a ter suas atividades e organização regulamentadas pela Portaria no 0049, de 25 de novembro de 1999, do Secretário-Geral da Marinha.
Em 1º de julho de 2008, o Comandante da Marinha, por meio da Portaria no 209 alterou a denominação do Serviço de Documentação da Marinha para Diretoria do Patrimônio Histórico e Documentação da Marinha (DPHDM) e extinguiu a Diretoria do Patrimônio Histórico e Cultural da Marinha, revogando as Portarias Ministeriais nos 199 e 200 de 10 de julho de 1997.
Decorrente disso, revogada a Portaria no 0049 do Secretário-Geral da Marinha, a DPHDM passou a ter suas atividades e organização estruturadas por Regulamento, aprovado pela Portaria no 66 de 30 de julho de 2008, do Secretário-Geral da Marinha.