O prédio que sedia o AGCRJ foi especialmente projetado e construído, no final da década de 1970, para abrigar a documentação produzida e acumulada pelos diversos órgãos e repartições da administração municipal, desde o período colonial até o período republicano.
Visitado pelo então Inspetor Geral dos Arquivos da França e ex-presidente do Conselho Internacional de Arquivos, o Sr. Michel Duchein, foi considerado um modelo de construção arquitetônica para a sua finalidade, em termos de estrutura física, e inovador como projeto de ocupação de espaços.
O edifício dispõe de 5.602 metros quadrados de área construída, em quatro pavimentos, contando com instalações adequadas para a guarda permanente de documentos:
Ao ingressar nas instalações do AGCRJ, no andar térreo, o usuário deve dirigir-se à Portaria e à Recepção, onde vai proceder à sua identificação, apresentando um documento de identidade e informando qual setor deseja visitar.
Receberá um crachá que franqueará o seu ingresso às dependências do prédio, abertas ao público.
Na Portaria e na Recepção, encontra-se disponível, gratuitamente, um guarda-volumes, que o usuário poderá usar durante sua permanência no AGCRJ, para depositar seus objetos de uso pessoal (pastas, bolsas,mochilas, etc.).
Localizadas no 2º, 3º andares do prédio, destinam-se à pesquisa dos usuários nos acervos institucionais disponíveis para a consulta pública. Nessas salas, o usuário deve respeitar os procedimentos determinados para cada tipo de documentação consultada e aceitar as normas de segurança
Não é permitido ao usuário levar para as mesas das Salas de Consulta seus objetos pessoais, com exceção de lápis e papel branco.