O prédio que sedia o AGCRJ foi especialmente projetado e construído, no final da década de 1970, para abrigar a documentação produzida e acumulada pelos diversos órgãos e repartições da administração municipal, a partir da criação do arquivo da Câmara Municipal, em 1565. O processo de recolhimento dos documentos produzidos pela Prefeitura e de arquivos privados de interesse público é contínuo, acrescentando sempre novos documentos ao acervo da instituição.
O edifício, inaugurado em 1979, foi visitado pelo então Inspetor Geral dos Arquivos da França e ex-presidente do Conselho Internacional de Arquivos, Sr. Michel Duchein, e por ele considerado um modelo de construção arquitetônica para a sua finalidade, em termos de estrutura física, e inovador, como projeto de ocupação de espaços.
O edifício dispõe de 5.602 metros quadrados de área construída, em quatro pavimentos, contando com instalações adequadas para a guarda permanente de documentos:
• Depósitos climatizados (controle setorial de temperatura), paredes de espessura dupla, piso de alta resistência ao fogo e portas corta-fogo;
• Salas de consulta climatizadas (controle setorial de temperatura);
• Sistemas de prevenção de incêndios (sensores de temperatura e de fumaça);
• Reforço estrutural para suportar cargas de peso elevado;
• Malha antitrepidação para suportar a proximidade de vias de trânsito intenso;
• Materiais de revestimento anticomburentes (piso, paredes e portas)
• Gerador auxiliar de óleo diesel para emergências e monta-carga. Todo o sistema de ar refrigerado foi trocado em 2007.