Originalmente, em 1784, foi residência e "Casa de Contratos" destinada ao recolhimento de impostos. Em 1789, derviu de prisão nobre de Inconfidentes e sede da "istração e Contabilidade Pública da Capitania de Minas Gerais", daí o nome de "Casa dos Contos". Recebeu acréscimos físicos como o destinado à "Casa de Fundição e da Moeda", bem como foi sede de repartições públicas. Em 1974, retornou ao Ministério da Fazenda. Foi completamente restaurada em e contém, em seu interior, exposições documentais, numismáticas da Casa da Moeda do Brasil e do Banco Central do Brasil e outras mostras culturais que, junto ao mobiliário e singular arquitetura, compõem o seu Museu.

Em uma de suas laterais, perpetuando suas origens fiscais, encontra-se a Agência da Receita Federal local.

O Centro de Estudo do Ciclo do Ouro, instalado na Casa do Contos, propicia, pela pesquisa em microformas, o resgate e o estudo da documentação econômico-fiscal do Ciclo do Ouro, abrigando, também, outros arquivos sócio-econômicos e culturais de Minas Gerais.