Com seus atuais cerca de 990 metros, essa rua era passagem obrigatória dos viajantes que seguiam entre São Paulo e Rio de Janeiro.

Seu traçado faz parte do quadrilátero original da fundação de Taubaté. Segundo a historiadora Maria Morgado de Abreu, "a futura vila foi traçada onde hoje se encontra a parte central da cidade, entre os córregos do Convento Velho e um seu pequeno afluente, o Saguiru" .

Ainda hoje é consenso de que a disposição urbanística de Taubaté se deu do atual Mercado Municipal em direção a onde hoje está a Igreja Matriz.
Acreditava-se que a primeira rua fosse, portanto, a atual Rua Jorge Winther. A Visconde do Rio Branco seria a quarta rua.

Pesquisa recente sugere, no entanto, uma inversão dessa lógica. Ao menos na nomenclatura, é a Rua Visconde do Rio Branco conhecida como Rua Primeira.

A sugestão se baseia em uma escritura de venda de casas feita pelo Capitão Manoel da Costa Cabral (o fundador de Tremembé) ao Capitão Domingos Luiz Cabral, em 1698:

(...) e, sendo aí, apareceu perante mim dito Tabelião, o Capitão Manoel da Costa Cabral e bem assim sua mulher, e cada um de per si, me foi dito perante as testemunhas ao diante nomeadas e assinadas que eles possuíam nesta dita Vila, na PRIMEIRA RUA que chamam DAS FLORES, (...)

A descoberta foi feita pela paleógrafa Lia Carolina Prado Alves Mariotto, uma das maiores conhecedoras do acervo documental de Taubaté.