Não entendi muito bem essa situação, mas para tentar esclarecer o que eu acho o que está acontecendo.
-Depois de traçar (fazer a rota com um endereço válido) para um destino final, se acrescenta pontos intermediários, que serão identificados com bandeiras amarelas, sempre esses com endereços válidos, isto é, que contenham um nome de uma rua e seu número presente no mapa. Neste caso, o GPS vai fazer tudo o que se espera de um bom navegador, vai te levar primeiro ao ponto intermediário e logo após te direciona para o endereço final.
-Ao acrescentar diretamente bandeira amarela CLICANDO diretamente no mapa, ACREDITO, ai é que está o problema, este ponto não fica corretamente localizado em um endereço válido, podendo ficar em cima de calçadas, praças ou dentro de prédios, e lógico que, quando você passa com o carro perto ou em frente destes pontos, o GPS conclui que você "não alcançou seu destino", e, recalcula o trajeto fazendo você voltar para este local.
Veja melhor qual situação acima, se enquadra seus endereços.