Os outros respondentes responderam à sua pergunta sobre se é seguro. Eu gostaria de abordar a questão da água clorada não ser muito agradável de beber, explicando como desclorar a água clorada.
Você _ pode_ reduzir um pouco o sabor do cloro, principalmente através da aeração da água. Eu mantive peixes tropicais durante anos e não se pode usar água clorada num aquário de peixes porque vai envenenar os peixes (é usada para matar bactérias e germes, afinal de contas). Os produtos químicos especiais de descloração são vendidos para este fim (eu não recomendaria o seu uso pois foram concebidos para aquários de peixes que não são para consumo humano), mas há outra forma: Deixar a água repousar durante 24 horas e o cloro evaporará*. Isto deve remover o sabor do cloro.
Se você quiser fazê-lo mais rapidamente, ou se não quiser que a água tenha um sabor mais ácido (o que pode ser pior que o sabor do cloro na opinião de algumas pessoas), basta aerar a água o máximo que puder*. Pegue dois copos grandes e despeje de um copo para o outro, para trás e para a frente, por um tempo. Quanto mais você arejar, menos cloro ele conterá e, portanto, menos cloro saboreará.
Como tenho certeza que você percebe, remover o cloro não removerá os efeitos de matar germes que o cloro teve, já que esses efeitos já ocorreram, então ainda será seguro beber dessa perspectiva.