Da maneira que você esta fazendo esta correto deveria funcionar , acho que você está colocando alguma coisa errada, como digitando o nome do arquivo incorretamente ou algo parecido.
Pois a maneira correta é a que esta abaixo, testei aqui e funcionou.
Código PHP:
include "../config/arquivo2.php";