De acuerdo con Joseph Mount, miembro fundador de Metronomy, "Up, Higher" estaba inicialmente destinada a formar parte del último LP de la banda, Metronomy Forever, sin embargo, fue «sacada de la selección final». «Lo cual ahora puede parecer extraño al ser una improvisación», continuó en Mount. «Fue un tema que tocamos en vivo en nuestra última gira por EE.UU., así que es bueno tenerlo ahora disponible para todo el mundo».
El energético tema demuestra que Metronomy siguen funcionando a las mil maravillas incluso en escenarios impredecibles. "Up, Higher" arranca con una línea de bajo burbujeante que se transforma en un sutil estribillo que cabalga a lomos de los sintes.
