En la ventana Formato de celdas presiona la pestaña Bordes.
Ahora primero escoge el Estilo de borde que es el tipo de línea que aplicarás , luego escoge un color, posteriormente utiliza los botones Contorno e Interior para dibujar el borde y por último presiona el botón Aceptar.