Los primero datos que tenemos del primitivo asentamiento urbano tras la conquista de La Gomera se remontan en torno al año 1440 con Hernán Peraza el Viejo y en la que encontramos tres edificaciones fundamentales para vertebrar el eje de la villa: la Casa de los Peraza (Casa de la Aguada), la Torre de los Peraza (Torre del Conde) y la primitiva ermita de Nuestra Señora de la Asunción. Junto a esta última habría que nombrar la ermita de San Sebastián, levantada décadas más tarde por una cuestión devocional –y también epidémica--.

Así pues, desde la casa señorial hasta la primitiva iglesia se trazó la que se conoce como Calle Real, si bien no será otra cosa que la principal vía que salía de la capital hacia el resto de la isla. Como en otras fundaciones coetáneas, alrededor de la iglesia se abre una plaza, eje central del encuentro y de las relaciones sociales de la comunidad. Poco tiempo después, en un solar cercano a la torre, se fundó el convento franciscano de los Santos Reyes –dotación de don Guillén, primer Conde, hacia 1535-, que permitió ampliar hacia el noroeste la primitiva estructura urbana, remontándonos ya a las primeras décadas de 1500. 

Las primeras referencias escritas no las vamos a encontrar hasta bien entrado el siglo XVI con las descripciones del ingeniero de Felipe II nacido en Cremona Leonardo Torriani y con los relatos del portugués Gaspar Frutuoso.

En la obra de Torriani, señala que San Sebastián debía de tener unas doscientas casas y, en el mapa que realiza para el monarca, refleja con exactitud  las referencias que hemos comentado: la iglesia, la torre, la ermita y el convento. Todos ellos unidos en una trama bastante regular con huertas entre las manzanas.

Sin embargo, Frutuoso sí nos revela el nombre de algunas calles, como la de San Francisco, que uniría la entrada al antiguo convento con la plaza mayor o plaza de la iglesia, quizá correspondiendo actualmente con la Avenida de Colón. Por otro lado nos habla de la ermita de Santa Ana, hoy desaparecida, y que se encontraría en la vía principal, no mucho más alejada de la iglesia matriz. Alrededor de la principal vía de comunicación, debieron de asentarse las principales viviendas de la gente adinerada, ya que conservaban las mejores fachadas, creciendo en torno al puerto las zonas más humildes de la capital.

Junto a estas edificaciones centrales, a finales del siglo XVI también había una ermita justo sobre el cauce del barranco de La Concepción, orientada al oeste del convento, la cual se encontraba bajo la misma advocación. Al otro lado, sobre la montaña de Buen Paso, otra homónima ermita; y en extrarradio de la urbe, dos ermitas más, una en Puntallana, dedicada a la patrona de la isla, la Virgen de Guadalupe, y otra mucho más al norte, erigida bajo la advocación de Nuestra Señora de las Nieves.

Hoy en día, de alguna manera, la traza urbana histórica de San Sebastián se mantiene en gran medida. Los principales elementos constructivos continúan en pie y siguen configurando un espacio de cierta regularidad deudor de aquellos primeros compases del nacimiento de la Villa. 500 años después, este pueblo sigue conservando la esencia de aquel tiempo donde la piedra, la cal y el mortero levantaron una serie de construcciones que hoy son patrimonio de todo el pueblo gomero.