Una disposición del Cementerio General del Sur, propiedad de la nación, prohibía la venta de lotes o parcelas a confesiones u organizaciones. Esto se oponía a la posibilidad de edificar un panteón judío propiamente dicho. Los nuevos inmigrantes sefardíes que llegaban a Caracas, de origen marroquí, empezaron a adquirir parcelas privadas colindantes entre sí. Los primeros fueron las familias Sabal y Coriat, las cuales el 5 de marzo de 1916 llevaron a su última morada a un pariente de ellos, Moisés J. Pilo, sepultándolo y lo sepultaron en una parcela que, más tarde, formaría parte del lote de terreno que terminaría constituyéndose en el primer panteón judío de Caracas.
La vida institucional corría paralela a la del panteón judío: en 1907 se había creado la primera institución judía sefardí, la Asociación Benéfica Israelita y en 1919 se fundó la Sociedad Israelita de Venezuela, ambas predecesoras de la Asociación Israelita de Venezuela, que se estableció finalmente en 1930.
Con intención de configurar el lote para edificar ese primer sector judío, a partir de los panteones familiares Sabal y Coriat, la comunidad compró a la gobernación del Distrito Federal (a quien el Estado cedió el Cementerio del Sur) cuatro parcelas de 100 m2, cada una a nombre de igual número de miembros.
El mayor apego a las leyes y tradiciones judías por parte de estos sefardíes que venían de Marruecos, en comparación con los de Curazao, se evidencia en la forma y en las inscripciones de las lápidas: ausencia total de esculturas, predominio de la lápida horizontal, elevada o a ras de suelo,y preeminencia de la combinación de inscripciones en hebreo y español, aunque las más antiguas, incluyendo las de los Sabal, están solo en español. La mayoría están elaboradas en mármol de colores claros. El conjunto refleja la austeridad propia de la tradición judía en asuntos funerarios y de una comunidad incipiente, incluso en los panteones de las familias más pudientes.
En las lápidas predominan los apellidos sefardíes de origen marroquí, (Chocrón, Benatar, Levy, Benacerraf, Benaím, etc.), en otras se reconoce el origen mesooriental (Mizrahi, Alazraqui, etc.), unas pocas corresponden a descendientes de los predecesores curazoleños y hay 10 lápidas de judíos askenazíes (origen centroeuropeo), que para entonces no tenían terreno propio. Llama la atención que este panteón no cuenta con una sección específica para los cohanim (descendientes de los sacerdotes): las 13 lápidas que pertenecen a difuntos de apellido Cohén están dispersas entre el resto.
Hoy en día, con posteriores ampliaciones, el cementerio constituye una sola parcela de forma irregular con extensión de 1.400 m2. Se encuentra completamente rodeado por un muro de altura variable y un portón de entrada. Hay un total de 379 fosas, unas pocas sin lápidas o con inscripciones ilegibles. El último entierro tuvo lugar en 2002.
En 1999 se efectuó un levantamiento planimétrico, el cual permitió determinar la ubicación exacta de cada sepultura, que posteriormente fue cotejada con la respectiva foto tomada en 2015. En líneas generales el panteón se encuentra en buen estado, gracias al cuidado de la AIV. Está ubicado muy cerca de la entrada del cementerio y ya no está en uso.
