Como muchas de las razas orientales, el Shar Pei es muy antiguo, dado que sus orígenes se remontan a la era Han (206 a. de C.-220 d. de C.). En aquella época se supone que eran muy apreciados puesto que se han encontrado en multitud de tumbas numerosos objetos y estatuillas que representan perros con unas características similares al Shar Pei.

Precisamente por su antigüedad es muy difícil determinar con precisión sus orígenes, ya que aunque en su momento los hubiera no se han encontrado documentos que avalen ningún dato. Por eso las hipótesis que se han desarrollado se basan en las costumbres chinas a lo largo de su historia. Entre ellas el interés que mostraron en determinadas épocas por la cría de perros destinados a muy diversos fines.

Se especula con la posibilidad de que su lugar de origen sea Dah Let (Tai Leh), perteneciente a la provincia china de Tung. Respecto a las razas que intervinieron en su formación, se cree que el Chow Chow tiene cierta relación con él debido a la coloración azulada de su lengua, aunque esta circunstancia puede no ser determinante pues en el continente asiático hay muchas razas caninas no conocidas en Occidente que poseen esta característica. Otro de sus antepasados pudo ser el Dah-Let Fighting Dog, que fue usado como perro de pelea. Esta raza poseía la piel suelta para que sus contrincantes tuvieran mayores dificultades para dañarle gravemente. Entre las actividades que pudieron llevar a cabo los primeros Shar Pei también se encuentra la caza y la guarda. Hay que destacar que en China a todos los perros guardianes se les llama «fighting dog», es decir, perros de pelea.

Las características de la raza se desarrollaron a través de cruces selectivos, para proporcionar una piel perfectamente arrugada sin llegar a la exageración, así como la especial configuración del pelaje, áspero y muy desagradable si es mordido por un contrincante, además de que el perro lo puede erizar durante la pelea. Shar Pei significa «piel de arena».

Dado que el régimen comunista consideraba un lujo la tenencia de perros, Mao Tse-tung decretó que se exterminaran masivamente. Así, los pocos Shar Pei que se salvaron estaban en Hong-Kong, Macao y Taiwan. Uno de sus más fieles criadores, el señor Matgo Law, que residía en Hong-Kong, ante el temor de que se repitieran los hechos cuando esta ciudad pasara a manos chinas a finales del siglo XX, escribió a una revista estadounidense especializada solicitando ayuda para asegurar el futuro de la raza. La respuesta más contundente procedió del señor Ernest Albright, a quien se considera el benefactor de la raza en Occidente debido a que gracias a él fue conocida internacionalmente.

En 1988 el American Kennel Club admite que participen en las exposiciones en el apartado Miscelánea. Sin embargo, no es hasta 1992 cuando se le reconoce como raza. La FCI publica el estándar del Shar Pei en 1994.