قام بإنشاء هذا القصر الشيخ علي بن موسى بن كدسه احد أعيان المنطقة، وأحد أعضاء أول مجلس بلدي في إمارة الظفير عندما كانت قاعدة المنطقة، وأحد عقّادة سوق السبت وعريفة قريته (دار السلمية) ‏وقد بدأ الشيخ علي بن كدسه بإنشاء قصره في عام ١٣٢٠هـ وأتم البناء في منتصف ١٣٢٣هـ، وقد سكن به حتى عام ١٣٧١ حيث تم انتقال الأمارة من الظفير الى بلجرشيي، واصبح القصر قصر ديوان الأمارة وسكناً لأميرها عبدالعزيز بن عبدالرحمن بن سويلم، ‏وفي عام ١٣٧٩ هـ خلفه الأمير سعود بن عبدالرحمن السديري، وقد شهد هذا القصر حفل استقبال الأمارة للملك سعود عندما زار المنطقة عام ١٣٧٤ هـ، وقد قامت هيئة السياحة والآثار (سابقاً ) باعتماده معلماً سياحياً وأثرياً بالمنطقة.