辛彦之是陇西狄道人。

祖父辛世叙，西魏凉州刺史。

父亲辛灵辅，北周渭州刺史。

辛彦之九岁时父亲去世，他不与不三不四的人交往，广泛涉猎经史之书，与天水的牛弘志同道合，爱好学习。

后进入关内，在京兆定居。

周太祖器重他，召引他做中外府礼曹，赏赐给他衣马珠玉。

当时国家初创，各种制度、礼仪还没有健全，而朝中大臣大多是行武出身，修定礼仪典章，只有辛彦之而已。

太祖不久拜辛彦之为中书侍郎。

周闵帝即位后，辛彦之与少宗伯卢辩专管礼仪制度。

周明帝、周武帝年间(557～578)，辛彦之历任典祀、太祝、乐部、御正四曹大夫，封开府仪同三司。

辛彦之奉命迎接突阙皇后回朝后，皇上赠给他二百匹马，封为龙门县公，食邑千户。

不久，晋爵为五原郡公，增加食邑一千户。

周宣帝即位后，授彦之为少宗伯。

隋高祖即位后，升辛彦之为太常少卿，改封任城郡公，进位上开府。

不久调任国子祭酒。

一年多后，高祖拜辛彦之为礼部尚书，和秘书监牛弘作《新礼》一书。

吴兴人沈重有博学之名，高祖曾令辛彦之与沈重辩论学问，沈重辩不过他，于是退席谢罪说：“辛君的学识就像金城汤池，我无法攻破它。”高祖大喜，后拜辛彦之为隋州刺史。

当时各州的长官大都向朝廷上贡珍宝玩物，只有辛彦之上贡的都是祭礼之物。

高祖非常喜欢，对朝臣说：“人怎么能没有学问，辛彦之的上贡方式，很有古人的遗风。”辛彦之调任潞州刺史，他前后任职之处，都有仁政之名。

辛彦之信仰佛教，在城内修佛寺两所，都高十五层。

开皇十一年(592)，潞州人张元突然死去，几天后却意外地活了。

张元说他云游天上，看见一所新建的房子，建制相当华丽。

张元问是怎么回事，人们说，这是潞州刺史辛彦之有功德，建造这所殿堂迎接他。

辛彦之听了并不高兴。

这一年他死在任上。

谥为“宣”。

辛彦之撰写的《坟典》一部，《六官》一部，《祝文》一部，《礼要》一部，《新礼》一部，《五经异义》一部，都流传于世。

他有个儿子叫辛仲龛，官至猗氏县令。