赵伦之字幼成，下邳僮县人，是孝穆皇后的弟弟。少年时父亲早死，家庭贫困，赵伦之对母亲非常孝顺，并以此显名。刘裕起义，赵伦之因为战功被封阆中县五等侯，多次升官，一直到雍州刺史。武帝北伐，赵伦之派顺陽太守傅弘之、扶风太守沈田子从山尧柳出击，在蓝田大破姚泓的秦军。到武帝称帝，赵伦之因为是开国功臣，被封为霄城县侯、安北将军，镇守襄陽。少帝继位，赵伦之被调任为护军将军。元嘉三年(426)，赵伦之被任为镇军将军，不久又升为左光禄大夫和领军将军。

赵伦之虽然因为是外戚而当了大官，但他很俭朴淡然，性格粗野朴实。人情世故，很多不知道。因长期当一方大吏，很是富有，到京任护军将军，财务不如先前那么多，他以为是职务降低了。光禄大夫范泰喜欢对他开玩笑说：“司徒官职正空缺，一定会用你这老家伙，我不说你的资格，仅说是外戚高爵的秩序就该轮到你。”赵伦之非常喜欢，每每带着酒肴拜访范泰。五年(428)，赵伦之逝世，他的儿子赵伯符继承他的封爵。