又记一奇事。
“熙隆十二年冬，乐公言与太祖：‘臣有不情之请。愿辞官从商。’太祖惊而拒之。
“乐公谓上曰：‘重农抑商由来已久，自春秋至今，已有千年，霎时间难以逆转。臣当作表率，辞太尉之职而从商，愿告示世人，商途亦乃正途，世上并非万般皆下品，唯有读书高。’
“太祖见其心意已决，遂准之，又传圣旨至乐府，封乐公为安国侯，赐良田千亩。
乐公拒之曰：“臣本军中一卒，只求苟全性命于乱世，然陛下不以臣之卑微，破格提拔，微臣得以一展抱负。此赏识之恩，臣万死不能报其一二，建功立业，实乃分内之事也，臣实不敢受也。’
“太祖劝曰：‘卿家言重，若无卿家，何来朕之江山？况且，卿家不为自身，亦需虑及卿之子孙后代也。’
“乐公答言：‘子孙若如我，要此爵位良田何用？贤而多财，则损其志；子孙不如我，更不能受也，愚而多财，益增其过。’
看到此处，乐琳感叹，乐山还真是明白人。
尽管这些史书都没有明说，但从侧面推测，当时的乐山或许已经功高震主。
急流勇退，要智慧，更要勇气，而他这番子孙贤愚的说法，既有哲理，又保存了与皇帝的情分。
民间野史，从来都是讲坏话的多，这本《乐公传》对乐山的评价却是十分的高：
“乐公从商，建食肆、客栈、米铺等民生日用，价格公道、童叟无欺，世人多受其惠。又组专贩丝绸、茶叶、药材之商队，赴边境与西夏、契丹互市，与其市马而换之，各取所需，边境之宁，大得益于此。
“熙隆十八年秋，乐公携茶丝瓷器，率商船队赴东瀛、高丽，遇风浪，乐公所乘之船沉于琉球。太祖其后遣人往琉球寻乐公尸首，未果。
“太祖闻此讯，追封乐公为安国侯，又谓皇后符氏曰：‘芸芸众生，所求不过温饱安逸，朕为其创盛世，未有负也；宫中佳丽，盼帝王恩宠，朕雨露均霖，亦未有负；群臣百官，望拜相封侯，朕令有能者居之，更未有负；然有乐慕仁，自军中献药起，屡出其策，屡救朕于水深火热，从未有所求。
“朕自问无愧天地，却唯负一人。’遂郁郁不展，翌年春，薨。”