卜姓来源主要有二。一是源自上古的巫师，一是源自匈奴复姓须卜氏。汉族卜姓都是出自古代从事占卜职业的，属于以职官、职业为姓，所以估计子夏的先祖也曾做过卜人。
但到了子夏父亲这一代，应该已经远离卜盆之事了，因为家里已经很穷了。《荀子》中载：“子夏家贫，衣若县鹑。”“鹑”，一种小鸟，羽毛很短，尾巴上的毛更短，基本上是秃的；若县（悬）起来，羽毛更是无法遮盖身体。故用“衣若县鹑”来形容人的衣着，就是指这个人家境贫寒、衣不蔽体。
民间传说，子夏的父亲叫卜周启，母亲叫田氏，都是贫苦的庄稼人，但生的这个小孩子夏却很神奇，而且和武王庙很有缘分。
神奇之一：子夏是搁月生人，还是搁双月生人。也就是说田氏怀了子夏十二个月。搁月生的人似乎都很神奇，比如南方人信仰的妈祖，也是搁双月生人。
神奇之二：子夏生在武王庙，是武王爷点头才生的。说是公元前507年5月的一天，身怀六甲已足足十二个月的田氏，见孩子迟迟不肯降生，周围邻居们又是指指点点，心中甚是焦急，就背着卜周启偷偷去武王庙上香，期盼孩子平安。谁知三柱香刚刚烧完，就感到腹中疼痛，田氏想肯定是武王爷显灵，孩子要出生了。于是，急忙想往家返，可是肚疼一阵紧似一阵，竟一步也不能走动。奇怪的是，往常热闹的武王庙今天竟然一个香客也没有，就连庙里的道人竟然也出外云游了。田氏一直折腾到傍晚，情急之下，不仅吃了武王爷供台上的供品，还将孩子产在了武王庙内。危难之时，一老翁忽然来到武王庙，询问过情况后便摸黑到卜周启家报讯。在老人的帮助下，卜周启用独轮推车将子夏母子推回家中。安顿好子夏母子后，卜周启连忙向老人拜谢，可老翁却哈哈一笑，飘然东去。此时，东方已渐渐发白，一头雾水的卜周启顺着老翁渐渐消失的身影望去，却看到了天边那颗明亮的商星。卜周启恍然大悟，知道是神仙下凡帮忙，赶忙下跪拜谢。思来想去，卜周启便给这个孩子起名叫商，字子夏，一来是感念老翁的救命之恩，二来是孩子出生正值初夏，三来商星过后将是旭日东升、夏季则是万物生长的季节，企盼儿子能够使家业振兴。
神奇之三：子夏特别聪明。或许真是武王爷显灵，子夏从小就特别爱学习。七八岁时，村中识字断文的人他就都讨教完了。于是，子夏就总是躲在大户人家的私塾窗外偷学。主人问明缘由后，甚是感叹，便让他进屋内学习，并且中午还管吃饭。到十五六岁时，私塾先生肚里的学问已全部教给他了，可子夏还是有一大堆问题，常常把老师问得无言以对。老师找到子夏的父亲，劝他想法让子夏去投奔孔子继续学习。可是，孔子此时正处于人生的最低谷，整天奔波在游说列国的路上，一会儿在卫、一会儿在宋、一会儿在郑、一会儿在陈，不但行踪不定，而且衣食无安。所以，子夏的父亲犹豫再三，未敢让子夏前往。叹息之余，老师想起了隐居本县君子村（现巨柏村）的蘧伯玉，于是便引子夏前去拜见。说明来意后，蘧伯玉甚是高兴。从此，子夏一边帮家里干活，一边抽空就向蘧伯玉请教，知识有了长足的进步。
神奇之四：子夏显名也是在武王庙。由于君子村就在同盟山旁边，且子夏又生在同盟山，于是求教过程中，子夏经常登临同盟山，拜武王、思心得。话说一天，子夏又到同盟山思心得，不想遇到两人在厮打，问起原因，原来两人同时用箭射中一只野鸡，为了野鸡的归属而相争。子夏开导二人道：做人首先要注意讲礼重义，堂堂七尺男儿为一只野鸡拼命岂不叫人笑话？见小小年纪的子夏说在理，两便停止争斗。子夏又说：大丈夫能进能退，一味逞强好胜不是英雄好汉，只有胸怀博大、容纳天下才能成就大事。二人无言以对，便欲离开。谁知，邑宰在一旁已静观多时，见二人要溜，便喝令差役将这二人抓起来进行教训。子夏连忙劝阻，说到：教他们懂得道理比拘捕他们更重要。邑宰认为朽木难以雕刻成器，愚顽无知之辈只有受些皮肉之苦才能奏效。子夏说：皮肉之苦只能触其外表，对民众晓之以理，导之以行才是古圣人所提倡的。邑宰觉得子夏说的有理，便惩罚二人在同盟山西面筑起一座高台，让子夏抽闲到上面讲解圣贤经典，用以教化民众，淳朴民风。于是，小小年纪的子夏一下子成了南阳城的名人了，同盟山也凭空多了座“子夏解经坨”。只是天长日久，现在此坨早已无处寻觅了。
讲经坨没了，可是，子夏与武王庙的缘份还在继续。