相传汉代闽越国有一男子被强征戍边，其妻终日望归。后来同去戍边者都回来了，惟有其夫未返。妻思念更切，终日立于村前道口树下，朝盼暮望，哭断柔肠，泣血而死。后来树上忽结荚果，其籽半红半黑，晶莹鲜艳，人们视为贞妻的血泪凝成，称为“红豆”，又叫“相思子”。
唐朝诗人王维有首脍炙人口的咏情诗：“红豆生南国，春来发几枝，愿君多采撷，此物最相思。”借物抒情表达相思，委婉含蓄，成为千古传诵的名诗。但王维所说的“红豆”是指豆科植物“相思子”的种子，而中药“红豆”是指豆科植物赤小豆或赤豆的干燥成熟种子，也称“赤小豆”。
赤小豆，又名红豆、红小豆、赤豆、朱豆，为豆科一年生半缠绕草本植物赤小豆的成熟种子，全国各地均有栽培，夏秋荚果成熟时采收，晒干，收集种子备用。中医认为，赤豆性味甘、酸、平，归心、脾、小肠经，有健脾益气、利水除湿、解毒排脓之功。本品甘能补脾，性善下行而利水，为滋养性食疗佳品，对脾虚湿盛、水肿胀满、肢体重困等，疗效甚佳。《神农本草经》言其“消热毒痈肿，散恶血不尽，烦满，治水肿及肌胀满”。《食疗本草》言其“甚治脚气及大腹水肿，散气，去关节烦热，令人心孔开，止小便数”。
需要注意的是：赤小豆来源有二，功效应用大致相同，赤小豆偏凉，药用力优;赤豆甘平略偏于补，多当食物。现在二者已混用。豆科植物相思子的种子，俗称“红豆”，辛、苦、平，有大毒，与赤小豆不可混用，以免中毒。