如何计算MYSQL中两个string之间的相似度

如果我在mysql中有两个string:

 @ a =“欢迎使用堆栈溢出”
 @ b =“你好堆栈溢出”;

有没有办法使用MYSQL获得这两个string之间的相似性百分比? 这里例如3个词是相似的,因此相似性应该是这样的:
count(@a和@b之间的相似词)/(count(@a)+ count(@b) – count(intersection))
因此结果是3 /(4 + 4 – 3)= 0.6
任何想法是高度赞赏!

你可以使用这个函数(从http://www.artfulsoftware.com/infotree/queries.php#552获得警察;^ H ^ H ^):

CREATE FUNCTION `levenshtein`( s1 text, s2 text) RETURNS int(11) DETERMINISTIC BEGIN DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT; DECLARE s1_char CHAR; DECLARE cv0, cv1 text; SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0; IF s1 = s2 THEN RETURN 0; ELSEIF s1_len = 0 THEN RETURN s2_len; ELSEIF s2_len = 0 THEN RETURN s1_len; ELSE WHILE j <= s2_len DO SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1; END WHILE; WHILE i <= s1_len DO SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1; WHILE j <= s2_len DO SET c = c + 1; IF s1_char = SUBSTRING(s2, j, 1) THEN SET cost = 0; ELSE SET cost = 1; END IF; SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost; IF c > c_temp THEN SET c = c_temp; END IF; SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1; IF c > c_temp THEN SET c = c_temp; END IF; SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1; END WHILE; SET cv1 = cv0, i = i + 1; END WHILE; END IF; RETURN c; END 

并为XX%使用此function

 CREATE FUNCTION `levenshtein_ratio`( s1 text, s2 text ) RETURNS int(11) DETERMINISTIC BEGIN DECLARE s1_len, s2_len, max_len INT; SET s1_len = LENGTH(s1), s2_len = LENGTH(s2); IF s1_len > s2_len THEN SET max_len = s1_len; ELSE SET max_len = s2_len; END IF; RETURN ROUND((1 - LEVENSHTEIN(s1, s2) / max_len) * 100); END 

我不认为有一个很好的,单步查询方式来做到这一点 – 自然语言的东西主要是为了“谷歌般的”search,这听起来不同于你想要做的。

根据你实际要做的事情 – 我假设你已经遗漏了很多细节 – 我会:

  • 创build一个表格,将每个string拆分成单词,全部用小写字母表示,空出标点符号 – 在你的例子中,最后是:

     string_id word 1 hello 1 from 1 stack 1 overflow 2 welcome 2 from 2 stack 2 overflow 

然后,您可以对该表运行查询 – 例如

 select count(*) from stringWords where string_id = 2 and word in (select word from stringWords where string_id = 1); 

给你的交集。

然后你可以创build一个函数或类似的按照你的公式计算相似度。

不是很干净,但它应该performance得相当快,它主要是关系型的,它应该主要是语言独立的。 为了处理可能的拼写错误,你可以计算soundex – 这可以让你比较“stack”和“stak”,看看他们真的有多相似,尽pipe这对英语以外的语言来说并不可靠。

你可以试试SOUNDEXalgorithm,看看这里:)

SOUNDEX MySQL

编辑1:

也许这个关于MySQL自然语言处理的链接可能是有用的

自然语言全文search

如何find相似的结果并按相似性sorting?

HTH!

如果您不想编写自己的algorithm,这可能对您有所帮助:

http://dev.mysql.com/doc/refman/5.0/en/fulltext-natural-language.html