JavaScript自然语言处理实践

JavaScript在NLP中应用广泛，尤其适用于前端场景。1. 使用Natural库可实现分词、词干提取、相似度计算等基础处理；2. Compromise库适合浏览器端轻量级NLP，支持实体提取与情感分析；3. 借助TfIdf类可实现关键词提取与文本摘要；4. 利用Bayes分类器可构建意图识别系统，适用于聊天机器人等交互场景。

JavaScript在自然语言处理（NLP）中的应用正变得越来越广泛，尤其在前端场景中，比如聊天机器人、文本分析、情感识别和关键词提取等。虽然Python是NLP的主流语言，但借助现代JavaScript库和浏览器能力，我们也能在客户端高效实现基本的自然语言处理功能。

1. 使用Natural库进行基础文本处理

Natural 是一个流行的 Node.js NLP 库，支持分词、词干提取、词性标注、相似度计算等功能。

npm install natural

• 分词（Tokenization）：将句子拆分为单词

const tokenizer = new natural.WordTokenizer();
console.log(tokenizer.tokenize("Hello world, how are you?"));
// 输出: ["Hello", "world", "how", "are", "you"]

立即学习“Java免费学习笔记（深入）”；

• 词干提取（Stemming）：将单词还原为词根

console.log(natural.PorterStemmer.stem("running")); // 输出: "run"

• 文本相似度：使用Jaro-Winkler算法比较字符串相似度

const similarity = natural.JaroWinklerDistance("martha", "marhta");
console.log(similarity); // 输出: 0.94...

2. 在浏览器中使用 Compromise 进行轻量级NLP

Compromise 是专为浏览器设计的轻量级NLP库，适合处理用户输入、提取实体或理解句子结构。

• 提取名词、动词、日期等：

const doc = nlp("I bought a laptop yesterday.");
console.log(doc.nouns().out()); // "laptop"
console.log(doc.verbs().out()); // "bought"
console.log(doc.dates().out()); // "yesterday"


OpenAI Codex
可以生成十多种编程语言的工作代码，基于 OpenAI GPT-3 的自然语言处理模型
下载
• 情感倾向判断（配合插件）：

可结合 compromise-sentiment 插件做简单情感分析：
doc.sentiment().score; // 值范围 -1 到 1

3. 实现关键词提取与文本摘要

通过 TF-IDF 或词频统计，可以在 JavaScript 中实现关键词提取。

• 给多段文本添加文档，自动计算关键词权重

const tfidf = new natural.TfIdf();
tfidf.addDocument("The sky is blue.");
tfidf.addDocument("The sun is bright.");

tfidf.tfidfs("The sun in the sky is bright", function(i, measure) {
console.log("文档 " + i + ", 得分 : " + measure);
});

• 输出每个词在文档中的重要性，可用于提取关键词

4. 构建简单的意图识别系统

结合分类器（如 BayesianClassifier），可以识别用户输入的意图。

const classifier = new natural.BayesClassifier();

classifier.addDocument(["search", "find", "look for"], "query");
classifier.addDocument(["buy", "order", "purchase"], "order");
classifier.train();

console.log(classifier.classify(["I want to buy a book"])); // 输出: "order"

这种模式可用于表单预处理或对话系统路由。