首页 > web前端 > js教程 > 正文

Netflix,但更好

碧海醫心
发布: 2025-02-07 08:06:01
原创
332人浏览过

netflix,但更好

免责声明:本项目与Netflix无关,仅为技术实验。

超越Netflix:构建更智能的电影推荐系统

Netflix作为流媒体巨头,拥有超过2亿用户和17000多部电影及电视节目,其推荐系统功不可没。该系统基于用户观看历史、相似节目、用户趋势和热门剧集等数据进行推荐。但如果我们能以更简便的方式复制这一功能呢?

本项目旨在构建一个简易的电影推荐系统,包含直接搜索、基于向量的推荐引擎以及AI内容推荐功能。

技术选型

本应用基于Next.js、Tailwind CSS和shadcn UI构建。项目灵感源于Tejas Kumar的DataStax电影推荐系统演讲,技术选型则借鉴了Lee Robinson的库存项目。为确保性能,我们使用Next.js的服务器端渲染(SSR)功能及图像组件进行图像预渲染和积极预取。数据存储采用Neon Cloud PostgreSQL数据库,Vercel AI SDK用于嵌入式搜索,并使用Prisma作为ORM。

数据准备

我们使用Kaggle上的开源数据集,包含8000多部电影和电视节目(CSV格式),直接导入数据库。OMDb API用于获取海报图像和IMDb评分。演示CSV文件使用cast作为列名,但在数据库中,我们使用_cast避免与数据库函数冲突。

COPY tmp_titles (show_id, title, description, director, genres, _cast, production_country, release_date, rating, duration)
FROM '/data/netflix_titles.csv'
DELIMITER ','
CSV HEADER;
登录后复制

为建立表间关系,我们创建了多个表,shows表作为主要数据来源:

CREATE TABLE "shows" (
    "id" SERIAL PRIMARY KEY NOT NULL,
    "title" TEXT NOT NULL,
    "poster" TEXT, -- 海报图片URL
    "description" TEXT, -- 简短描述
    "release_year" INTEGER, -- 发行年份
    "duration" TEXT, -- 时长
    "imdb_score" NUMERIC, -- IMDb评分
    "imdb_id" TEXT, -- IMDb ID
    "content_type" TEXT -- 类型 (电影或剧集)
);
登录后复制

接下来,创建actors表并建立与shows表的多对多关系:

CREATE TABLE "actors" (
    "id" SERIAL PRIMARY KEY NOT NULL,
    "name" TEXT NOT NULL,
    CONSTRAINT "actors_name_unique" UNIQUE("name")
);

CREATE TABLE "show_actors" (
    "show_id" INTEGER NOT NULL,
    "actor_id" INTEGER NOT NULL,
    CONSTRAINT "show_actors_show_id_actor_id_pk" PRIMARY KEY("show_id", "actor_id")
);
登录后复制

这使得我们可以关联节目和演员。通过递归,可以将演员链接到他们出演的节目。这通过匹配tmp_titles表中的节目和shows表,并解析_cast列来实现。

-- 将tmp_titles._cast中的演员插入actors表
WITH RECURSIVE split_cast AS (
    SELECT DISTINCT -- 去除空格并以逗号分割_cast字符串
        TRIM(UNNEST(STRING_TO_ARRAY(_cast, ','))) AS actor_name
    FROM tmp_titles
    WHERE _cast IS NOT NULL
)
INSERT INTO actors (name)
SELECT actor_name
FROM split_cast
WHERE actor_name != '' -- 跳过空字符串
ON CONFLICT (name) DO NOTHING;
登录后复制

类似过程应用于类别、导演和国家表。

全文搜索

为提升搜索功能,我们在shows表中添加search_text列,存储标题、描述、类型、演员、导演和类别的文本组合,方便全文搜索。我们使用PostgreSQL的pg_trgm扩展提高搜索效率。

-- 创建文本搜索扩展
CREATE EXTENSION IF NOT EXISTS pg_trgm;
-- 添加search_text列
ALTER TABLE "shows"
ADD COLUMN "search_text" TEXT;
-- 创建search_text列索引
CREATE INDEX "idx_shows_search_text_tsv" ON "shows" USING gin (to_tsvector('english', "search_text"));
登录后复制

迁移完成后,我们可以使用脚本填充search_text列:

// ... (代码片段,用于填充search_text列) ...
登录后复制

现在,我们可以使用search_text列执行全文搜索:

// ... (代码片段,用于执行全文搜索) ...
登录后复制

to_tsvector和to_tsquery函数用于匹配向量和查询。

基于AI嵌入的向量搜索

全文搜索功能强大,但不足以满足所有需求。我们需要支持语义搜索,用户可以根据给定标题或抽象标准查找相似节目。

Vercel AI SDK可以创建元数据的向量表示(嵌入),增强语义搜索。我们使用Mistral模型:

// ... (代码片段,使用Mistral模型生成嵌入) ...
登录后复制

我们定义Zod模式用于AI生成嵌入:

// ... (代码片段,定义Zod模式) ...
登录后复制

使用该模式,我们可以要求AI模型分析节目信息并生成元数据:

// ... (代码片段,生成元数据) ...
登录后复制

结果类似于《绝命毒师》的元数据:

// ... (《绝命毒师》的元数据JSON) ...
登录后复制

使用此元数据,我们在shows表中存储每个节目的嵌入,启用向量搜索。创建必要的扩展并添加新列:

-- 创建扩展
CREATE EXTENSION IF NOT EXISTS vector;
-- 添加embedding列
ALTER TABLE "shows"
ADD COLUMN "embedding" vector(1024);
-- 创建embedding列索引
CREATE INDEX "embeddingindex" ON "shows" USING ivfflat ("embedding" vector_cosine_ops);
登录后复制

然后,使用AI SDK生成并存储嵌入:

// ... (代码片段,生成并存储嵌入) ...
登录后复制

现在,我们可以查询最近邻:

// ... (代码片段,查询最近邻) ...
登录后复制

未来展望

您可以克隆项目仓库并在本地运行。实时演示链接(此处应插入链接)。您可以添加新功能,例如新的推荐类型或使用OpenAI或Gemini改进搜索。还可以扩展数据集,添加更多元数据。

总结

通过PostgreSQL、Next.js和AI驱动的嵌入,我们可以构建高效可扩展的推荐引擎。全文搜索和语义AI搜索相结合,提供更强大、个性化的体验。

参考链接

  • pgvector
  • pg_trgm
  • Prisma
  • Vercel AI SDK
  • PostgreSQL中的向量搜索
  • 向量与Prisma的相似性

以上就是Netflix,但更好的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号