generator client {
  provider        = "prisma-client-js"
  previewFeatures = ["postgresqlExtensions"]
}

datasource db {
  provider   = "postgresql"
  url        = env("DATABASE_URL")
  extensions = [vector()]
}

model Memo {
  id         String          @id @default(uuid())
  content    String
  createdAt  DateTime        @default(now())
  updatedAt  DateTime        @updatedAt
  embeddings Embedding[]
}

model Memo {
  id                 Int          @id @default(autoincrement())
  content            String
  embeddings         Embedding[]
}

model Embedding {
  id                 Int       @id @default(autoincrement())
  memoId             Int
  memo               Memo    @relation(fields: [memoId], references: [id], onDelete: Cascade)
  content            String
  vector             Unsupported("vector") // pgvectorで定義されるvector typeのデータ
}

English,Japan
"You don't have to see the whole staircase, just take the first step.",階段全体を見る必要はありません。最初の一歩を踏み出すだけです。
Your dreams are never too big; your expectations are just too small.,あなたの夢は大きすぎることはありません。あなたの期待は小さすぎます。
"Make your life a masterpiece; imagine no limitations on what you can be, have, or do.",あなたの人生を傑作にしましょう。自分がなれること、持つこと、できることに制限がないことを想像してください。
"The greatest danger for most of us is not that our aim is too high and we miss it, but that it is too low and we reach it.",私たちのほとんどにとって最大の危険は、目標が高すぎて目標を達成できないことではなく、目標が低すぎて目標を達成してしまうことです。
"Your life does not get better by chance, it gets better by change.",あなたの人生は偶然によって良くなるのではなく、変化によって良くなります。
"Aim for the moon. If you miss, you may hit a star.",月を目指してください。ミスするとスターに当たる可能性があります。
"There is no passion to be found playing small, in settling for a life that is less than the one you are capable of living.",自分の能力以下の人生に甘んじて、小さなことをする情熱は見出されません。
You are capable of more than you know.,あなたには自分が知っている以上のことができるのです。
"If you can dream it, you can achieve it.",それを夢見ることができれば、それを達成することができます。
You have to be odd to be number one.,ナンバーワンになるには奇妙でなければなりません。
"Success is not in what you have, but who you are.",成功はあなたが持っているものではなく、あなたが誰であるかにあります。
"It's not about how hard you hit, it's about how hard you can get hit and keep moving forward.",どれだけ強く打つかではなく、どれだけ強く打たれても前に進み続けることができるかが重要だ。
Life is what happens when you're busy making other plans.,人生とは、他の計画を立てるのに忙しいときに起こるものです。
"Believe in yourself, take on your challenges, dig deep within yourself to conquer fears.",自分を信じて挑戦し、自分の内面を深く掘り下げて恐怖を克服しましょう。

import { PrismaClient } from '@prisma/client';
import { OpenAIEmbeddings } from 'langchain/embeddings/openai';
import { RecursiveCharacterTextSplitter } from 'langchain/text_splitter';

const prisma = new PrismaClient();

const memos = await prisma.memo.findMany();

const openAIEmbeddings = new OpenAIEmbeddings();

memos.forEach(async (memo) => {
  // OpenAIのEmbedding APIに送れるトークン数に制限があるので、適当な長さで区切ります
  const splitter = new RecursiveCharacterTextSplitter({
    chunkSize: 500,
    chunkOverlap: 20,
  });
  const documents = await splitter.createDocuments([memo.content]);
  const contents: string[] = documents.map(({ pageContent }) => pageContent);

  // 分割したテキストと、テキストのembeddingを紐付ける
  await Promise.all(
    contents.map(async (content) => {
      const vector = await openAIEmbeddings.embedDocuments([content])
      console.log({ content })
      return prisma.$executeRaw`
                        INSERT INTO "Embedding" (
                            "id",
                            "content",
                            "memoId",
                            "vector"
                        )
                        VALUES (
                            DEFAULT,
                            ${content},
                            ${memo.id},
                            ${`[
                                ${vector.join(",")}
                                ]`}::vector
                        )`
    })
  );
});

"scripts": {
  "vectorize": "ts-node --esm ./vectorize.mts"
},

$ pnpm vectorize

> [email protected] vectorize /home/shwld/projects/try/openai-similarity-search-sample
> ts-node --esm ./vectorize.mts

{ content: 'これは 10 語以上の単語が含まれる例文です。' }
{ content: '子どもたちの遊ぶ笑い声が耳に音楽となって、心が温かくなります。' }
{ content: '彼はギターがとても上手で、その音楽的才能でみんなを魅了します。' }
{ content: '焼きたてのクッキーの香りが漂い、心地よい気分にさせてくれます。' }
{ content: '私はポジティブ思考の力と、それが現実を形作る力を信じています。' }
{ content: '愛する人たちと一緒にいると、心に温かさと幸福がもたらされます。' }
{ content: '朝の鳥のさえずりが、自然の美しさを優しく思い出させてくれます。' }
{ content: '海岸に打ち寄せる波の音は、海の広大さと力強さを思い出させます。' }
{ content: '朝、鳥のさえずりを聞くと、楽観的な気持ちと希望が湧いてきます。' }
{ content: '私は人々が本来持っている善良さと思いやりの能力を信じています。' }
{ content: '私は瞑想し、自分の内なる自己とつながることで平安を見出します。' }
{ content: '私は正義と平等のために声を上げる人々の勇気に触発されています。' }
{ content: '星空を眺めると、畏怖の念と不思議な気持ちでいっぱいになります。' }
{ content: '彼はギターがとても上手で、その音楽的才能でみんなを魅了します。' }
{ content: '子どもたちの遊ぶ笑い声が耳に音楽となって、心が温かくなります。' }
{ content: '焼きたてのクッキーの香りが漂い、心地よい気分にさせてくれます。' }
{ content: '私はポジティブ思考の力と、それが現実を形作る力を信じています。' }
{ content: '朝の鳥のさえずりが、自然の美しさを優しく思い出させてくれます。' }
{ content: '愛する人たちと一緒にいると、心に温かさと幸福がもたらされます。' }

import { Embedding, Prisma, PrismaClient } from "@prisma/client";
import { OpenAIEmbeddings } from "langchain/embeddings/openai";
import { PrismaVectorStore } from "langchain/vectorstores/prisma";

const prisma = new PrismaClient();
const vectorStore = PrismaVectorStore.withModel<Embedding>(prisma).create(
  new OpenAIEmbeddings(),
  {
    prisma: Prisma,
    tableName: "Embedding",
    vectorColumnName: "vector",
    columns: {
      id: PrismaVectorStore.IdColumn,
      content: PrismaVectorStore.ContentColumn,
    },
  }
);

// 検索したい文字をコマンドライン引数から受け取る
const args = process.argv.slice(2);

const searchText = args.join(' ');

console.log("searchText", searchText)

const result = await vectorStore.similaritySearch(searchText, 5)
console.log({ metadata: result.map(it => it.metadata) })
const embeddingIds: number[] = result.map((result) =>
  result.metadata.id
);

// DB内から取得
const embeddingRecords = await prisma.embedding.findMany({ where: { id: { in: embeddingIds } }, include: { memo: true } });

// 類似度の高い順に並べたメモを取得する
const memosOrderedByRelatedness = embeddingIds.map((id) => embeddingRecords.find((record) => record.id === id)?.memo);

console.log({ memosOrderedByRelatedness })

"scripts": {
  "start": "ts-node --esm ./search.mts"
},

$ pnpm start さようなら

> [email protected] start /home/shwld/projects/try/openai-similarity-search-sample
> ts-node --esm ./search.mts "さようなら"

searchText さようなら
{
  metadata: [
    { id: 18, content: 'さようなら！', _distance: 0.037431886141684356 },
    { id: 15, content: '良い１日を！', _distance: 0.1411417779062233 },
    { id: 20, content: 'ごめんなさい。', _distance: 0.1500157844641241 },
    { id: 9, content: 'また後で！', _distance: 0.1572120581664358 },
    { id: 19, content: '今何時ですか？', _distance: 0.15959957531603297 }
  ]
}
{
  memosOrderedByRelatedness: [
    { id: 69, content: 'さようなら！' },
    { id: 67, content: '良い１日を！' },
    { id: 14, content: 'ごめんなさい。' },
    { id: 68, content: 'また後で！' },
    { id: 17, content: '今何時ですか？' }
  ]
}

$ pnpm start 映画の話

> [email protected] start /home/shwld/projects/try/openai-similarity-search-sample
> ts-node --esm ./search.mts "映画の話"

searchText 映画の話
{
  metadata: [
    { id: 63, content: '映画は何時に始まりますか？', _distance: 0.127190263709698 },
    {
      id: 75,
      content: 'あなたの好きな映画は何ですか？',
      _distance: 0.13672970711009336
    },
    {
      id: 518,
      content: 'その映画はエキサイティングかつサスペンスフルで、私は終始ハラハラしたままでした。',
      _distance: 0.15585349371544277
    },
    {
      id: 523,
      content: 'その映画はエキサイティングかつサスペンスフルで、私は終始ハラハラしたままでした。',
      _distance: 0.15585349371544277
    },
    { id: 14, content: '考えがある。', _distance: 0.1742977118483362 }
  ]
}
{
  memosOrderedByRelatedness: [
    { id: 72, content: '映画は何時に始まりますか？' },
    { id: 48, content: 'あなたの好きな映画は何ですか？' },
    { id: 88, content: 'その映画はエキサイティングかつサスペンスフルで、私は終始ハラハラしたままでした。' },
    { id: 242, content: 'その映画はエキサイティングかつサスペンスフルで、私は終始ハラハラしたままでした。' },
    { id: 45, content: '考えがある。' }
  ]
}