jina-code-embeddings-1.5b

jina-code-embeddings-1.5b は 1.5B パラメータのコード埋め込みモデルで、プログラミングコードと自然言語クエリを共有する 1536 次元の意味空間にマッピングします。32K トークンのコンテキストウィンドウをサポートし、ファイル全体や複数ファイルのコードコンテキストでの検索を可能にします。state-of-the-art のコード検索性能を達成し、0.5B の兄弟モデルや、大幅に大きな専用コード検索モデルを大きく上回ります。

モデルは、自然言語コーパスとコードコーパスの両方で事前学習された自己回帰型トランスフォーマーバックボーンに基づき、コード生成事前学習の目標を利用して豊かな意味的表現を生成します。シーケンスの最終位置から Last-Token-Pooling により埋め込みを抽出します — 自己回帰モデルの因果的アテンションは自然に完全な入力コンテキストを参照し、コード生成目標は統語構造と機能的意味の両方を捉える表現を生成します。学習は 2 段階のレシピを使用します：(1) 大規模なコード-テキストペアでの対比事前学習、(2) ハードネガティブマイニングを用いた精選コード検索データセットでの教師ありファインチューニング。32K のコンテキスト長は、調整済みの基礎周波数を持つロータリー位置埋め込みによって実現されています。Matryoshka 表現学習により、次元を 1536 から 128 まで切り詰めることができる。

モデルは全体平均 79.04%、MTEB Code 平均 78.94% を達成し、そのパラメータクラスにおいて新たなベンチマークを樹立しました。注目すべきスコア：HumanEval 98.41%、MBPP 90.13%、WikiSQL 98.02%、CodeChefXLang 99.44%、CodeTransOceanContest（コード対コード）92.54%、COIR-CodeSearchNet（NL2Code）86.45%、Doc2Code 96.34%、StackOverflowQA 92.37%、SWE-Bench 86.33%（0.5B バリアントは 83.00%）。より大きな代替案を上回り、特に複雑な複数ファイル・クロスリポジトリタスクで 0.5B バリアントに対して一貫した改善を示しています。

検索要件に基づいて指示プレフィックスを戦略的に使用してください：nl2code、code2code、code2nl、techqa、code2completion。パイプライン全体で一貫性を保ってください — 与えられた検索シナリオでは、クエリと文書に同じプレフィックスタイプを使用してください。強化された 1.5B の容量は、複数のプログラミングパラダイムや大規模なコードベースを扱う複雑なシナリオに最適です。品質とリソースの最適な Matryoshka 次元バランスを決定するためにユースケースのプロファイリングを行ってください。インデックス作成には 256–512 次元が良い出発点で、リランキングには 1536 次元です。生産環境ではトレーニングとの整合のためバッチサイズ 256 を使用してください。99.44% の CodeChefXLang 性能を踏まえ、クロスリポジトリおよびクロス言語検索に秀れています。RAG システムのプライマリ検索コンポーネントとして実装し、トップ 50 候補の精度のため jina-reranker-v3.5 と組み合わせましょう。埋め込みの比較にはコサイン類似度を使用してください。性能と効率をサブセカンドのレイテンシで両立するエンタープライズデプロイメントに最適です。