【AI】（十二）使用 infinity 部署 Embedding 嵌入模型

小渣渣

需求：上次写了一篇关于如何选择 Embedding Model 嵌入模型的文章，选择好嵌入模型后，该如何部署呢？

Infinity

Infinity 是一种高吞吐量、低延迟的 REST API，用于提供文本嵌入、重新排序模型、clip、clap 和 colpali。MIT 开源协议。

源码：超链接登录可见。
文档：超链接登录可见。
参数：超链接登录可见。

为什么选择 Infinity

• 部署来自 HuggingFace 的任何模型：部署来自HuggingFace的任何嵌入、重新排名、剪辑和句子转换器模型
• 快速推理后端：推理服务器建立在PyTorch、optimum（ONNX/TensorRT）和CTranslate2之上，使用 FlashAttention 充分利用您的NVIDIA CUDA、AMD ROCM、CPU、AWS INF2或APPLE MPS加速器。Infinity 使用专用于工作线程的动态批处理和标记化。
• 多模式和多模型：混合搭配多种模型。Infinity 负责协调它们。
• 经过测试的实现：单元和端到端测试。通过无限的嵌入被正确嵌入。让 API 用户创建无限甚至更远的嵌入。
• 易于使用：基于FastAPI构建。Infinity CLI v2 允许通过环境变量或参数启动所有参数。OpenAPI 与OpenAI 的 API 规范一致。
  

Docker 部署 Infinity

本文使用 Docker 方式部署 Infinity CPU 版本，系统环境：Rocky Linux 9，CPU：N150，内存：16G，Docker 版本：27.4.1，嵌入模型：BAAI/bge-m3

在部署还是之前，先安装 git、git-lfs，命令如下：

登录可见。

下载 BAAI/bge-m3 模型（因为网络原因，建议先下载好模型），命令如下：

登录可见。

使用 Docker 部署 Infinity，命令如下：

登录可见。

等启动完成后，使用浏览器打开 http://ip:8081/docs，可以看到所有接口，如下图：



查看所有模型：



调用 Embedding 嵌入模型生成向量，如下图：

curl -X 'POST' \
  'http://192.168.50.112:8081/embeddings' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
  "model": "BAAI/bge-m3",
  "input": [
    "网名：小渣渣，主要技能：.NET 开发，介绍：架构师论坛站长"
  ]
}'

响应：

{
  "object": "list",
  "data": [
    {
      "object": "embedding",
      "embedding": [
        -0.027245311066508293,
        -0.014850551262497902,
        -0.02227184921503067,
        -0.019206328317523003,
        -0.011564090847969055,
        -0.05416429415345192,
        0.044106241315603256,
        -0.026088692247867584,
        -0.007909527979791164,
        0.0164843387901783,
        0.005676762666553259,
        0.02602650411427021,
        -0.002913400065153837,
        0.015175797045230865,
        0.042462799698114395,
        0.03459080308675766,
        0.019190305843949318,
        -0.0018509126966819167,
        -0.027370775118470192,
        0.0079954257234931,
        0.008809366263449192,
        0.012851220555603504,
        -0.00040530620026402175,
        0.013129389844834805,
        0.011601286008954048,
        -0.0015727856662124395,
        0.03299270197749138,
        -0.03861371427774429,
        0.027625570073723793,
        0.012865803204476833,
        0.039998918771743774,
        -0.003913293592631817,
        0.0027415102813392878,
        -0.03477398306131363,
        -0.028256064280867577,
        -0.03772727772593498,
        0.006065058521926403,
        0.0024699275381863117,
        -0.03178945556282997,
        -0.005799817852675915,
        -0.00235755811445415,
        0.03006104938685894,
        0.013092594221234322,
        0.0005344228120520711,
        0.06892083585262299,
        -0.025413136929273605,
        0.018512744456529617,
        -0.034197185188531876,
        -0.002593979937955737,
        0.03475729376077652,
        0.008362175896763802,
        -0.016349678859114647,
        -0.0026111325714737177,
        -0.014921565540134907,
        0.025245700031518936,
        0.026835381984710693,
        0.0026531287003308535,
        -0.050687555223703384,
        -0.05176747217774391,
        0.024379529058933258,
        -0.02986777573823929,
        0.05731828138232231,
        0.011445718817412853,
        -0.0075607928447425365,
        0.0017275369027629495,
        0.07245220988988876,
        0.013392213732004166,
        -0.028644049540162086,
        -0.01207874994724989,
        -0.03369108587503433,
        -0.022624770179390907,
        0.0011065308935940266,
        -0.02141602151095867,
        -0.0849086344242096,
        -0.027248937636613846,
        0.04522185027599335,
        0.02568553201854229,
        -0.035337790846824646,
        -0.002982976147904992,
        0.04396544024348259,
        0.039702389389276505,
        0.026425981894135475,
        0.04544759914278984,
        -0.03189517930150032,
        0.008138705976307392,
        0.0020779105834662914,
        0.001269645756110549,
        0.04890819266438484,
        -0.019680045545101166,
        -0.006436297204345465,
        0.009614288806915283,
        -0.005903289653360844,
        0.013492368161678314,
        -0.013662523590028286,
        -0.052747298032045364,
        0.008697296492755413,
        -0.04332173615694046,
        0.029157890006899834,
        0.024263456463813782,
        0.014416753314435482,
        0.002560767810791731,
        0.04652430862188339,
        -0.018887635320425034,
        -0.01915985532104969,
        0.04998371750116348,
        -0.051502738147974014,
        -0.02268318645656109,
        -0.03067002072930336,
        0.002569578355178237,
        -0.013529490679502487,
        0.03140668198466301,
        0.012017770670354366,
        0.02444332093000412,
        -0.0069199963472783566,
        -0.014183645136654377,
        -0.06281549483537674,
        -0.0015510236844420433,
        0.007914618588984013,
        -0.012133477255702019,
        -0.024846350774168968,
        0.04426250234246254,
        -0.02144857868552208,
        0.04432445019483566,
        -0.02162880077958107,
        0.030998818576335907,
        -0.02399834245443344,
        0.0026647066697478294,
        0.02091277576982975,
        -0.014589868485927582,
        0.026640335097908974,
        0.04604428634047508,
        0.0518823117017746,
        -0.02337903156876564,
        0.008776608854532242,
        -0.000997409108094871,
        -0.014379007741808891,
        0.033170707523822784,
        0.00895486306399107,
        -0.012935190461575985,
        -0.061505481600761414,
        0.022185470908880234,
        0.08045312762260437,
        -0.057721663266420364,
        -0.04566008225083351,
        0.029383061453700066,
        -0.05770790949463844,
        0.06616563349962234,
        0.0009399847476743162,
        -0.011971231549978256,
        0.020140450447797775,
        0.010735414922237396,
        -0.04751850664615631,
        -0.04782911762595177,
        0.003303068457171321,
        0.03286011889576912,
        -0.017544027417898178,
        0.01462765783071518,
        -0.015945449471473694,
        -0.007990260608494282,
        0.023239949718117714,
        0.011186781339347363,
        0.031131437048316002,
        -0.0103982612490654,
        0.002333210315555334,
        -0.0019314060918986797,
        0.010838308371603489,
        -0.003154405392706394,
        -0.0031563867814838886,
        -0.03137285262346268,
        0.029574720188975334,
        -0.026982860639691353,
        -0.0034754243679344654,
        0.0004513954627327621,
        -0.0002142756711691618,
        0.025814343243837357,
        0.01262874249368906,
        0.06258603185415268,
        0.011485685594379902,
        0.033748626708984375,
        -0.00424977345392108,
        -0.007739677093923092,
        0.020950626581907272,
        -0.008931655436754227,
        -0.021665625274181366,
        -0.0268449354916811,
        0.006017880514264107,
        -0.010669673793017864,
        -0.015589430928230286,
        -0.0009806212037801743,
        0.01432990562170744,
        -0.03329739347100258,
        -0.014568720012903214,
        0.030804414302110672,
        -0.003020957577973604,
        -0.0036802254617214203,
        -0.003579447278752923,
        0.011403475888073444,
        -0.0335053913295269,
        0.00485641323029995,
        -0.0018602507188916206,
        0.00448275962844491,
        0.017992651090025902,
        0.03838484361767769,
        0.035067372024059296,
        0.012090529315173626,
        0.028122413903474808,
        0.00005679177775164135,
        -0.02569519355893135,
        0.004511207342147827,
        0.022004565224051476,
        -0.0034282554406672716,
        0.004402092192322016,
        -0.004227209370583296,
        -0.031536150723695755,
        -0.07163746654987335,
        -0.008528804406523705,
        -0.009555818513035774,
        -0.008400737307965755,
        -0.038940347731113434,
        -0.04393797367811203,
        -0.011221234686672688,
        -0.0008825676632113755,
        0.005354838911443949,
        0.06782784312963486,
        0.01663806661963463,
        -0.000873840122949332,
        0.020875193178653717,
        0.020793016999959946,
        0.02131657674908638,
        -0.004996379371732473,
        -0.0005424617556855083,
        -0.03783266991376877,
        -0.036515116691589355,
        -0.023477619513869286,
        0.07498061656951904,
        -0.0068386010825634,
        -0.029485663399100304,
        -0.03403120115399361,
        0.006582577712833881,
        0.0022910647094249725,
        -0.0033640533220022917,
        0.001609412836842239,
        -0.005860914476215839,
        -0.009807645343244076,
        -0.004716351628303528,
        0.04444508999586105,
        -0.013447841629385948,
        0.01077392790466547,
        -0.004943554289638996,
        0.04671453312039375,
        0.0031414926052093506,
        -0.009238230995833874,
        -0.0163748636841774,
        -0.05554530397057533,
        0.02332880347967148,
        0.015066783875226974,
        0.006480739451944828,
        0.01498491782695055,
        -0.004464634694159031,
        -0.02147839404642582,
        0.011217460967600346,
        -0.006972063798457384,
        -0.01199849508702755,
        0.036507975310087204,
        -0.007125102914869785,
        0.006976967211812735,
        -0.00011068975436501205,
        -0.07273213565349579,
        -0.004761431831866503,
        0.0653572753071785,
        -0.05309508368372917,
        0.024419361725449562,
        -0.001839545089751482,
        -0.0008453461923636496,
        -0.01136819552630186,
        -0.025310177356004715,
        -0.034968577325344086,
        -0.010408269241452217,
        0.031731002032756805,
        0.03521118313074112,
        0.02245108038187027,
        0.024945804849267006,
        0.017146974802017212,
        0.025799987837672234,
        -0.033752668648958206,
        0.04859798401594162,
        -0.02122986875474453,
        0.022408664226531982,
        -0.028999386355280876,
        -0.021568074822425842,
        -0.013577466830611229,
        0.03543069586157799,
        0.05514579638838768,
        -0.0030400543473660946,
        -0.04397976025938988,
        0.016129935160279274,
        -0.006620500702410936,
        -0.15844528377056122,
        0.017656415700912476,
        0.028997186571359634,
        0.024831511080265045,
        -0.007437485735863447,
        -0.03159632161259651,
        0.03063325770199299,
        0.015999436378479004,
        0.00024459691485390067,
        0.03605861961841583,
        -0.01932908408343792,
        -0.023323137313127518,
        -0.01846972480416298,
        -0.0029406577814370394,
        -0.015193929895758629,
        0.011493254452943802,
        -0.022322779521346092,
        0.018107986077666283,
        -0.04501685872673988,
        -0.012591049075126648,
        0.022959614172577858,
        0.011772547848522663,
        0.04687338322401047,
        -0.028125986456871033,
        -0.02044392004609108,
        0.010415981523692608,
        0.056461043655872345,
        0.014538666233420372,
        -0.01724185235798359,
        -0.01834547147154808,
        -0.02398035302758217,
        -0.001454829121939838,
        0.023766033351421356,
        0.01683906652033329,
        0.01921255886554718,
        0.004871636163443327,
        -0.03619140014052391,
        -0.0029350602999329567,
        -0.010582449845969677,
        -0.00494277523830533,
        0.014534405432641506,
        0.06780830770730972,
        -0.002958501223474741,
        0.034902412444353104,
        0.03370051831007004,
        0.0032123983837664127,
        -0.015925342217087746,
        -0.022496584802865982,
        -0.006536393892019987,
        -0.003908943850547075,
        0.014658674597740173,
        0.008285697549581528,
        -0.00015112051914911717,
        -0.03471739590167999,
        -0.010604117065668106,
        -0.019990995526313782,
        -0.017799928784370422,
        0.015786323696374893,
        -0.015725336968898773,
        -0.008403985761106014,
        -0.0565369538962841,
        0.0018064737087115645,
        -0.0026753100100904703,
        0.023044336587190628,
        0.00234756781719625,
        -0.015346516855061054,
        0.04826923832297325,
        -0.05779469385743141,
        0.029989900067448616,
        -0.057218123227357864,
        0.0125889265909791,
        -0.003555872943252325,
        0.02644958533346653,
        -0.034593615680933,
        -0.0022056070156395435,
        0.007360304705798626,
        -0.01437317207455635,
        -0.08531533926725388,
        0.0032680912408977747,
        -0.09484127163887024,
        0.0315820686519146,
        0.0279550738632679,
        0.011842181906104088,
        0.022223299369215965,
        -0.012474549934267998,
        0.011055431328713894,
        0.028372788801789284,
        -0.01827915757894516,
        0.012366307899355888,
        0.21106699109077454,
        0.024850698187947273,
        -0.02457154169678688,
        -0.01947084069252014,
        -0.016888054087758064,
        -0.035813990980386734,
        0.017766647040843964,
        0.035393692553043365,
        0.014578721486032009,
        -0.030484670773148537,
        0.0017826183466240764,
        0.014023436233401299,
        -0.034280139952898026,
        -0.007399061694741249,
        0.0038585923612117767,
        0.021033277735114098,
        -0.04468776285648346,
        -0.05613027140498161,
        0.03940877318382263,
        0.003542538033798337,
        -0.0014506485313177109,
        0.05758444219827652,
        -0.0033190567046403885,
        -0.03251811861991882,
        -0.06476155668497086,
        -0.009145221672952175,
        -0.03405329957604408,
        0.026913681998848915,
        -0.05469250679016113,
        0.05790478736162186,
        0.003524471540004015,
        -0.006732274778187275,
        0.006721925921738148,
        -0.01802855357527733,
        -0.008485442027449608,
        -0.0038612072821706533,
        0.07875139266252518,
        -0.01890811137855053,
        -0.00003982643102062866,
        0.00470964377745986,
        -0.07514920085668564,
        -0.02255900576710701,
        0.006338082253932953,
        -0.014152130112051964,
        -0.02527112513780594,
        -0.03035001829266548,
        0.0037800681311637163,
        -0.028645852580666542,
        -0.031069442629814148,
        -0.03142080828547478,
        -0.010268062353134155,
        -0.001490166992880404,
        -0.02504654973745346,
        0.007014614064246416,
        -0.001286704558879137,
        -0.06326847523450851,
        -0.012843390926718712,
        -0.032553911209106445,
        -0.012642234563827515,
        0.04684367775917053,
        0.015568523667752743,
        0.03102187253534794,
        -0.04337967559695244,
        0.007355678826570511,
        -0.012319234199821949,
        0.09813426434993744,
        -0.040824681520462036,
        -0.07250902056694031,
        0.053098030388355255,
        0.012805450707674026,
        -0.032906945794820786,
        -0.0002069622278213501,
        0.021456051617860794,
        -0.01240809727460146,
        0.026094753295183182,
        -0.051579948514699936,
        -0.001004386111162603,
        0.04293806850910187,
        -0.036919936537742615,
        0.021718932315707207,
        -0.024295775219798088,
        0.019002651795744896,
        0.0015887771733105183,
        0.05397593602538109,
        0.001828277250751853,
        0.0008641485474072397,
        0.013377372175455093,
        0.05435311421751976,
        -0.03549301624298096,
        -0.048790160566568375,
        0.015586336143314838,
        -0.021655965596437454,
        0.010769321583211422,
        0.01988699845969677,
        0.002907215151935816,
        0.0020799576304852962,
        -0.03533867001533508,
        0.006940552033483982,
        -0.0859924927353859,
        -0.00023404409876093268,
        -0.009496555663645267,
        -0.020603446289896965,
        0.0005481693078763783,
        0.0003540049656294286,
        0.05739327892661095,
        0.005628849379718304,
        0.04072266444563866,
        0.03267401456832886,
        0.02285170741379261,
        -0.010061165317893028,
        -0.028488123789429665,
        0.019284676760435104,
        0.02168215811252594,
        -0.01595166325569153,
        -0.018936637789011,
        -0.03687099739909172,
        0.003955880180001259,
        0.0057587577030062675,
        -0.00855465978384018,
        -0.0024015537928789854,
        -0.008237619884312153,
        0.033798880875110626,
        0.0014029303565621376,
        0.007051920518279076,
        -0.02037874422967434,
        -0.024957241490483284,
        -0.024890011176466942,
        0.03454922139644623,
        -0.031081335619091988,
        0.0378766767680645,
        0.015860633924603462,
        -0.03522486984729767,
        -0.03554540500044823,
        0.023926302790641785,
        0.027619153261184692,
        0.04532746598124504,
        -0.018877379596233368,
        -0.002962392056360841,
        0.0055792853236198425,
        0.03325290605425835,
        0.02427632361650467,
        0.002035387558862567,
        -0.03513440489768982,
        0.03629659488797188,
        0.018435848876833916,
        0.027922645211219788,
        -0.02280973456799984,
        0.07726035267114639,
        0.004361986182630062,
        0.01115704420953989,
        0.028591692447662354,
        0.0030617755837738514,
        0.009758543223142624,
        -0.04938781261444092,
        0.013996212743222713,
        0.026200586929917336,
        -0.009305543266236782,
        -0.01801747828722,
        0.026626363396644592,
        -0.049845144152641296,
        -0.02458622306585312,
        0.009914816357195377,
        0.04721638560295105,
        0.07358154654502869,
        -0.009632602334022522,
        0.03289633244276047,
        -0.03243530914187431,
        0.027771586552262306,
        -0.023665089160203934,
        -0.05307938531041145,
        0.02137373946607113,
        -0.02319657802581787,
        -0.09886793792247772,
        0.04628339037299156,
        0.002450855914503336,
        -0.005661505274474621,
        -0.03548673540353775,
        0.010303770191967487,
        0.010222009383141994,
        -0.015640053898096085,
        0.04520560801029205,
        -0.0027206873055547476,
        -0.013574772514402866,
        -0.005377131514251232,
        0.011435947380959988,
        0.020579593256115913,
        0.011786761693656445,
        -0.030170219019055367,
        0.013893972150981426,
        0.0002046599838649854,
        0.0013822342734783888,
        0.09339574724435806,
        0.01679963991045952,
        -0.030547352507710457,
        0.03358234465122223,
        0.012650757096707821,
        -0.0033267035614699125,
        0.05167701467871666,
        -0.015573333948850632,
        0.02809309959411621,
        0.0012689019786193967,
        -0.03370107710361481,
        0.00825582630932331,
        0.028785133734345436,
        0.016477737575769424,
        -0.03312068060040474,
        -0.023095645010471344,
        0.02926461398601532,
        -0.028094418346881866,
        0.026571499183773994,
        0.017615430057048798,
        0.010028666816651821,
        -0.03894750773906708,
        0.018197642639279366,
        -0.05304242670536041,
        0.034443456679582596,
        0.003985932096838951,
        0.006026508752256632,
        -0.04450545087456703,
        -0.04805886000394821,
        -0.03725366294384003,
        0.029221801087260246,
        0.04400654882192612,
        -0.03662056475877762,
        0.05383409932255745,
        -0.013929191045463085,
        0.012450487352907658,
        -0.011984344571828842,
        0.03014542907476425,
        0.02004050277173519,
        -0.0015912624076008797,
        0.023145899176597595,
        -0.034227155148983,
        -0.038859620690345764,
        0.009377537295222282,
        -0.042885921895504,
        0.03357241302728653,
        0.02556423842906952,
        0.01978137716650963,
        -0.005212852731347084,
        0.02209547907114029,
        -0.01742788590490818,
        0.027393799275159836,
        0.03333745151758194,
        -0.021901525557041168,
        0.07238799333572388,
        -0.011005946435034275,
        0.02931867353618145,
        0.010834413580596447,
        0.027012936770915985,
        0.0035938925575464964,
        -0.029691830277442932,
        -0.02318551577627659,
        -0.009009288623929024,
        -0.012531541287899017,
        0.009283493272960186,
        -0.005702510010451078,
        -0.031167345121502876,
        -0.06043744459748268,
        -0.024320237338542938,
        -0.053042542189359665,
        0.015740850940346718,
        -0.015576275065541267,
        0.02985842153429985,
        -0.05261492356657982,
        0.018652932718396187,
        0.05077490955591202,
        -0.021499160677194595,
        -0.03795041888952255,
        -0.006973089650273323,
        -0.004736424423754215,
        0.029923751950263977,
        0.011345435865223408,
        0.02256946824491024,
        0.013281804509460926,
        -0.0024902562145143747,
        -0.06538070738315582,
        -0.0010867237579077482,
        0.04463834688067436,
        0.04180312901735306,
        -0.03430284932255745,
        0.008844823576509953,
        0.0183758195489645,
        0.07198570668697357,
        -0.0334387868642807,
        0.0746956318616867,
        -0.04548465460538864,
        -0.006429343484342098,
        0.020358074456453323,
        0.008753336034715176,
        0.04410691559314728,
        -0.00011476025974843651,
        -0.03839501738548279,
        -0.004901562351733446,
        -0.011661871336400509,
        0.011456243693828583,
        -0.0013561396626755595,
        0.03103334829211235,
        -0.029480796307325363,
        0.014582008123397827,
        -0.02702140435576439,
        0.03052639029920101,
        -0.020677806809544563,
        -0.020059864968061447,
        -0.031077077612280846,
        0.005128209013491869,
        -0.000025921081032720394,
        -0.022316398099064827,
        -0.01808074302971363,
        0.03209362179040909,
        0.028894180431962013,
        0.003013907466083765,
        0.023443737998604774,
        0.08770904690027237,
        0.002311361487954855,
        -0.019929569214582443,
        0.04936427250504494,
        -0.016941525042057037,
        0.023506799712777138,
        0.006977436598390341,
        -0.02708079107105732,
        0.01951139234006405,
        -0.010327640920877457,
        -0.020561736077070236,
        -0.03718036040663719,
        -0.00936970766633749,
        0.020891020074486732,
        0.0016422364860773087,
        0.0009040829027071595,
        0.031544215977191925,
        -0.029770802706480026,
        -0.008841456845402718,
        -0.0033839051611721516,
        -0.055557217448949814,
        -0.004085789900273085,
        -0.002709526801481843,
        0.09978142380714417,
        -0.007058334071189165,
        0.037610266357660294,
        0.017598794773221016,
        0.033855829387903214,
        -0.024108299985527992,
        0.06454036384820938,
        -0.03614829480648041,
        -0.002221650443971157,
        -0.013535414822399616,
        -0.011531471274793148,
        0.03712376207113266,
        -0.006418186239898205,
        0.0003788265457842499,
        0.04108766093850136,
        0.043586280196905136,
        -0.0030342615209519863,
        -0.023630542680621147,
        -0.0010797323193401098,
        -0.022040683776140213,
        -0.04321765899658203,
        -0.0018099230946972966,
        0.0055131674744188786,
        0.019452523440122604,
        -0.016305986791849136,
        0.03351300582289696,
        0.046557456254959106,
        -0.006363137625157833,
        0.004444664344191551,
        -0.007404874544590712,
        -0.00005454750862554647,
        0.0016578290378674865,
        -0.028635025024414062,
        0.031924813985824585,
        -0.05082886293530464,
        -0.019940584897994995,
        -0.0261306781321764,
        0.004079968668520451,
        -0.02801455557346344,
        0.05413449928164482,
        -0.0560188964009285,
        0.004985708277672529,
        0.035061631351709366,
        -0.034263674169778824,
        -0.04798510670661926,
        -0.02001529559493065,
        0.003023094031959772,
        -0.0012085052439942956,
        -0.014314111322164536,
        -0.002211914397776127,
        -0.010331138968467712,
        -0.021251322701573372,
        0.03836017847061157,
        0.04305461421608925,
        -0.01762755960226059,
        -0.06211283057928085,
        -0.002264027250930667,
        0.04352813586592674,
        -0.14169929921627045,
        0.03840897977352142,
        -0.022834451869130135,
        -0.022587589919567108,
        -0.034992244094610214,
        0.008468412794172764,
        -0.025356139987707138,
        -0.02489720843732357,
        0.055009063333272934,
        -0.008376508951187134,
        -0.010867953300476074,
        0.007342541124671698,
        -0.01203041709959507,
        -0.024371040984988213,
        0.02031184732913971,
        -0.00898399855941534,
        -0.0045113046653568745,
        -0.005771371070295572,
        -0.0282711461186409,
        0.01079965103417635,
        -0.0070926956832408905,
        -0.02117997035384178,
        0.031704068183898926,
        -0.0003086583164986223,
        -0.0012529095401987433,
        -0.04090803861618042,
        -0.003977600950747728,
        -0.007482907269150019,
        -0.05724867433309555,
        -0.002578503917902708,
        -0.004794280510395765,
        -0.051297880709171295,
        0.04341733083128929,
        0.03121805004775524,
        -0.010832162573933601,
        -0.046206649392843246,
        0.014736920595169067,
        -0.03371347486972809,
        0.012171532027423382,
        0.002548866206780076,
        0.010693052783608437,
        0.03195720165967941,
        0.030137168243527412,
        0.029909955337643623,
        0.025873295962810516,
        0.03719177842140198,
        0.0301380455493927,
        0.007015003357082605,
        -0.041773825883865356,
        -0.009504620917141438,
        -0.01640160195529461,
        -0.011366662569344044,
        -0.05057656019926071,
        0.02314874343574047,
        -0.017434334382414818,
        -0.048286303877830505,
        -0.06280133873224258,
        0.01527647115290165,
        -0.07614713162183762,
        0.008160198107361794,
        -0.08363521099090576,
        0.03745468333363533,
        -0.026013746857643127,
        -0.03037930279970169,
        -0.032969966530799866,
        -0.013051113113760948,
        0.011971298605203629,
        -0.01367174182087183,
        -0.026450665667653084,
        0.022391553968191147,
        -0.0033277010079473257,
        -0.0600891038775444,
        0.014253618195652962,
        -0.032911233603954315,
        0.014365382492542267,
        0.0023588258773088455,
        -0.0016931942664086819,
        0.04949948936700821,
        -0.03742148354649544,
        -0.03956002742052078,
        -0.042429957538843155,
        0.0524408221244812,
        -0.07337773591279984,
        0.06598155200481415,
        0.02714807167649269,
        -0.010941186919808388,
        -0.033714521676301956,
        0.016837213188409805,
        -0.02196384221315384,
        0.04837200418114662,
        -0.07600795477628708,
        -0.025288036093115807,
        0.002363139297813177,
        0.010491538792848587,
        -0.0028171404264867306,
        -0.005825752392411232,
        0.021675005555152893,
        0.014269979670643806,
        0.02129482477903366,
        0.029926830902695656,
        -0.00538608618080616,
        -0.04256211966276169,
        0.002316967584192753,
        0.014597008936107159,
        0.017190147191286087,
        0.007040410302579403,
        0.029448585584759712,
        -0.007879093289375305,
        0.011041481979191303,
        0.028669774532318115,
        -0.01678256131708622,
        0.051549896597862244,
        -0.0391252376139164,
        0.011203709989786148,
        -0.015800975263118744,
        -0.0030073984526097775,
        0.022059302777051926,
        -0.0513918437063694,
        -0.03842759132385254,
        -0.022113176062703133,
        0.02165960520505905,
        -0.03519062697887421,
        0.014387122355401516,
        -0.0700271725654602,
        -0.0019275256199762225,
        -0.01730160601437092,
        0.03553935885429382,
        0.05779639258980751,
        0.015708206221461296,
        0.026195017620921135,
        0.019794626161456108,
        -0.06876266747713089,
        -0.01850503869354725,
        0.03594007343053818,
        0.0070708575658500195,
        -0.08743683993816376,
        0.06174597144126892,
        0.03080800361931324,
        -0.04371596872806549,
        -0.02458805963397026,
        -0.008150759153068066,
        -0.0018367142183706164,
        -0.023457685485482216,
        -0.012205814011394978,
        -0.0060139368288218975,
        -0.041692718863487244,
        -0.014026649296283722,
        -0.004190944135189056,
        -0.030704420059919357,
        -0.03380313888192177,
        0.02076716162264347,
        -0.0002502072602510452,
        0.01406440045684576,
        -0.02763962186872959,
        -0.029135076329112053,
        0.056287311017513275,
        -0.012701564468443394,
        -0.051563557237386703,
        -0.0002003601548494771,
        0.03022264875471592,
        0.014046018011868,
        0.004622697364538908,
        0.0012151632690802217,
        0.004286796785891056,
        -0.00001564550620969385,
        -0.031045429408550262,
        -0.018276117742061615,
        0.0006472501554526389,
        -0.018102077767252922,
        -0.03345204144716263,
        -0.005641090217977762,
        0.03918499872088432,
        -0.02108474262058735,
        0.0194458719342947,
        0.029116854071617126,
        -0.01585507206618786,
        0.023900549858808517,
        -0.003225265769287944,
        0.046822890639305115,
        -0.009227721951901913,
        0.014557331800460815,
        -0.012941260822117329,
        0.0027162039186805487,
        -0.004870834294706583,
        0.028632307425141335,
        -0.007645788136869669,
        -0.010151742026209831,
        0.022994568571448326,
        0.008325469680130482,
        -0.018236931413412094,
        0.007093627471476793,
        0.017000481486320496,
        -0.04524008929729462,
        -0.00020246810163371265,
        -0.030160503461956978,
        0.007954160682857037,
        -0.009023802354931831,
        -0.029347777366638184,
        -0.021146507933735847,
        0.04106808453798294,
        -0.04163505136966705,
        0.0034407859202474356,
        0.020328812301158905,
        0.005099468398839235,
        -0.007719563320279121,
        0.0029856644105166197,
        -0.0413302406668663,
        -0.03798181191086769,
        -0.04668502137064934,
        0.058260634541511536,
        0.010636573657393456,
        -0.021007906645536423,
        -0.004238138906657696,
        0.009931986220180988,
        -0.004232907667756081,
        -0.015107577666640282,
        -0.0007536146440543234,
        0.017005153000354767,
        -0.011241973377764225,
        0.024482639506459236,
        0.003073889994993806,
        0.0009762478293851018,
        0.009929760359227657,
        -0.0021399594843387604,
        -0.043155767023563385,
        -0.026279592886567116,
        -0.016820188611745834,
        0.026840899139642715,
        -0.01004159078001976,
        -0.038202326744794846,
        0.011574138887226582,
        -0.00865201372653246,
        0.003288316074758768,
        0.04888460785150528,
        0.08035863190889359,
        -0.06754373759031296,
        -0.0012605664087459445,
        0.024288110435009003,
        -0.02089817076921463,
        0.004220076836645603,
        0.03624660521745682,
        -0.011706738732755184,
        0.0679318904876709,
        -0.016890572383999825
      ],
      "index": 0
    }
  ],
  "model": "BAAI/bge-m3",
  "usage": {
    "prompt_tokens": 30,
    "total_tokens": 30
  },
  "id": "infinity-e4e5bf9a-35d6-41cf-9f96-a0a9a1b45cde",
  "created": 1742349740
}

（完）

小渣渣

也可以通过 huggingface_hub[cli] 下载模型

登录可见。

小渣渣

搭建 BAAI/bge-m3、BAAI/bge-reranker-v2-m3

登录可见。

登录可见。

{
    "data": [
        {
            "id": "BAAI/bge-m3",
            "stats": {
                "queue_fraction": 0.0,
                "queue_absolute": 0,
                "results_pending": 0,
                "batch_size": 32
            },
            "object": "model",
            "owned_by": "infinity",
            "created": 1742522420,
            "backend": "torch",
            "capabilities": [
                "embed"
            ]
        },
        {
            "id": "BAAI/bge-reranker-v2-m3",
            "stats": {
                "queue_fraction": 0.0,
                "queue_absolute": 0,
                "results_pending": 0,
                "batch_size": 32
            },
            "object": "model",
            "owned_by": "infinity",
            "created": 1742522420,
            "backend": "torch",
            "capabilities": [
                "rerank"
            ]
        }
    ],
    "object": "list"
}