前情提要

上月底离职后,简历加了一下最近做的AI相关的项目就开始投了,说实话没想过这么快就拿offer了,在BOSS上周六投到了周一,周二开始约面试周三到周五一共面了12家,两家国企,4家上市,剩余基本都是私企,最后拿了4个offer(一家上市,两家基本都是和大学学院有合作的,一家Web3)。

吐槽一下:国企和上市面试流程贼慢贼长;有些HR真的不给面试后的结果就是吊着,等到实在是没有更好的人选了才发offer过来(虽然我是个垃圾,但是也不能已读不回吧)

其实在上市和web3犹豫了一下,最后还是决定入职web3这家,这块一方面比较好奇,面试的时候看着老板就感觉好熟悉莫名的亲切,二来是有大佬愿意带带我,我TM直接就是偷学技术,其实我一面这家公司觉得已经没啥希望了,结果是最快拿到offer的。

面试题

因为面试接的太多,从早上面试到晚上,问的有点麻木了,这里只记得几个印象中比较深的

视觉机器人

这家主要想给机器人加大模型,下达指令,进去主要是做ASR\TTS\VLM

目标想接入VLM实现,看手指指向让机器人去到指定位置,检查工地不规范的佩戴,各方面场景

偏视觉,面试聊得蛮多,不过没后续了,视觉这块确实接触少了,而且VLM对实时视频返回这块响应速度,我意思用YOLO去做些目标检测给到模型去返回,可能没答到面试官的点子上

RAG

做RAG的公司好多,面试了好多家,主要问的就是rag的流程,怎么实现的

文档分割的方式,怎么优化的

向量模型选的什么?bge-m3的问题在哪?

召回怎么做?reranker模型?

粗排、精排

我做的比较入门级别,我主要讲的是文档分割这块去做优化,有家公司用OCR去做版面分析,把段落这块检测出来再去处理

RAG这块感觉更像是去给企业做定制化的,各式各样的文档处理啥的,基于用户去做适配的感觉

TEXT2SQL

这块问的就是用户复杂表结构,模型生成的SQL不准确怎么处理?

怎么优化?

除了对数据库层面处理,模型这块怎么优化?

我实际做的是TEXT2CYPHER,数据结构简单,模型生成基本没错误,也没仔细了解这块,答的面试官不太满意,不过还是过了

提示词工程

说实话面试的时候鬼知道问这个,很久没看这块了,主要问的就是提示词优化,你怎么去写提示词的,给你一个提示词你怎么评判写的好不好?我都是抄人家的提示词,这块两年前之前还专门看了,现在要么丢给模型去优化要么CV一个

然后就是用户注重数据安全,但是不本地部署大模型,接入的API怎么去保证数据安全,我当时觉得不好解决,被问了一天了也是摆烂了,直接不想回答就说没辙搞不了,面试官非要我讲一个,我就说本地自己部署吧

后面想了想把用户的数据拿到后直接先走个tokenizer变成token再走api,但是模型api提供方也没提供这种接口,就没讲。

感觉这块调大厂的api,你只要拼到提示词里面肯定就没安全可言了,本地最安心了。

没钱就没安全!

Agent

主要是langchain、langgraph,langchain里面的rag怎么实现,retriever、runnable、graph的实现,节点定义

我回答的比较入门级别,最后大佬给机会过了

END

目前大概就记这么多,其他想不起来了