AI Agent 算法工程师面试记录
前情提要
上月底离职后,简历加了一下最近做的AI相关的项目就开始投了,说实话没想过这么快就拿offer了,在BOSS上周六投到了周一,周二开始约面试周三到周五一共面了12家,两家国企,4家上市,剩余基本都是私企,最后拿了4个offer(一家上市,两家基本都是和大学学院有合作的,一家Web3)。
吐槽一下:国企和上市面试流程贼慢贼长;有些HR真的不给面试后的结果就是吊着,等到实在是没有更好的人选了才发offer过来(虽然我是个垃圾,但是也不能已读不回吧)
其实在上市和web3犹豫了一下,最后还是决定入职web3这家,这块一方面比较好奇,面试的时候看着老板就感觉好熟悉莫名的亲切,二来是有大佬愿意带带我,我TM直接就是偷学技术,其实我一面这家公司觉得已经没啥希望了,结果是最快拿到offer的。
面试题
因为面试接的太多,从早上面试到晚上,问的有点麻木了,这里只记得几个印象中比较深的
视觉机器人
这家主要想给机器人加大模型,下达指令,进去主要是做ASR\TTS\VLM
目标想接入VLM实现,看手指指向让机器人去到指定位置,检查工地不规范的佩戴,各方面场景
偏视觉,面试聊得蛮多,不过没后续了,视觉这块确实接触少了,而且VLM对实时视频返回这块响应速度,我意思用YOLO去做些目标检测给到模型去返回,可能没答到面试官的点子上
RAG
做RAG的公司好多,面试了好多家,主要问的就是rag的流程,怎么实现的
文档分割的方式,怎么优化的
向量模型选的什么?bge-m3的问题在哪?
召回怎么做?reranker模型?
粗排、精排
我做的比较入门级别,我主要讲的是文档分割这块去做优化,有家公司用OCR去做版面分析,把段落这块检测出来再去处理
RAG这块感觉更像是去给企业做定制化的,各式各样的文档处理啥的,基于用户去做适配的感觉
TEXT2SQL
这块问的就是用户复杂表结构,模型生成的SQL不准确怎么处理?
怎么优化?
除了对数据库层面处理,模型这块怎么优化?
我实际做的是TEXT2CYPHER,数据结构简单,模型生成基本没错误,也没仔细了解这块,答的面试官不太满意,不过还是过了
提示词工程
说实话面试的时候鬼知道问这个,很久没看这块了,主要问的就是提示词优化,你怎么去写提示词的,给你一个提示词你怎么评判写的好不好?我都是抄人家的提示词,这块两年前之前还专门看了,现在要么丢给模型去优化要么CV一个
然后就是用户注重数据安全,但是不本地部署大模型,接入的API怎么去保证数据安全,我当时觉得不好解决,被问了一天了也是摆烂了,直接不想回答就说没辙搞不了,面试官非要我讲一个,我就说本地自己部署吧
后面想了想把用户的数据拿到后直接先走个tokenizer变成token再走api,但是模型api提供方也没提供这种接口,就没讲。
感觉这块调大厂的api,你只要拼到提示词里面肯定就没安全可言了,本地最安心了。
没钱就没安全!
Agent
主要是langchain、langgraph,langchain里面的rag怎么实现,retriever、runnable、graph的实现,节点定义
我回答的比较入门级别,最后大佬给机会过了
END
目前大概就记这么多,其他想不起来了