职位描述
岗位职责:1、根据业务需求负责爬虫开发,设计和优化爬虫集群系统;2、实时监控数据采集进度和预警,提供解决方案;3、与业务团队紧密协作,提供支持业务发展的解决方案。岗位要求:1、计算机及相关专业本科或以上学历,掌握Python/Java/C中任意一种编程语言;2、精通web/app抓取原理;熟悉主流web爬虫对抗技术,掌握web/app常见逆向分析技能;3、熟悉至少一种开源爬虫框架,了解各组件工作流;熟悉多进程、分布式工作架构,有能力开发系统化的解决方案;4、熟悉抓包、hook技术,具备一定的app抓包实战经验;5、有python后端开发经验优先。
企业介绍
大箴公司是一家运用大数据、人工智能技术为政府机构和大型商业机构输出数字动力及技术解决方案的高科技企业。重点为公安、国安、检察院、法院、情报等政法领域客户,建立数据交换和价值共享体系,提供以实时决策为核心逻辑的人工智能实战场景和数字智能中台解决方案。在数字警务领域,大箴公司对于数字智能感知、警务数据治理、违法犯罪监测、社会治安预警等方面有着非常专注的算法与技术积累,能提供核心关键的技术支撑与系统解决方案。在商业应用领域,我们以业务场景为枢纽,提供以数字安全、数字信用、数字营销、数字决策和数字跟踪等服务为核心的数据中台、AI中台、业务中台建设和运营服务。