岗位职责1、主要负责海外常见社媒、电商站点维护与爬虫开发2、参与采集系统的存储、调度、解析、监控等研发3、拥有强大的问题解决和分析能力，能够快速定位和修复爬虫脚本中的问题4、熟悉并了解自动化爬虫采集，5、负责python相关业务功能开发任职要求1、全日制本科及以上学历，计算机相关专业2、1-3年以上Python开发经验，具备扎实的编程能力和良好的代码习惯3、熟练掌握Python及其常用开源库，精通主流爬虫框架(如Scrapy)，深入理解其工作原理和使用场景4、精通网络抓包分析，熟练使用抓包工具5、具备JS逆向分析能力，能够处理加密、混淆、字体加密等反爬措施6、熟练掌握分布式系统相关技术，了解多进程、多线程、协程、异步编程等7、精通主流数据库技术，包括MySQL、MongoDB、redis、消息队列等8、熟练掌握IP代理池、标头认证、cookie管理等反反爬技术了解app逆向更加分喔~

深圳视界信息技术有限公司(简称视界)成立于2012年12月28日，位于改革开放的前沿阵地深圳，是一家以网络信息处理为主要经营方向的高新科技企业，在互联网海量信息处理方面拥有丰富的实践经验与超强的技术优势，是大数据行业内领先的信息化解决方案提供商。公司定位于互联网结构化、半结构化海量数据处理细分市场，立足前沿技术，专注互联网信息服务、数据采集、数据挖掘，以打造针对企业的从数据源到内部业务系统的一站式信息数据服务为核心目标。公司多年来致力于企业级数据整合，专注于网页数据采集、整理、分析和挖掘，在互联网信息处理领域拥有多项独立知识产权认证，拥有一整套网页数据处理平台，尤其高难度网页数据抓取技术处于国际领先水平。公司核心产品为“八爪鱼数据采集系统”，产品发布初期即达到日网页采集上百万，可采集数据不受行业限制，客户涵盖政府、企业、高校、银行等在内的各领域，同时在香港、美国等地也有长期合作的海外客户。
八爪鱼数据采集系统（http://bazhuayu.com）以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集、编辑、规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本、提高效率。
数多多（http://shuduoduo.com）是由深圳视界信息技术有限公司研发的数据共享与交易平台，提供数据API、数据包、数据分析报告等大数据产品与服务。我们致力于推动数据共享、提升数据价值，为繁荣中国大数据生态圈而努力！