中文简历

Updated at 2016.09

一小佳

基本信息

联系方式

  • E-mail: 请自行提取:eWlqaWEub2tjQGdtYWlsLmNvbQ==

  • Phone: 请自行提取:KCs4NikxODY3NDg5Mzk4OQ==

教育经历

专业技能

  • 英语六级,良好的英文文献阅读能力和英语交流能力
  • 熟悉Python/C等编程语言, 有一定的算法基础
  • 熟悉linux环境, 了解git、docker、vagrant、spark、hive、kafka、hadoop等技术

实习经历

百度在线网络技术(北京)有限公司

校园品牌部,2013年3月-2013年8月

  • 负责Astar百度之星程序设计大赛等系列工作,包括百度之星技术社区后台环境测试、社区新增模块构建、百度之星正赛试题测试、数据库管理、服务器维护等工作。
  • 主导百度之星云编译平台上ARM编译环境的部署,并在测试服务器环境下完成上线工作,体验良好。同时,协助解决后台bug 10余例,测试正式赛试题30余道,并提出5道ACM试题修正方案。
  • 8月初,全面协调负责Astar & Hackathon的线下程序大赛和产品设计大赛的工作,并圆满完成任务。

项目经历

海量数据TOP100万信息提取

  • 每天从Rocket MQ中提取出现Top 100万的IP和端口数据并进行计数统计,按计数大小排序,数据量约180T/天,可用集群为54台机器组成的CDH 5.4.2集群
  • 利用Rocket MQ的push consumer从topic中获取消息,基于spark streaming对消息流做word count,设置合理的滑动窗口和时间窗口,将计算结果写入hive,最后在hive中进行离线统计,统计结束后清理hive表,进行第二天的计算
  • 设计自动化脚本执行每天的在线计算、离线计算、结果导出等操作,并维护出错的集群,为集群批量挂载磁盘等

海量系统日志导入数据仓库

  • 定时将5000台服务器的日志信息从Mysql数据库导入hive,0.2 M/台/h, 30G/天,Mysql跨越3表, 导入的hive表按天分区
  • 根据Mysql表结构,设计合理的join语句,用crontab控制自动化脚本,每天将数据从集群A的Mysql导入到集群B的hive
  • 利用Sqoop,定时将Oracle中的数据导入Hive,并提供Sqoop性能测试结果

海量流日志的SQL语句查询及优化

  • 将8TB(上亿条)的离线数据,利用flume加载进入kafka,用spark streaming进行流处理。利用Spark SQL对SQL语句的支持,基于spark streaming的时间窗口做SQL语句的select、join、group by、concat等操作
  • 基于30台机器的集群,将spark streaming程序进行若干参数调优,实现6组SQL语句的流处理提速100%
  • 测试kafka的生产和消费峰值,比较磁盘和网卡的瓶颈,提供数据加载优化方案(提速将近1倍),为批量购买机器提供依据

学生工作

武汉大学百度俱乐部,主席

2012年5月—2013年5月

  • 负责百度公司在武汉大学俱乐部的一切事物, 注重团队内部建设, 组织策划武汉大学“搜无疆界”大赛、AStar百度之星编程大赛等比赛, 并获得百度公司的好评。
  • 参与百度“搜索动力,聚集社区”海南冬令营, 以主答辩人的身份进行百度技术社区推广策略的答辩, 并取得较好成绩。
  • 百度开发者社区武汉大学项目管理者, 管理负责协调管理学生开发工作,制定软件开发跟进计划,实现软件到产品转化。

武汉大学学生社团联合会

2011年5月-2012年5月

  • 参与武汉大学全球首创的学生社团国际交流营工作, 共有来自全球34个国家包括哈佛、耶鲁等世界著名高校在内的69所大学的210名营员参加。通过负责营员接待,现场策划执行,PPT流程切换控制等,在沟通交流及操作执行方面得到锻炼。
  • 协助策划组织赢在起点湖北省大学生创意企业未来之星选拔赛武汉大学学生社团文化节等省级校级活劢。

获奖经历

  • 中国科学院大学三号学生
  • 武汉大学, 社团国际交流营优秀志愿者
  • 武汉大学, 优秀学生3次
  • 国家励志奖学金
  • 武汉大学优秀奖学金3次
  • 社会活劢积极分子

自我评价

  • 善于抓住瞬间的灵感并付诸实践
  • 能快速学习和掌握所需知识和技能
  • 能在交流中凸显自己的思路和闪光点
  • 能迅速深入进行了解喜欢的事物并总结

其他