中文简历
一小佳
基本信息
联系方式
- Email: 请自行提取：eWlqaWEub2tjQGdtYWlsLmNvbQ==
- Phone: 请自行提取：KCs4NikxODY3NDg5Mzk4OQ==
教育经历
专业技能
- 英语六级,良好的英文文献阅读能力和英语交流能力
- 熟悉Python/C等编程语言, 有一定的算法基础
- 熟悉linux环境, 了解git、docker、vagrant、spark、hive、kafka、hadoop等技术
实习经历
百度在线网络技术(北京)有限公司
校园品牌部，2013年3月-2013年8月
- 负责Astar百度之星程序设计大赛等系列工作,包括百度之星技术社区后台环境测试、社区新增模块构建、百度之星正赛试题测试、数据库管理、服务器维护等工作。
- 主导百度之星云编译平台上
ARM编译环境的部署,并在测试服务器环境下完成上线工作,体验良好。同时,协助解决后台bug 10余例,测试正式赛试题30余道,并提出5道ACM试题修正方案。
- 8月初,全面协调负责
Astar & Hackathon的线下程序大赛和产品设计大赛的工作,并圆满完成任务。
项目经历
海量数据TOP100万信息提取
- 每天从Rocket MQ中提取出现Top 100万的IP和端口数据并进行计数统计，按计数大小排序，数据量约__180T/天__，可用集群为54台机器组成的CDH 5.4.2集群
- 利用Rocket MQ的push consumer从topic中获取消息，基于spark streaming对消息流做word count，设置合理的滑动窗口和时间窗口，将计算结果写入hive，最后在hive中进行离线统计，统计结束后清理hive表，进行第二天的计算
- 设计自动化脚本执行每天的在线计算、离线计算、结果导出等操作，并维护出错的集群，为集群批量挂载磁盘等
海量系统日志导入数据仓库
- 定时将5000台服务器的日志信息从Mysql数据库导入hive，0.2 M/台/h, 30G/天，Mysql跨越3表， 导入的hive表按天分区
- 根据Mysql表结构，设计合理的join语句，用crontab控制自动化脚本，每天将数据从集群A的Mysql导入到集群B的hive
- 利用Sqoop，定时将Oracle中的数据导入Hive，并提供Sqoop性能测试结果
海量流日志的SQL语句查询及优化
- 将8TB(上亿条)的离线数据，利用flume加载进入kafka，用spark streaming进行流处理。利用Spark SQL对SQL语句的支持，基于spark streaming的时间窗口做SQL语句的select、join、group by、concat等操作
- 基于30台机器的集群，将spark streaming程序进行若干参数调优，实现6组SQL语句的流处理提速100%
- 测试kafka的生产和消费峰值，比较磁盘和网卡的瓶颈，提供数据加载优化方案(提速将近1倍)，为批量购买机器提供依据
学生工作
武汉大学百度俱乐部，主席
2012年5月—2013年5月
- 负责百度公司在武汉大学俱乐部的一切事物, 注重团队内部建设, 组织策划武汉大学
“搜无疆界”大赛、AStar百度之星编程大赛等比赛, 并获得百度公司的好评。
- 参与百度
“搜索动力,聚集社区”海南冬令营, 以主答辩人的身份进行百度技术社区推广策略的答辩, 并取得较好成绩。
- 百度开发者社区武汉大学
项目管理者, 管理负责协调管理学生开发工作,制定软件开发跟进计划,实现软件到产品转化。
武汉大学学生社团联合会
2011年5月-2012年5月
- 参与武汉大学全球首创的学生社团国际交流营工作, 共有来自全球
34个国家包括哈佛、耶鲁等世界著名高校在内的69所大学的210名营员参加。通过负责营员接待,现场策划执行,PPT流程切换控制等,在沟通交流及操作执行方面得到锻炼。
- 协助策划组织
赢在起点、湖北省大学生创意企业未来之星选拔赛、武汉大学学生社团文化节等省级校级活劢。
获奖经历
- 中国科学院大学三号学生
- 武汉大学, 社团国际交流营优秀志愿者
- 武汉大学, 优秀学生3次
- 国家励志奖学金
- 武汉大学优秀奖学金3次
- 社会活劢积极分子
自我评价
- 善于抓住瞬间的灵感并付诸实践
- 能快速学习和掌握所需知识和技能
- 能在交流中凸显自己的思路和闪光点
- 能迅速深入进行了解喜欢的事物并总结
其他