5组Beta冲刺3/5

一、基本情况

• 队名：奶茶命运共同体
• 组长博客：https://www.cnblogs.com/pat-chou-li/p/15600369.html
• Github链接：https://github.com/zlplease/policyObservation
• 小组人数：9

二、冲刺概况汇报

吴振溢：

• 过去一天完成了哪些任务

  • 接入大数据平台热词接口

    

• 接下来的计划

  • 继续完成大数据平台接口接入

• 还剩下哪些任务

  • 政策数量和活跃度接口

• 燃尽图

  

• 遇到了哪些困难

  暂无。

• 有哪些收获和疑问

  暂无

• PSP & 学习进度条（学习进度条每周追加）

  PSP：

  PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
  Planning	计划
  · Estimate	· 估计这个任务需要多少时间	5	5
  Development	开发
  · Analysis	· 需求分析 (包括学习新技术)	-	-
  · Design Spec	· 生成设计文档	-	-
  · Design Review	· 设计复审	-	-
  · Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	-	-
  · Design	· 具体设计	-	-
  · Coding	· 具体编码	80	90
  · Code Review	· 代码复审	10	10
  · Test	· 测试（自我测试，修改代码，提交修改）	10	10
  Reporting	报告
  · Test Repor	· 测试报告	-	-
  · Size Measurement	· 计算工作量	-	-
  · Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	5	5
  	· 合计	110	120

  学习进度表：

  第N次	新增代码（行）	累计代码（行）	本次学习耗时（小时）	累计学习耗时（小时）	重要成长
  1	52	52	1	1	更改数据结构，便于接口接入。
  2	0	0	0.5	1.5	wait for interface
  3	150	202	2	3.5	接入大数据平台热词接口

张乐芃：

• 过去一天完成了哪些任务：

  • 首页接口接入(100%)

  

• 接下来计划：

  • 搜索模块接口接入

• 还剩下哪些任务：

  • 部署上线

• 燃尽图：

• 遇到了哪些困难：
  • 暂无
• 有哪些收获和疑问：
  • 收获：暂无
  • 疑问：可算是快要结束了？
• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	10	10
Estimate	估计这个任务需要多少时间	5	10
Development	开发	-	-
Analysis	需求分析 &ppt&(包括学习新技术)	20	20
Design Spec	生成设计文档	-	-
Design Review	设计复审	-	-
Coding Standard	代码规范 (为目前的开发制定合适的规范)
Design	具体设计	30	60
Coding	具体编码	30	120
Code Review	代码复审	20	20
Test	测试（自我测试，修改代码，提交修改）	-	-
Reporting	报告	-	-
Test Repor	测试报告	-	-
100Size Measurement	计算工作量	5	5
Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	10	10
Total	合计	130	255

• 学习进度表

第N轮次	新增代码（行）	累计代码（行）	本次学习耗时(小时)	累计学习耗时(小时)	重要成长
1	100	100	2	2	新增注释
2	600	700	3.5	5.5	接口整理与接入
3	700	1400	4	9.9	首页接口接入

蔡树峰：

• 过去两天完成了哪些任务

  • 做视频

  • 展示GitHub当日代码/文档签入记录

    暂无

• 接下来的计划

  • 完成视频剪辑

• 还剩下哪些任务

  • 做视频
  • 推广

• 燃尽图

  

• 遇到了哪些困难

  暂无

• 有哪些收获和疑问

  学会一些特效制作

• PSP & 学习进度条（学习进度条每周追加）

  PSP：

  PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
  Planning	计划	10	10
  · Estimate	· 估计这个任务需要多少时间	5	5
  Development	开发	-	-
  · Analysis	· 需求分析 (包括学习新技术)	--
  · Design Spec	· 生成设计文档	-	-
  · Design Review	· 设计复审	-	-
  · Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	-	-
  · Design	· 具体设计	-
  · Coding	· 具体编码	-	-
  · Code Review	· 代码复审	-	-
  · Test	· 测试（自我测试，修改代码，提交修改）	-	-
  Reporting	报告	40	40
  · Test Repor	· 测试报告	-	-
  · Size Measurement	· 计算工作量	5	5
  · Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	5	5
  	· 合计	65	65

  学习进度表：

  第N次	新增代码（行）	累计代码（行）	本次学习耗时（小时）	累计学习耗时（小时）	重要成长
  1	0	0	3	3	-
  2	0	0	2	5	-
  3	0	0	2	7	-

陈宇扬：

• 过去一天完成了哪些任务：

  • 追加吉林、安徽政策文件数据
    

• 接下来计划：

  • 完成剩下省份政策文件的获取。

• 还剩下哪些任务：

  • 其他省份政策相关获取。

• 燃尽图：
  

• 遇到了哪些困难：

  • 暂无

• 有哪些收获和疑问：

  • 进一步了解了页面结构和爬虫方法。

• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划
· Estimate	· 估计这个任务需要多少时间	10	10
Development	开发
· Analysis	· 需求分析 (包括学习新技术)	60	45
· Design Spec	· 生成设计文档	-	-
· Design Review	· 设计复审	-	-
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	5	5
· Design	· 具体设计	-	-
· Coding	· 具体编码	90	90
· Code Review	· 代码复审	10	10
· Test	· 测试（自我测试，修改代码，提交修改）	5	5
Reporting	报告
· Test Repor	· 测试报告	-	-
· Size Measurement	· 计算工作量	10	10
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	10	15
	合计	200	190

• 学习进度表

第N轮次	新增代码（行）	累计代码（行）	本次学习耗时(小时)	累计学习耗时(小时)	重要成长
1(beta)	200	200	4.25	4.25	完成四川、西藏政策文件爬取
2(beta)	160	360	3.67	7.92	完成云南、辽宁政策文件爬取
3(beta)	180	540	2.01	9.93	完成吉林、安徽政策文件爬取

周伟杰：

• 过去一天完成了哪些任务：

  • 增加跨域

  • 开启二级缓存

  • 优化代码结构

  • 部署上线

  • github签入记录

    

• 接下来计划：

  • 测试

• 还剩下哪些任务：

  • 继续调试

• 燃尽图：

• 遇到了哪些困难：
  • 数据量过大查询很慢
• 有哪些收获和疑问：
  • 收获：学会了写数据库调优的方法
  • 疑问：redis配了半天没配出来
• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	10	10
Estimate	估计这个任务需要多少时间	10	10
Development	开发	500	360
Analysis	需求分析 &ppt&(包括学习新技术)	60	90
Design Spec	生成设计文档	-	-
Design Review	设计复审	-	-
Coding Standard	代码规范 (为目前的开发制定合适的规范)
Design	具体设计	30	20
Coding	具体编码	370	200
Code Review	代码复审	10	20
Test	测试（自我测试，修改代码，提交修改）	30	30
Reporting	报告	15	15
Test Repor	测试报告	-	-
100Size Measurement	计算工作量	5	5
Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	10	10
Total	合计	525	385

• 学习进度表

第N轮次	新增代码（行）	累计代码（行）	本次学习耗时(小时)	累计学习耗时(小时)	重要成长
1	20	20	2	2	结果筛选
2	50	70	2	4	代码规范
3	200	270	6	10	增加跨域，优化代码

潘春佳：

• 过去两天完成了哪些任务：
  博客文本编辑

• GitHub签入记录：

​ 暂无

• 接下来计划：
  博客文档编辑

• 还剩下哪些任务：
  ppt报告编写

• 燃尽图
  

• 遇到了哪些困难：
  时间紧凑，需要学习的太多

• 有哪些收获和疑问：
  报告太频繁

• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	-	-
· Estimate	· 估计这个任务需要多少时间	-	-
Development	开发
· Analysis	· 需求分析 (包括学习新技术)	-	-
· Design Spec	· 生成设计文档	-	-
· Design Review	· 设计复审	-	-
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	-	-
· Design	· 具体设计	-	-
· Coding	· 具体编码	-	-
· Code Review	· 代码复审	-	-
· Test	· 测试（自我测试，修改代码，提交修改）	-	-
Reporting	报告	50	60
· Test Repor	· 测试报告	-	-
· Size Measurement	· 计算工作量	5	5
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	5	5
	· 合计	60	65

• 学习进度表

第N次	新增代码（行）	累计代码（行）	本次学习耗时（小时）	累计学习耗时（小时）	重要成长
1	0	0	3	3	学习新知识
2	0	0	2	5	上传路径设置
3	0	0	2	7	学习知识

林蒋辉：

• 过去两天完成了哪些任务：

  • 服务器部署上线
  • github签入记录：
  • 暂无

• 还剩下哪些任务：

  • 热点词汇

• 燃尽图：
  

• 遇到了哪些困难：

  • idea20版本与maven冲突，没有好的解决办法，回退至19版本

• 有哪些收获和疑问：

  • 加强了分词器使用

• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划
· Estimate	· 估计这个任务需要多少时间	10	10
Development	开发
· Analysis	· 需求分析 (包括学习新技术)	10	10
· Design Spec	· 生成设计文档	-	-
· Design Review	· 设计复审	-	-
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	5	5
· Design	· 具体设计	-	-
· Coding	· 具体编码	30	30
· Code Review	· 代码复审	10	10
· Test	· 测试（自我测试，修改代码，提交修改）	20	20
Reporting	报告
· Test Repor	· 测试报告	-	-
· Size Measurement	· 计算工作量	10	10
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	10	10
	合计	105	105

• 学习进度表

第N轮次	新增代码（行）	累计代码（行）	本周学习耗时(小时)	累计学习耗时(小时)	重要成长
1(beta)	300	300	5	5	分词器使用
2(beta)	100	400	2	7	简单项目打jar包方式部署服务器
3(beta)	10	410	1	8	docker配置

周浩东：

• 过去两天完成了哪些任务：

  • 优化

• github签入记录

• 接下来计划：
  • 优化
• 还剩下哪些任务：
  • 优化
• 燃尽图

• 遇到了哪些困难：
  • 数据量太大，推理不了
• 有哪些收获和疑问：
  • neo4j真好玩
• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	20	10
Estimate	估计这个任务需要多少时间	20	20
Development	开发	-	-
Analysis	需求分析 &ppt&(包括学习新技术)	10	10
Design Spec	生成设计文档	-	-
Design Review	设计复审	-	-
Coding Standard	代码规范 (为目前的开发制定合适的规范)
Design	具体设计	10	5
Coding	具体编码	60	30
Code Review	代码复审	30	30
Test	测试（自我测试，修改代码，提交修改）	-	-
Reporting	报告	-	-
Test Repor	测试报告	-	-
100Size Measurement	计算工作量	5	5
Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	10	10
Total	合计	95	100

• 学习进度表

第N轮次	新增代码（行）	累计代码（行）	本周学习耗时(小时)	累计学习耗时(小时)	重要成长
1(beta)	200	200	3	3	知识抽取
2(beta)	500	700	6	6	做完软工
3(beta)	0	700	6	6	做完软工

黄朝威：

• 过去一天完成了哪些任务：
  • 成功获取黑龙江、山东、辽宁、吉林、安徽、海南部分数据。
    
• 接下来计划：
  • 完成剩下省份政策文件的获取。
• 还剩下哪些任务：
  • 其他省份政策相关获取；
• 燃尽图：
  
• 遇到了哪些困难：
  • 还是部分省的链接需要特殊跳转方式，而这种方式需要页面的JS脚本才能执行，但是经过多次调试未能拿下JS脚本，而这个JS脚本总是突然执行，被迫需要分析网页格式大大降低效率，部分省有反爬虫机制着实耗费了不少时间用于获取数据。
  • 还是部分省份文件库需要输入内容才能使用这样会可能会一定程度少减少爬取的数量，但文件库提供了便捷的获取途径，尝试绕开不可取。
• 有哪些收获和疑问：
  • 通过部分工具可以获得有效信息，后续通过Pandas进行处理即可加速爬取，便捷爬取。
• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划
· Estimate	· 估计这个任务需要多少时间	10	10
Development	开发
· Analysis	· 需求分析 (包括学习新技术)	40	60
· Design Spec	· 生成设计文档	-	-
· Design Review	· 设计复审	-	-
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	5	50
· Design	· 具体设计	-	-
· Coding	· 具体编码	60	50
· Code Review	· 代码复审	10	10
· Test	· 测试（自我测试，修改代码，提交修改）	5	5
Reporting	报告
· Test Repor	· 测试报告	-	-
· Size Measurement	· 计算工作量	10	10
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	10
	合计	150	195

• 学习进度条

第N轮次	新增代码（行）	累计代码（行）	本周学习耗时(小时)	累计学习耗时(小时)	重要成长
1(beta)	961	961	12	12	完成对重庆市、国务院及其部门、河南省整省、陕西省整省、天津直辖市的爬取
2(beta)	584	1545	3	15	河北省数据拿下，北京部分数据签入，重庆数据改良
3(beta)	166	1711	4	19	又考完试了，又签入部分省数据，通过Pandas处理表格数据提升一定效率

三、冲刺成果展示

• 展示组内最新成果

  API接口展示：

  

• 站立会议合照

  

• 会议耗时记录

  第N次会议	耗时（分钟）
  1	10
  2	8
  3	10