一、基本情况
- 队名:奶茶命运共同体
- 组长博客:https://www.cnblogs.com/pat-chou-li/p/15595410.html
- Github链接:https://github.com/zlplease/policyObservation
- 小组人数:9
二、冲刺概况汇报
吴振溢:
-
过去一天完成了哪些任务
-
浏览自己的代码康康数据结构,便于接口接入。
-
-
接下来的计划
- 接入接口
-
还剩下哪些任务
- wait interface
-
燃尽图
-
遇到了哪些困难
暂无。
-
有哪些收获和疑问
暂无
-
PSP & 学习进度条(学习进度条每周追加)
PSP:
PSP2.1 Personal Software Process Stages 预估耗时(分钟) 实际耗时(分钟) Planning 计划 · Estimate · 估计这个任务需要多少时间 5 5 Development 开发 · Analysis · 需求分析 (包括学习新技术) - - · Design Spec · 生成设计文档 - - · Design Review · 设计复审 - - · Coding Standard · 代码规范 (为目前的开发制定合适的规范) - - · Design · 具体设计 - - · Coding · 具体编码 30 20 · Code Review · 代码复审 10 10 · Test · 测试(自我测试,修改代码,提交修改) 10 10 Reporting 报告 · Test Repor · 测试报告 - - · Size Measurement · 计算工作量 - - · Postmortem & Process Improvement Plan · 事后总结, 并提出过程改进计划 5 5 · 合计 60 50 学习进度表:
第N次 新增代码(行) 累计代码(行) 本次学习耗时(小时) 累计学习耗时(小时) 重要成长 1 52 52 1 1 更改数据结构,便于接口接入。 2 0 0 0.5 1.5 wait for interface
蔡树峰:
-
过去两天完成了哪些任务
-
学习
-
做视频
-
展示GitHub当日代码/文档签入记录
暂无
-
-
接下来的计划
- 准备推广任务
-
还剩下哪些任务
- 做视频
- 推广
-
燃尽图
-
遇到了哪些困难
数据爬取缺人
-
有哪些收获和疑问
马上要结束了
-
PSP & 学习进度条(学习进度条每周追加)
PSP:
PSP2.1 Personal Software Process Stages 预估耗时(分钟) 实际耗时(分钟) Planning 计划 10 10 · Estimate · 估计这个任务需要多少时间 5 5 Development 开发 - - · Analysis · 需求分析 (包括学习新技术) -- · Design Spec · 生成设计文档 - - · Design Review · 设计复审 - - · Coding Standard · 代码规范 (为目前的开发制定合适的规范) - - · Design · 具体设计 20 30 · Coding · 具体编码 - - · Code Review · 代码复审 - - · Test · 测试(自我测试,修改代码,提交修改) - - Reporting 报告 40 40 · Test Repor · 测试报告 - - · Size Measurement · 计算工作量 5 5 · Postmortem & Process Improvement Plan · 事后总结, 并提出过程改进计划 5 5 · 合计 85 95 学习进度表:
第N次 新增代码(行) 累计代码(行) 本次学习耗时(小时) 累计学习耗时(小时) 重要成长 1 0 0 3 3 - 2 0 0 2 5 -
张乐芃:
-
过去一天完成了哪些任务:
- 接入接口,配置接口基本信息
-
接下来计划:
- 接口接入
-
还剩下哪些任务:
- 部署上线
-
燃尽图:
- 遇到了哪些困难:
- axios封装
- 有哪些收获和疑问:
- 收获:暂无
- 疑问:封不封装呢
- PSP表格
PSP2.1 | Personal Software Process Stages | 预估耗时(分钟) | 实际耗时(分钟) |
---|---|---|---|
Planning | 计划 | 10 | 10 |
Estimate | 估计这个任务需要多少时间 | 5 | 10 |
Development | 开发 | - | - |
Analysis | 需求分析 &ppt&(包括学习新技术) | 20 | 20 |
Design Spec | 生成设计文档 | - | - |
Design Review | 设计复审 | - | - |
Coding Standard | 代码规范 (为目前的开发制定合适的规范) | ||
Design | 具体设计 | 30 | 30 |
Coding | 具体编码 | 30 | 120 |
Code Review | 代码复审 | 20 | 20 |
Test | 测试(自我测试,修改代码,提交修改) | - | - |
Reporting | 报告 | - | - |
Test Repor | 测试报告 | - | - |
100Size Measurement | 计算工作量 | 5 | 5 |
Postmortem & Process Improvement Plan | 事后总结, 并提出过程改进计划 | 10 | 10 |
Total | 合计 | 130 | 225 |
- 学习进度表
第N轮次 | 新增代码(行) | 累计代码(行) | 本次学习耗时(小时) | 累计学习耗时(小时) | 重要成长 |
---|---|---|---|---|---|
1 | 100 | 100 | 2 | 2 | 新增注释 |
2 | 600 | 700 | 3.5 | 5.5 | 接口整理与接入 |
潘春佳:
-
过去两天完成了哪些任务:
博客文本编辑 -
GitHub签入记录:
-
接下来计划:
博客文档编辑 -
还剩下哪些任务:
ppt报告编写 -
燃尽图
-
遇到了哪些困难:
时间紧凑,需要学习的太多 -
有哪些收获和疑问:
报告太频繁 -
PSP表格
PSP2.1 | Personal Software Process Stages | 预估耗时(分钟) | 实际耗时(分钟) |
---|---|---|---|
Planning | 计划 | - | - |
· Estimate | · 估计这个任务需要多少时间 | - | - |
Development | 开发 | ||
· Analysis | · 需求分析 (包括学习新技术) | - | - |
· Design Spec | · 生成设计文档 | - | - |
· Design Review | · 设计复审 | - | - |
· Coding Standard | · 代码规范 (为目前的开发制定合适的规范) | - | - |
· Design | · 具体设计 | - | - |
· Coding | · 具体编码 | - | - |
· Code Review | · 代码复审 | - | - |
· Test | · 测试(自我测试,修改代码,提交修改) | - | - |
Reporting | 报告 | 60 | 65 |
· Test Repor | · 测试报告 | - | - |
· Size Measurement | · 计算工作量 | 5 | 5 |
· Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划 | 5 | 5 |
· 合计 | 70 | 75 |
- 学习进度表
第N次 | 新增代码(行) | 累计代码(行) | 本次学习耗时(小时) | 累计学习耗时(小时) | 重要成长 |
---|---|---|---|---|---|
1 | 0 | 0 | 3 | 3 | 学习新知识 |
2 | 0 | 0 | 2 | 5 | 上传路径设置 |
周伟杰:
-
过去一天完成了哪些任务:
-
对代码进行规范
-
github签入记录
-
-
接下来计划:
- 部署上线
-
还剩下哪些任务:
- 润去宣传组
- 继续调试
- 部署上线
-
燃尽图:
- 遇到了哪些困难:
- 参数校验部分和我预想的结果不符
- 有哪些收获和疑问:
- 收获:暂无
- 疑问:时间有点紧
- PSP表格
PSP2.1 | Personal Software Process Stages | 预估耗时(分钟) | 实际耗时(分钟) |
---|---|---|---|
Planning | 计划 | 10 | 10 |
Estimate | 估计这个任务需要多少时间 | 10 | 10 |
Development | 开发 | - | - |
Analysis | 需求分析 &ppt&(包括学习新技术) | 60 | 90 |
Design Spec | 生成设计文档 | - | - |
Design Review | 设计复审 | - | - |
Coding Standard | 代码规范 (为目前的开发制定合适的规范) | ||
Design | 具体设计 | 30 | 30 |
Coding | 具体编码 | 20 | 40 |
Code Review | 代码复审 | 10 | 20 |
Test | 测试(自我测试,修改代码,提交修改) | - | - |
Reporting | 报告 | 15 | 15 |
Test Repor | 测试报告 | - | - |
100Size Measurement | 计算工作量 | 5 | 5 |
Postmortem & Process Improvement Plan | 事后总结, 并提出过程改进计划 | 10 | 10 |
Total | 合计 | 115 | 135 |
- 学习进度表
第N轮次 | 新增代码(行) | 累计代码(行) | 本次学习耗时(小时) | 累计学习耗时(小时) | 重要成长 |
---|---|---|---|---|---|
1 | 20 | 20 | 2 | 2 | 结果筛选 |
2 | 50 | 50 | 2 | 4 | 代码规范 |
陈宇扬:
-
过去一天完成了哪些任务:
- 追加云南、辽宁省政策文件数据
- 追加云南、辽宁省政策文件数据
-
接下来计划:
- 完成剩下省份政策文件的获取。
-
还剩下哪些任务:
- 其他省份政策相关获取。
-
燃尽图:
-
遇到了哪些困难:
- 某些省份的政策文件显示不完全,例如云南省只显示前25页数据。
-
有哪些收获和疑问:
- 八爪鱼可以分析页面内容捕获锚文本,获得URL、发文时间等等。
-
PSP表格
PSP2.1 | Personal Software Process Stages | 预估耗时(分钟) | 实际耗时(分钟) |
---|---|---|---|
Planning | 计划 | ||
· Estimate | · 估计这个任务需要多少时间 | 10 | 10 |
Development | 开发 | ||
· Analysis | · 需求分析 (包括学习新技术) | 60 | 45 |
· Design Spec | · 生成设计文档 | - | - |
· Design Review | · 设计复审 | - | - |
· Coding Standard | · 代码规范 (为目前的开发制定合适的规范) | 5 | 5 |
· Design | · 具体设计 | - | - |
· Coding | · 具体编码 | 90 | 120 |
· Code Review | · 代码复审 | 10 | 10 |
· Test | · 测试(自我测试,修改代码,提交修改) | 5 | 5 |
Reporting | 报告 | ||
· Test Repor | · 测试报告 | - | - |
· Size Measurement | · 计算工作量 | 10 | 10 |
· Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划 | 10 | 15 |
合计 | 200 | 220 |
- 学习进度表
第N轮次 | 新增代码(行) | 累计代码(行) | 本次学习耗时(小时) | 累计学习耗时(小时) | 重要成长 |
---|---|---|---|---|---|
1(beta) | 200 | 200 | 4.25 | 4.25 | 完成四川、西藏政策文件爬取 |
2(beta) | 160 | 360 | 3.67 | 7.92 | 完成云南、辽宁政策文件爬取 |
周浩东:
-
过去两天完成了哪些任务:
- 知识推理、接口编写、部署
-
github签入记录
- 接下来计划:
- 优化
- 还剩下哪些任务:
- 优化
- 燃尽图
- 遇到了哪些困难:
- 数据量太大,推理不了
- 有哪些收获和疑问:
- neo4j真好玩
- PSP表格
PSP2.1 | Personal Software Process Stages | 预估耗时(分钟) | 实际耗时(分钟) |
---|---|---|---|
Planning | 计划 | 20 | 10 |
Estimate | 估计这个任务需要多少时间 | 20 | 20 |
Development | 开发 | - | - |
Analysis | 需求分析 &ppt&(包括学习新技术) | 10 | 10 |
Design Spec | 生成设计文档 | - | - |
Design Review | 设计复审 | - | - |
Coding Standard | 代码规范 (为目前的开发制定合适的规范) | ||
Design | 具体设计 | 10 | 5 |
Coding | 具体编码 | 60 | 30 |
Code Review | 代码复审 | 30 | 30 |
Test | 测试(自我测试,修改代码,提交修改) | - | - |
Reporting | 报告 | - | - |
Test Repor | 测试报告 | - | - |
100Size Measurement | 计算工作量 | 5 | 5 |
Postmortem & Process Improvement Plan | 事后总结, 并提出过程改进计划 | 10 | 10 |
Total | 合计 | 95 | 100 |
- 学习进度表
第N轮次 | 新增代码(行) | 累计代码(行) | 本周学习耗时(小时) | 累计学习耗时(小时) | 重要成长 |
---|---|---|---|---|---|
1(beta) | 200 | 200 | 3 | 3 | 知识抽取 |
2(beta) | 500 | 700 | 6 | 9 | 做完软工 |
林蒋辉:
-
过去两天完成了哪些任务:
-
IK分词器和pinyin分词器测试使用
-
服务器部署上线
-
-
还剩下哪些任务:
- 热点词汇和词频统计
-
燃尽图:
-
遇到了哪些困难:
- 分词器返回的结果有小部分不是很合理,没找到合适的解决方案
-
有哪些收获和疑问:
- 加强了分词器使用
-
PSP表格
PSP2.1 | Personal Software Process Stages | 预估耗时(分钟) | 实际耗时(分钟) |
---|---|---|---|
Planning | 计划 | ||
· Estimate | · 估计这个任务需要多少时间 | 10 | 10 |
Development | 开发 | ||
· Analysis | · 需求分析 (包括学习新技术) | 30 | 30 |
· Design Spec | · 生成设计文档 | - | - |
· Design Review | · 设计复审 | - | - |
· Coding Standard | · 代码规范 (为目前的开发制定合适的规范) | 5 | 5 |
· Design | · 具体设计 | - | - |
· Coding | · 具体编码 | 50 | 60 |
· Code Review | · 代码复审 | 40 | 30 |
· Test | · 测试(自我测试,修改代码,提交修改) | 150 | 150 |
Reporting | 报告 | ||
· Test Repor | · 测试报告 | - | - |
· Size Measurement | · 计算工作量 | 10 | 10 |
· Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划 | 10 | 10 |
合计 | 305 | 315 |
- 学习进度表
第N轮次 | 新增代码(行) | 累计代码(行) | 本周学习耗时(小时) | 累计学习耗时(小时) | 重要成长 |
---|---|---|---|---|---|
1(beta) | 300 | 300 | 5 | 5 | 分词器使用 |
2(beta) | 100 | 400 | 2 | 7 | 简单项目打jar包方式部署服务器 |
黄朝威:
- 过去一天完成了哪些任务:
- 成功获取重庆市政策文件,以及北京部分文件,实现河北省政策数据获取
- 成功获取重庆市政策文件,以及北京部分文件,实现河北省政策数据获取
- 接下来计划:
- 完成剩下省份政策文件的获取。
- 还剩下哪些任务:
- 其他省份政策相关获取;
- 燃尽图:
- 遇到了哪些困难:
- 部分省的链接需要特殊跳转方式,而这种方式需要页面的JS脚本才能执行,但是经过多次调试未能拿下JS脚本,被迫通过另外的方式获取数据,大大降低效率,还有就是
考试又来了,部分省有反爬虫机制着实耗费了不少时间用于获取数据。 - 还是部分省份文件库需要输入内容才能使用这样会可能会一定程度少减少爬取的数量,但文件库提供了便捷的获取途径,尝试绕开不可取。
- 部分省的链接需要特殊跳转方式,而这种方式需要页面的JS脚本才能执行,但是经过多次调试未能拿下JS脚本,被迫通过另外的方式获取数据,大大降低效率,还有就是
- 有哪些收获和疑问:
- 通过部分工具可以获得有效信息,后续通过Pandas进行处理即可加速爬取,便捷爬取。
- PSP表格
PSP2.1 | Personal Software Process Stages | 预估耗时(分钟) | 实际耗时(分钟) |
---|---|---|---|
Planning | 计划 | ||
· Estimate | · 估计这个任务需要多少时间 | 10 | 10 |
Development | 开发 | ||
· Analysis | · 需求分析 (包括学习新技术) | 40 | 60 |
· Design Spec | · 生成设计文档 | - | - |
· Design Review | · 设计复审 | - | - |
· Coding Standard | · 代码规范 (为目前的开发制定合适的规范) | 5 | 50 |
· Design | · 具体设计 | - | - |
· Coding | · 具体编码 | 120 | 140 |
· Code Review | · 代码复审 | 10 | 10 |
· Test | · 测试(自我测试,修改代码,提交修改) | 5 | 5 |
Reporting | 报告 | ||
· Test Repor | · 测试报告 | - | - |
· Size Measurement | · 计算工作量 | 10 | 10 |
· Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划 | 10 | |
合计 | 210 | 305 |
- 学习进度条
第N轮次 | 新增代码(行) | 累计代码(行) | 本周学习耗时(小时) | 累计学习耗时(小时) | 重要成长 |
---|---|---|---|---|---|
1(beta) | 961 | 961 | 12 | 12 | 完成对重庆市、国务院及其部门、河南省整省、陕西省整省、天津直辖市的爬取 |
2(beta) | 584 | 1545 | 3 | 15 | 河北省数据拿下,北京部分数据签入,重庆数据改良 |
三、冲刺成果展示
-
展示组内最新成果
后端检索系统部署上线:
RDF数据加载入neo4j图数据库:
今日爬取成果展示:
-
站立会议合照
-
会议耗时记录
第N次会议 | 耗时(分钟) |
---|---|
1 | 10 |
2 | 8 |