前几天，在 Slax Reader 的 Discord 里，看到同事有一个改动条目：

  • 导入任务的时候，界面弹窗提示： 由于最近导入量巨大，故只会自动处理前 200 条 XXX （需要给个文案）

我跑出来询问：这个指的是，我们限制了导入的上限吗？（隐约觉得不该限制）

Owner 志强回复：导入的条数是不限制的：如果 Pocket 里有 5W 条，我们会全部导入。但只有 200 条会自动生成快照，其余只有原网页链接，用户点击 “Snapshot”时候，我们再生成快照。并附上了原因——见附件的图片，是因为导入量大，导致我们抓取数据的服务被“DDoS”了。

过程中志强和 daguang 提到了原因、方案的一些细节比如：

  • 不用考虑关联逻辑，比如怎么让一个 5W 条导入记录的用户 A 不影响 200 条导入记录的用户 B。
  • 咱目前的导入队列是所有用户共用的，所以用户之间会影响。
  • 技术上可以改成别的方案，比如增加一个慢速队列，专门放 200 条之外的。
  • 但这就增加了技术复杂性。
  • 先上线。解决目前的 “DDoS” 风险。

在讨论中，我有这么些反馈：

  • 有没有可能只是“慢速导入”就可以
  • 如果后续有改进计划，我可以接受。否则我会建议下线导入功能（因为导入一个 url 但是不抓链接，比没导入还让我难受）
  • 我支持先下线导入功能，或者文案不是说只处理 200 条，而是说 200 条以外的我以后慢慢处理

后来志强开会去了，回来后，他对后续工作做了安排。这是个看起来挺正常的讨论。