下一个版本的新想法

[Yunxi-awa]

• 添加一个日志的开关，有时候不想输出那么多的日志
• 可以为download_album设置返回albumDetail对象，download_batch返回albumDetail对象的列表, download_photo返回photoDetail对象。
• 将抓取的album属性自动保存在sqlite的插件

[Yunxi-awa]

• 添加一个日志的开关，有时候不想输出那么多的日志
• 可以为download_album设置返回albumDetail对象，download_batch返回albumDetail对象的列表， download_photo返回photoDetail对象。
• 将抓取的album属性自动保存在sqlite的插件

最新发现：在文档中未标注
在option文件中输入一级log标签设置值不为None即可关闭日志
client标签中添加retry_times, 后面写重试次数即可自定义重试次数

[hect0x7]

添加一个日志的开关，有时候不想输出那么多的日志

这个点也很符合我的想法，jmcomic目前的版本提供以下几种日志自定义方式来解决这个问题：

• 备忘：记得下个版本完善日志这块的问题

1. 日志完全开启/关闭

使用代码：

from jmcomic import disable_jm_log 
disable_jm_log()

使用配置：

log: false

2. 日志过滤，只保留特定topic

使用插件配置

log: true

plugins:
  after_init:
    - plugin: log_topic_filter # 日志topic过滤插件
      kwargs:
        whitelist: [ # 只保留api和html，这两个是Client发请求时会打的日志topic
          'api',
          'html',
        ]

3. 屏蔽插件的日志

给插件配置加上一个log配置项即可

plugins:
  after_init:
    - plugin: client_proxy # 提高移动端的请求效率的插件
      log: false # 插件自身不打印日志
      kwargs:
        proxy_client_key: cl_proxy_future
        whitelist: [ api, ]

4. 完全自定义 jmcomic 日志

参考文档：https://jmcomic.readthedocs.io/en/latest/tutorial/4_module_custom/

[hect0x7]

• 添加一个日志的开关，有时候不想输出那么多的日志
• 可以为download_album设置返回albumDetail对象，download_batch返回albumDetail对象的列表, download_photo返回photoDetail对象。
• 将抓取的album属性自动保存在sqlite的插件

关于第2点，很合理的想法。我觉得除了返回album实体类，还可以返回downloader，即向外界返回更多上下文信息

# api.py
def download_album(jm_album_id, option=None, downloader=None):
    if not isinstance(jm_album_id, (str, int)):
        return download_batch(download_album, jm_album_id, option, downloader)

    with new_downloader(option, downloader) as dler:
        # 返回album，downloader
        return dler.download_album(jm_album_id), dler

# jm_downloader.py
class JmDownloader(DownloadCallback):

    def download_album(self, album_id):
        client = self.client_for_album(album_id)
        album = client.get_album_detail(album_id)
        self.download_by_album_detail(album, client)
        # 返回album实体类
        return album

[hect0x7]

但是，如果是批量下载，就不一样了：

from jmcomic import download_album
result = download_album([123, 456])

目前v2.5.0，这种情况，download_album是有返回值的，返回的是List[Thread]，即下载线程。

JMComic-Crawler-Python/src/jmcomic/api.py

Lines 4 to 30 in 14050d4

	def download_batch(download_api,
	jm_id_iter: Union[Iterable, Generator],
	option=None,
	downloader=None,
	):
	"""
	批量下载 album / photo
	一个album/photo，对应一个线程，对应一个option
	:param download_api: 下载api
	:param jm_id_iter: jmid (album_id, photo_id) 的迭代器
	:param option: 下载选项，所有的jmid共用一个option
	:param downloader: 下载器类
	"""
	from common import multi_thread_launcher
	if option is None:
	option = JmModuleConfig.option_class().default()
	return multi_thread_launcher(
	iter_objs=set(
	JmcomicText.parse_to_jm_id(jmid)
	for jmid in jm_id_iter
	),
	apply_each_obj_func=lambda aid: download_api(aid, option, downloader),
	)

这里看来要进行一些改造。

[hect0x7]

• 将抓取的album属性自动保存在sqlite的插件

这个点，好像正是你现在在做的吧？要不你来实现这个插件叭！你会Pull Request吗？

插件的实现模板如下：

from jmcomic import *


class InsertAlbumToSqlitePlugin(JmOptionPlugin):
    plugin_key = 'sqlite'

    def invoke(self,
               # 声明album和downloader，当插件在after_album被调用时可以获取到
               album: JmAlbumDetail,
               downloader: JmDownloader,
               # 这里定义用户配置项
               db_filepath: str,  # 例如db文件路径
               ):
        """
        下面实现插件的功能
        """
        pass

可以进一步参考zip插件：

JMComic-Crawler-Python/src/jmcomic/jm_plugin.py

Line 275 in 14050d4

class ZipPlugin(JmOptionPlugin):

和jm-server插件：

JMComic-Crawler-Python/src/jmcomic/jm_plugin.py

Line 763 in 14050d4

class JmServerPlugin(JmOptionPlugin):

[Yunxi-awa]

我真的很乐意，但我需要比较宽裕时间，我还有一周期末考试了（相信我，我只是一个成绩垃圾的初中牲，另外我最近在做压力测试，发现一个bug可以在issues看一下

[hect0x7]

没关系，等你有空了再说。
另外我认为你的这个插件想法，其实也可以单独开个项目，可以发到PYPI上。这样可以单独进行升级迭代，类似于 jm_server。