采用时间序列模型作为大语言模型的替代方案

[DanielZhangyc]

考虑到使用LLM作为检测方案可能存在一定API开销以及使用门槛，且可能存在处理时间过长的问题。由于b站的视频都提供了视频不同时间段观看数据，而对于口播广告时间段可能存在一定明显的特征，可否采集视频的播放数据并使用时间序列模型（LSTM/Transformer）来进行广告片段的识别？

[Warma10032]

通过观看数据来判断吗。其实我有观察过广告区域的高能进度条会出现一个波峰，因为很多人在移动进度条到这里，但是具体数据的获取和量化感觉还是有点困难。从视频内容去判断还是要更简单一些，其实是可以训练一个时间序列模型从内容进行判断，不过现在貌似没有相关的数据集，如果用的人多我倒是可以收集到数据集，就是可能会有版权问题😰

[musdrop]

我做了一些尝试，过程如下，可行性不太高

1. 提取热度数据
   打开b站一个带广告的视频，热度图形式如下，其中中间高峰部分为广告区域：

使用浏览器检查工具定位该热度图元素，如图所示：

class为bpx-player-pbp的div内即为热度图，其中defs下的第一个clipPath内为描述热度曲线的贝塞尔曲线的定义，含有曲线的点信息。
考虑到请求服务器相关数据时大概率不会请求复杂的曲线控制点信息，热度图应该由更简单的数据在本地转换生成，因此使用浏览器工具进行抓包尝试。
多次尝试后，注意到该标签名称含pbp，以其为关键字检索到如下请求：

注意到响应中包含一个数组，里面为97个数字，对比数字大小变化趋势，发现与热度图起伏趋势相近，为进一步验证，借助大模型编写一个贝塞尔曲线生成脚本，已该数组为输入，生成效果如下：

其与热度图高度一致，可见我们得到了获取视频热度图原始数据序列的方法，其为一个包含各时间片的热度情况的数组，热度情况为一个数值，具体含义不明。
2. 热度数据分析

• 对多个视频的该数组进行分析，发现无论视频长短，该数组长度固定
• 数值分布上未发现规律
• 存在一些视频无该数据，这些视频也无热度图
• 观察一些视频发现，热度图峰值部分并不一定包含广告，因此仅依靠该数组可能难以准确判断广告区域