企业网站开发需求,东莞网络建设,网页游戏排行榜前十微信小程序,深圳 网站设计公司排名参考#xff1a; https://www.youtube.com/watch?vmk-Se29QPBAt1388s
写明这些训练模型可以最终训练好可以进行DNA特征向量的提取#xff0c;应用与后续1、DNABERT
https://github.com/jerryji1993/DNABERT 主要思路就是把DNA序列当成连续文本数据#xff0c;直接用…参考 https://www.youtube.com/watch?vmk-Se29QPBAt1388s
写明这些训练模型可以最终训练好可以进行DNA特征向量的提取应用与后续1、DNABERT
https://github.com/jerryji1993/DNABERT 主要思路就是把DNA序列当成连续文本数据直接用成熟的自然语言训练模型transformer进行生物DNA序列数据的训练 不同点主要就是ATCG序列切分tokenDNA序创造了k-mer切分方法 3k-mer切分下图 2、DNABERT-2
https://github.com/MAGICS-LAB/DNABERT_2
DNABERT-2主要是切词token方法的改进用了transformer主流用的BPE token切分算法参考学习https://blog.csdn.net/xiao_ling_yun/article/details/129517312 向量特征提前
import torch
from transformers import AutoTokenizer, AutoModeltokenizer AutoTokenizer.from_pretrained(zhihan1996/DNABERT-2-117M, trust_remote_codeTrue)
model AutoModel.from_pretrained(zhihan1996/DNABERT-2-117M, trust_remote_codeTrue)dna ACGTAGCATCGGATCTATCTATCGACACTTGGTTATCGATCTACGAGCATCTCGTTAGC
inputs tokenizer(dna, return_tensors pt)[input_ids]
hidden_states model(inputs)[0] # [1, sequence_length, 768]# embedding with mean pooling
embedding_mean torch.mean(hidden_states[0], dim0)
print(embedding_mean.shape) # expect to be 768# embedding with max pooling
embedding_max torch.max(hidden_states[0], dim0)[0]
print(embedding_max.shape) # expect to be 768
