【南山智尚出席第93届国际毛纺织大会】4月16-18日，IWTO第93届国际毛纺织大会在澳大利亚，南澳大利亚州首府阿德莱德圆满举办。来自全球300多名行业从业者及相关领域的代表参加了此次国际盛会。中国代表团由中国纺织工业联合会副会长杨兆华和中国毛纺织行业协会会长刘家强领队，由国家检测机构、毛纺贸易机构、制造企业和产业集群领导等30多名代表组成的代表团参加了此次会议。
南山智尚作为IWTO赞助商出席了此次大会。南山智尚是全球为数不多的毛纺织服装产业链一体化公司，主营业务涵盖精纺呢绒及服装产品的研发、设计、生产与销售。
南山智尚综合装备实力位居同行业先进水平，是领先的大型精纺紧密纺面料和现代化西服生产基地。在会场外南山智尚展位设立面料、服装两大展示区，展示了精纺紧密纺面料、OPTIM户外运动羊毛面料、定制服饰等，吸引了众多全球贸易伙伴进行交流、合作。
南山智尚作为IWTO赞助商出席了此次大会。南山智尚是全球为数不多的毛纺织服装产业链一体化公司，主营业务涵盖精纺呢绒及服装产品的研发、设计、生产与销售。
南山智尚综合装备实力位居同行业先进水平，是领先的大型精纺紧密纺面料和现代化西服生产基地。在会场外南山智尚展位设立面料、服装两大展示区，展示了精纺紧密纺面料、OPTIM户外运动羊毛面料、定制服饰等，吸引了众多全球贸易伙伴进行交流、合作。
#LLM##LLM实践##llama3##LoRA##Quantization#
微调量化llama3-8b模型
微调训练笔记：https://t.cn/A6THkvo1
PS: llama3还是延用llama2的模型结构，一个原因是增加训练数据token数量到15T, 以及模型权重训练参数，模型训练的loss值还可以收敛，scaling laws还成立，所以加大训练量，继续堆机器，搭建集群来训练，加上人员和时间实验评估成本，训练成本很高，开源出来的模型权重。有了质量高的大力丸，基建搭好了，应用agent框架结合场景开出不一样的花朵~ （什么时候新的模型结构出现，推断训练范式的改变，也许炼丹成不会降低，当然离不开硬件计算密集型芯片的发展）
数据集：
使用来自[yahma](https://t.cn/A6THkvog)的Alpaca数据集，这是原始[Alpaca数据集](https://t.cn/A6CWGcUg)的经过筛选的版本，共有52,000条数据。
量化模型： unsloth/llama-3-8b-bnb-4bit
LoRA微调参数：
```
r = 16, # Choose any number > 0 ! Suggested 8, 16, 32, 64, 128
target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
"gate_proj", "up_proj", "down_proj",],
lora_alpha = 16,
lora_dropout = 0, # Supports any, but = 0 is optimized
bias = "none", # Supports any, but = "none" is optimized
```
微调参数量：
trainable params: 41,943,040 || all params: 8,072,204,288 || trainable%: 0.5195983464188562
训练参数：
```
per_device_train_batch_size = 2,
gradient_accumulation_steps = 4,
warmup_steps = 5,
max_steps = 60,
learning_rate = 2e-4,
fp16 = True,
bf16 = False,
logging_steps = 1,
optim = "adamw_8bit",
weight_decay = 0.01,
lr_scheduler_type = "linear",
seed = 3407,
output_dir = "outputs",
```
参考：
1. https://t.cn/A6THkvo3
2. https://t.cn/A6THkvod
3. https://t.cn/A6THkvoB
4. https://t.cn/A6THkvor
微调量化llama3-8b模型
微调训练笔记：https://t.cn/A6THkvo1
PS: llama3还是延用llama2的模型结构，一个原因是增加训练数据token数量到15T, 以及模型权重训练参数，模型训练的loss值还可以收敛，scaling laws还成立，所以加大训练量，继续堆机器，搭建集群来训练，加上人员和时间实验评估成本，训练成本很高，开源出来的模型权重。有了质量高的大力丸，基建搭好了，应用agent框架结合场景开出不一样的花朵~ （什么时候新的模型结构出现，推断训练范式的改变，也许炼丹成不会降低，当然离不开硬件计算密集型芯片的发展）
数据集：
使用来自[yahma](https://t.cn/A6THkvog)的Alpaca数据集，这是原始[Alpaca数据集](https://t.cn/A6CWGcUg)的经过筛选的版本，共有52,000条数据。
量化模型： unsloth/llama-3-8b-bnb-4bit
LoRA微调参数：
```
r = 16, # Choose any number > 0 ! Suggested 8, 16, 32, 64, 128
target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
"gate_proj", "up_proj", "down_proj",],
lora_alpha = 16,
lora_dropout = 0, # Supports any, but = 0 is optimized
bias = "none", # Supports any, but = "none" is optimized
```
微调参数量：
trainable params: 41,943,040 || all params: 8,072,204,288 || trainable%: 0.5195983464188562
训练参数：
```
per_device_train_batch_size = 2,
gradient_accumulation_steps = 4,
warmup_steps = 5,
max_steps = 60,
learning_rate = 2e-4,
fp16 = True,
bf16 = False,
logging_steps = 1,
optim = "adamw_8bit",
weight_decay = 0.01,
lr_scheduler_type = "linear",
seed = 3407,
output_dir = "outputs",
```
参考：
1. https://t.cn/A6THkvo3
2. https://t.cn/A6THkvod
3. https://t.cn/A6THkvoB
4. https://t.cn/A6THkvor
PCA Skin Hyaluronic Acid Boosting Serum
是它们家买的最好的东西
奇华顿的NovHyal Biotech G即NAG6P (zo说的生长因子哈哈 是我觉得见效最快的化妆品原料哈哈 但是Tightenyl版本的可能会更好）
促进表皮和真皮生成GAG图二，促进CD44透明质酸受体表达图三，强化基底膜。促进成纤维细胞分化。还合A酸pk了一下，在以上方面都比A酸强虽然只有10天图四。
巴斯夫的PERLAURA 拳根参提取物促进基膜蛋白聚糖串珠素和抗肌萎缩蛋白dystroglycan的表达图五。
Codif的HYDRANOV
1.5%Hydranov刺激表皮生成透明质酸图六
同时提高跨膜蛋白claudin-1(紧密连接蛋白1)的表达，促进聚丝蛋白和神经酰胺的合成，修护皮肤屏障。
Sederma的optim hyal 发酵物中的单糖，分子结构小 ，结构类似于透明质酸，刺激表皮生成透明质酸。
高浓度烟酰胺和赢创的神经酰胺
50kDa的透明质酸 10到1000kDa的透明质酸钠
论文没写 也猜不出来具体是哪些原料
图七和图八是六周后的使用对比
反正高露洁发的文说对皮肤屏障，角质层水合作用，细纹以及皮肤外观的充盈都有改善
用完再来评 主要是也没有皱纹 希望能有niod MHCC2那样充盈的效果就好
是它们家买的最好的东西
奇华顿的NovHyal Biotech G即NAG6P (zo说的生长因子哈哈 是我觉得见效最快的化妆品原料哈哈 但是Tightenyl版本的可能会更好）
促进表皮和真皮生成GAG图二，促进CD44透明质酸受体表达图三，强化基底膜。促进成纤维细胞分化。还合A酸pk了一下，在以上方面都比A酸强虽然只有10天图四。
巴斯夫的PERLAURA 拳根参提取物促进基膜蛋白聚糖串珠素和抗肌萎缩蛋白dystroglycan的表达图五。
Codif的HYDRANOV
1.5%Hydranov刺激表皮生成透明质酸图六
同时提高跨膜蛋白claudin-1(紧密连接蛋白1)的表达，促进聚丝蛋白和神经酰胺的合成，修护皮肤屏障。
Sederma的optim hyal 发酵物中的单糖，分子结构小 ，结构类似于透明质酸，刺激表皮生成透明质酸。
高浓度烟酰胺和赢创的神经酰胺
50kDa的透明质酸 10到1000kDa的透明质酸钠
论文没写 也猜不出来具体是哪些原料
图七和图八是六周后的使用对比
反正高露洁发的文说对皮肤屏障，角质层水合作用，细纹以及皮肤外观的充盈都有改善
用完再来评 主要是也没有皱纹 希望能有niod MHCC2那样充盈的效果就好
✋热门推荐