convert.go 28 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674675676677678679680681682683684685686687688689690691692693694695696697698699700701702703704705706707708709710711712713714715716717718719720721722723724725726727728729730731732733734735736737738739740741742743744745746747748749750751752753754755756757758759760761762763764765766767768769770771772773774775776777778779780781782783784785786787788789790791792793794795796797798799800801802803804805806807808809810811812813814815816817818819820821822823824825826827828829830831832833834835836837838839840841842843844845846847
  1. package DB
  2. import (
  3. "TsDB2/DB/core/types"
  4. "bytes"
  5. "encoding/binary"
  6. "fmt"
  7. "io"
  8. "math/big"
  9. "reflect"
  10. "strings"
  11. )
  12. // structToFieldValues 将结构体转换为 core.InsertRow 所需的 FieldValue 切片
  13. //
  14. // activeColumns 为当前 DB schema 活跃列集合, 只发送交集内的字段。
  15. //
  16. // blobc: Blob 列的写入入口 (一般是 *core.Transaction, 包成 types.BlobCommitter 接口)。
  17. // 传 nil 时 Blob 列必须已经"自带" types.BlobRef (写侧用户在 tx 外自行 blob.Commit 然后送 ref),
  18. // 否则 blob 列会报错 — 这是把"必须有 tx 才能写 blob"的要求显式化, 防止新写代码在无 tx
  19. // 上下文里静默走错路径。
  20. func structToFieldValues(obj interface{}, model *ModelInfo, activeColumns map[string]bool, blobc types.BlobCommitter) ([]types.FieldValue, error) {
  21. v := reflect.ValueOf(obj)
  22. if v.Kind() == reflect.Ptr {
  23. v = v.Elem()
  24. }
  25. if v.Kind() != reflect.Struct {
  26. return nil, fmt.Errorf("vrtx: expected struct, got %s", v.Kind())
  27. }
  28. result := make([]types.FieldValue, 0, len(model.AllFields))
  29. for _, fd := range model.AllFields {
  30. // 跳过不在当前 DB schema 中的字段 (如已删除列、或 struct 有但 DB 没有)
  31. if activeColumns != nil && !activeColumns[fd.ColName] {
  32. continue
  33. }
  34. // 快路径: 建模时解析好的反射路径直接取 (含嵌入提升链);
  35. // 指针嵌入等特殊路径解析不到时退回 findField 老逻辑
  36. fv := fieldByModelPath(v, fd, model.StructType)
  37. if !fv.IsValid() {
  38. // 字段不在结构体中 (如自动添加的 _id),用零值填充
  39. result = append(result, types.FieldValue{
  40. FieldName: []byte(fd.ColName),
  41. Value: zeroValue(fd),
  42. })
  43. continue
  44. }
  45. // 指针/接口字段为 nil, 且该列声明了 nullable → 显式 NULL。
  46. // 不做这一步的话, 接口里装的是"类型化 nil" (*T)(nil): core 侧的 `value == nil`
  47. // 判不出来, 会被当成零值写进去 —— "可空列永远存不出 NULL", 唯一约束的 NULL
  48. // 免除也就无从生效。只认指针/接口: nil 切片是"空值"而不是 NULL (空 blob 的
  49. // 既有语义必须保持), 非可空列则继续走"nil 当零值"的老路。
  50. if fd.Flag&types.FlagNullable != 0 && isNilPointerValue(fv) {
  51. result = append(result, types.FieldValue{
  52. FieldName: []byte(fd.ColName),
  53. Value: nil,
  54. })
  55. continue
  56. }
  57. val, err := normalizeValue(fv, fd, blobc)
  58. if err != nil {
  59. return nil, err
  60. }
  61. result = append(result, types.FieldValue{
  62. FieldName: []byte(fd.ColName),
  63. Value: val,
  64. })
  65. }
  66. return result, nil
  67. }
  68. // fieldValuesToStruct 将 core 查询结果的 FieldValue 切片反序列化到结构体
  69. //
  70. // blobReader: Blob 列的读取入口 (一般是 *core.Table)。行内只有 8B BlobRef, 载体又是
  71. // []byte (见 types.go 对 Blob 列载体的约束), 所以必须在这里按 ref 把链页内容读回内存。
  72. // 该列为空 (全是非 blob 列 / 值是空 ref) 时可以不传, 传 nil 只在真遇到非空 blob 时才会报错。
  73. func fieldValuesToStruct(fvs []types.FieldValue, model *ModelInfo, obj interface{}, blobReader types.BlobReader) error {
  74. v := reflect.ValueOf(obj)
  75. if v.Kind() != reflect.Ptr || v.Elem().Kind() != reflect.Struct {
  76. return fmt.Errorf("vrtx: obj must be a pointer to struct")
  77. }
  78. v = v.Elem()
  79. // 建立列名 → FieldValue 映射
  80. colMap := make(map[string]types.FieldValue, len(fvs))
  81. for _, fv := range fvs {
  82. colMap[string(fv.FieldName)] = fv
  83. }
  84. for _, fd := range model.AllFields {
  85. fv, ok := colMap[fd.ColName]
  86. if !ok {
  87. continue
  88. }
  89. target := fieldByModelPath(v, fd, model.StructType)
  90. if !target.IsValid() || !target.CanSet() {
  91. continue
  92. }
  93. if err := setFieldFromValue(target, fv.Value, fd, blobReader); err != nil {
  94. return fmt.Errorf("vrtx: set field %s: %w", fd.Name, err)
  95. }
  96. }
  97. return nil
  98. }
  99. // fieldByModelPath 建模时解析好的反射路径直接取字段 (含嵌入提升链)。
  100. //
  101. // 逐行路径 (structToFieldValues / getPKValue / setPKValue / fieldValuesToStruct)
  102. // 每行每列一次字段查找, FieldByName 的类型级搜索会为闭包与 Index 切片反复分配
  103. // (批量灌数实测 ~18% 的分配量); GoPath 是 ParseModel 时一次性算好的, 取值只是
  104. // O(路径长度) 的指针解引用。解析不到 (字段不在结构体里 / 路径无效) 时退回
  105. // findField 老逻辑, 语义不变。
  106. func fieldByModelPath(v reflect.Value, fd FieldDef, t reflect.Type) reflect.Value {
  107. if fd.GoPath != nil {
  108. if f, err := v.FieldByIndexErr(fd.GoPath); err == nil {
  109. return f
  110. }
  111. }
  112. return findField(v, fd.Name, t)
  113. }
  114. // findField 在结构体中查找字段 (支持嵌入结构体)
  115. func findField(v reflect.Value, name string, t reflect.Type) reflect.Value {
  116. // 直接查找
  117. if f := v.FieldByName(name); f.IsValid() {
  118. return f
  119. }
  120. // 在嵌入结构体中查找
  121. for i := 0; i < t.NumField(); i++ {
  122. sf := t.Field(i)
  123. if sf.Anonymous {
  124. fv := v.Field(i)
  125. if sf.Type == baseModelType || sf.Type == timeSeriesModelType {
  126. if inner := fv.FieldByName(name); inner.IsValid() {
  127. return inner
  128. }
  129. } else if sf.Type.Kind() == reflect.Struct {
  130. if inner := findField(fv, name, sf.Type); inner.IsValid() {
  131. return inner
  132. }
  133. }
  134. }
  135. }
  136. return reflect.Value{}
  137. }
  138. // normalizeValue 将反射字段值转换为 core 可接受的值
  139. //
  140. // blobc: Blob 列的写入入口 (一般是 *core.Transaction). 传 nil 时要求字段已经自带
  141. // types.BlobRef — 否则 blob 列会报错, 这是把"必须有 tx 才能写 blob"的要求显式化。
  142. func normalizeValue(fv reflect.Value, fd FieldDef, blobc types.BlobCommitter) (interface{}, error) {
  143. iface := fv.Interface()
  144. // 指针载体解一层: 可空列用 `*T` 表达 (nil 已在上层被转成显式 NULL, 走不到这里),
  145. // 非 nil 的指针要按 T 的值走下面的转换。不解这一层的话, *int64 会被 toUint64 的
  146. // "既不能 CanUint 也不能 CanInt" 分支静默变成 0 —— 可空列看着能写, 写进去全是零。
  147. //
  148. // 只给下面这些"由 normalizeValue 定值"的列型解引用; 扩展类型那组是"原样下传",
  149. // 其中 Int128 的载体本来就是 *big.Int (core 按指针识别), 绝不能解开。
  150. carrier := iface
  151. if fv.Kind() == reflect.Ptr && !fv.IsNil() {
  152. carrier = fv.Elem().Interface()
  153. }
  154. switch fd.FieldType {
  155. case types.FieldType_Uint8:
  156. return uint8(toUint64(carrier)), nil
  157. case types.FieldType_Uint16:
  158. return toInt16(carrier), nil
  159. case types.FieldType_Uint32:
  160. return toInt32(carrier), nil
  161. case types.FieldType_Uint64:
  162. return toUint64(carrier), nil
  163. case types.FieldType_Int8:
  164. return toInt8(carrier), nil
  165. case types.FieldType_Int16:
  166. return toInt16(carrier), nil
  167. case types.FieldType_Int32:
  168. return toInt32(carrier), nil
  169. case types.FieldType_Int64:
  170. return toInt64(carrier), nil
  171. case types.FieldType_Float64:
  172. return toFloatVal(carrier), nil
  173. case types.FieldType_String:
  174. // 字符串 / []byte 载体【原样下传】: 补零与"超宽报错"都由 types.EncodeValue
  175. // 按列的实际宽度完成 —— 宽度只有一个权威来源 (见 FieldDef.Width)。
  176. //
  177. // 旧实现先在这里 toFixedBytes 一次, 而那个函数是 copy 进定长缓冲: 超宽部分被
  178. // 静默丢掉。`maxlen:10` 的列写 20 字节会成功落库并少掉一半内容, 调用方拿不到
  179. // 任何信号 —— 这正是列宽闸门要拦的事, 拦在 ORM 就会绕过它。
  180. switch carrier.(type) {
  181. case string, []byte:
  182. return carrier, nil
  183. }
  184. // 数值载体 (String 兼作裸字节列的旧用法) 仍按列宽做 BigEndian 编码
  185. return toFixedBytes(carrier, int(fd.Width())), nil
  186. case types.FieldType_Dynamicbyte:
  187. // 动态列必须送 []byte: 引擎侧对动态列只做 `value.([]byte)` 断言,
  188. // 送 string / 数值会在那里被明确拒绝 (见 core.writeFieldValueAt)。
  189. return toBytes(carrier), nil
  190. case types.FieldType_Blob:
  191. // 字段值可以是:
  192. // - types.Blob{Source, Bytes} 写侧
  193. // - types.BlobRef{TotalLen, FirstPageID} 已 commit 的 ref
  194. // - []byte / string / io.Reader / *os.File (裸承载, 引擎帮包 Blob)
  195. // - nil 空 blob (NULL 已经被走掉了)
  196. // 全部统一为 types.BlobRef 后才下传; 非空 blob 必须有 blobc, 否则报"无 tx"。
  197. return blobFieldToRef(carrier, fd, blobc)
  198. // ===== 扩展类型 =====
  199. //
  200. // 这几类一律"原样下传", 由 core 的 types.EncodeValue 做规范化与校验 ——
  201. // 它才是唯一知道列级参数 (Decimal 的 scale) 的地方。这里若先做一次宽松转换,
  202. // 反而会把"不能精确表示"的值悄悄变成另一个值 (例如 float64→float32 截断)。
  203. case types.FieldType_Bool:
  204. return iface, nil
  205. case types.FieldType_Float32:
  206. return iface, nil
  207. case types.FieldType_Decimal:
  208. return iface, nil
  209. case types.FieldType_UUID:
  210. return iface, nil
  211. case types.FieldType_Year:
  212. return iface, nil
  213. case types.FieldType_Int128:
  214. return iface, nil
  215. default:
  216. return iface, nil
  217. }
  218. }
  219. // blobFieldToRef 把 ORM 字段值 (任意受支持的载体) 转成 types.BlobRef。
  220. //
  221. // 受支持的载体:
  222. // - nil → (BlobRef{}, nil) 空 blob
  223. // - types.BlobRef{} → 原值返回 已 commit 的 ref
  224. // - types.Blob{} → 通过 blobc.BlobCommit 写入链页, 拿 ref
  225. // - []byte → 包成 types.Blob{Bytes} 再 BlobCommit
  226. // - string → []byte 后同上
  227. // - io.Reader → 包成 types.Blob{Source} 再 BlobCommit; 文件、网络等
  228. //
  229. // 任一种都不该要求用户传 tx — ORM 层已自动开 tx, 把 tx.BlobCommit 包成 blobc 即可。
  230. //
  231. // 错误处理: Source 与 Bytes 同时非 nil 报"二选一"; blobc == nil 而字段非空 ref 报
  232. // "无 tx"; io.Reader 读取失败等按 tx.BlobCommit 的既有错误处理。
  233. func blobFieldToRef(carrier interface{}, fd FieldDef, blobc types.BlobCommitter) (types.BlobRef, error) {
  234. if carrier == nil {
  235. return types.BlobRef{}, nil
  236. }
  237. switch v := carrier.(type) {
  238. case types.BlobRef:
  239. return v, nil
  240. case types.Blob:
  241. // Blob 里"已读回"模式 (FirstPageID/TotalLen/Compress 已填) 直接转 ref;
  242. // 写侧 (Source/Bytes) 需要 blobc.
  243. if v.Source == nil && len(v.Bytes) == 0 {
  244. return types.BlobRef{}, nil
  245. }
  246. // 兼容: FirstPageID 非 0 且 Source/Bytes 都空 — 用户在 ORM 层手动构造"读回镜像
  247. // 后再送" 的场景; 不需要 blobc.
  248. if v.FirstPageID != 0 && len(v.Bytes) == 0 && v.Source == nil {
  249. return types.BlobRef{TotalLen: v.TotalLen, FirstPageID: v.FirstPageID}, nil
  250. }
  251. if blobc == nil {
  252. return types.BlobRef{}, fmt.Errorf("vrtx: blob 列 %s 需要事务上下文才能写, 请在 ORM 操作内自动 begin-tx (或显式 tx.BeginTransaction)", fd.ColName)
  253. }
  254. return blobc.BlobCommit(blobCarrier(v), types.CompressNone)
  255. case []byte:
  256. if len(v) == 0 {
  257. return types.BlobRef{}, nil
  258. }
  259. if blobc == nil {
  260. return types.BlobRef{}, fmt.Errorf("vrtx: blob 列 %s 需要事务上下文才能写", fd.ColName)
  261. }
  262. return blobc.BlobCommit(bytes.NewReader(v), blobCompressOf(v))
  263. case string:
  264. if len(v) == 0 {
  265. return types.BlobRef{}, nil
  266. }
  267. if blobc == nil {
  268. return types.BlobRef{}, fmt.Errorf("vrtx: blob 列 %s 需要事务上下文才能写", fd.ColName)
  269. }
  270. return blobc.BlobCommit(strings.NewReader(v), blobCompressOfString(v))
  271. }
  272. // 兜底: 任何 io.Reader 实现都直接接受 (*os.File, *bytes.Reader, *bytes.Buffer, ...).
  273. if r, ok := carrier.(io.Reader); ok {
  274. if blobc == nil {
  275. return types.BlobRef{}, fmt.Errorf("vrtx: blob 列 %s 需要事务上下文才能写", fd.ColName)
  276. }
  277. return blobc.BlobCommit(r, types.CompressNone)
  278. }
  279. return types.BlobRef{}, fmt.Errorf("vrtx: blob 列 %s 不支持的载体类型 %T", fd.ColName, carrier)
  280. }
  281. // blobCarrier 把 types.Blob 折成单个 io.Reader (BlobCommit 只接一个 reader)。
  282. //
  283. // 优先级: Source > Bytes. 同时给时会"明确优先 Source, Bytes 当空处理" — 但调用方已经在
  284. // types.Blob 里强调过"二者并存请报错"; 为与 tx.BlobCommit 的"接受一个源"签名兼容, 此处
  285. // 直接用 Source, Bytes 忽略 (Source 不为 nil 时按 io.MultiSource 上报更彻底, 但保持现状)。
  286. func blobCarrier(b types.Blob) io.Reader {
  287. if b.Source != nil {
  288. return b.Source
  289. }
  290. return bytes.NewReader(b.Bytes)
  291. }
  292. // blobCompressOf / blobCompressOfString: 默认 CompressNone, 后续可在 schema 加列级配置
  293. // (例 `vrtx:"type:blob,compress:snappy"`) 时把这里的硬编码换成 fd.Compress 字段。
  294. func blobCompressOf(b []byte) types.FieldCompress { return types.CompressNone }
  295. func blobCompressOfString(s string) types.FieldCompress {
  296. return types.CompressNone
  297. }
  298. // readBlobBytes 按 ref 把 blob 内容整块读回内存 (供 []byte 载体使用)。
  299. //
  300. // 空 ref (FirstPageID == 0) 返回空切片而不是 nil: 载体是 []byte 的字段读回"空 blob"
  301. // 应当是 len==0 的非 nil 切片, 与 SQL 侧读到的空 BLOB 形态一致, 也避免调用方额外 nil-check。
  302. //
  303. // compress 取 CompressNone: 与写入侧 (blobCompressOf) 保持一致 —— 库不持久化压缩标志,
  304. // 两端必须约定同一个值, 否则解出来的是压缩后的字节流。
  305. func readBlobBytes(reader types.BlobReader, ref types.BlobRef) ([]byte, error) {
  306. if ref.FirstPageID == 0 && ref.TotalLen == 0 {
  307. return []byte{}, nil
  308. }
  309. if reader == nil {
  310. return nil, fmt.Errorf("vrtx: blob 列 (TotalLen=%d) 需要 blob reader (core.Table) 才能读回内容", ref.TotalLen)
  311. }
  312. rc, err := reader.ReadBlob(ref, types.CompressNone)
  313. if err != nil {
  314. return nil, fmt.Errorf("vrtx: 读取 blob 链失败: %w", err)
  315. }
  316. if rc == nil {
  317. return []byte{}, nil
  318. }
  319. defer rc.Close()
  320. data, err := io.ReadAll(rc)
  321. if err != nil {
  322. return nil, fmt.Errorf("vrtx: 读取 blob 内容失败: %w", err)
  323. }
  324. if data == nil {
  325. data = []byte{}
  326. }
  327. return data, nil
  328. }
  329. // setFieldFromValue 将 core 返回值设置到结构体字段
  330. //
  331. // blobReader 只在 Blob 列 (val 是 types.BlobRef) 且载体是 []byte 时才用得上 —— ORM 的
  332. // Blob 列载体被约束成 []byte (见 types.go), 拿到的却是 8B 引用, 必须借它把内容读回来。
  333. func setFieldFromValue(target reflect.Value, val interface{}, fd FieldDef, blobReader types.BlobReader) error {
  334. if val == nil {
  335. return nil // NULL: 字段保持零值 (指针载体即 nil), 正是"没读到值"的表示
  336. }
  337. // 指针目标先落一层: 可空列的载体是 `*T`, 而解码值是 T —— 分配元素后往里写。
  338. // 集中在这里做, 下面那些 setXxxField 就不用各自认识指针 (它们只管元素类型)。
  339. if target.Kind() == reflect.Ptr {
  340. if target.IsNil() {
  341. target.Set(reflect.New(target.Type().Elem()))
  342. }
  343. target = target.Elem()
  344. }
  345. switch v := val.(type) {
  346. case uint64:
  347. setIntField(target, int64(v))
  348. case int64:
  349. setIntField(target, v)
  350. case int32:
  351. setIntField(target, int64(v))
  352. case int16:
  353. setIntField(target, int64(v))
  354. case int8:
  355. setIntField(target, int64(v))
  356. case uint8:
  357. setIntField(target, int64(v))
  358. case float64:
  359. setFloatField(target, v)
  360. case float32:
  361. setFloatField(target, float64(v))
  362. case bool:
  363. if target.Kind() == reflect.Bool {
  364. target.SetBool(v)
  365. }
  366. case []byte:
  367. setBytesField(target, v, fd)
  368. case types.Decimal:
  369. setDecimalField(target, v)
  370. case types.UUID:
  371. setUUIDField(target, v)
  372. case *big.Int:
  373. setBigIntField(target, v)
  374. case types.BlobRef:
  375. // 行内 8B 直接解出 ref. 三种载体:
  376. // - types.Blob: 填 ref 进结构体, 用户调 row.Cover.Open(table) 拿 io.ReadCloser
  377. // (流式, 适合大对象);
  378. // - []byte: 直接把内容读回内存 —— 这是 ORM 唯一允许的 Blob 列载体 (见 types.go),
  379. // 不读的话 []byte 字段永远是 nil, 写进去的东西读不回来;
  380. // - 其它 (自定义类型 / 自带 ref 的字段): 原样下传, 由 default 分支尽力赋值。
  381. switch {
  382. case target.Type() == reflect.TypeOf(types.Blob{}):
  383. b := types.Blob{FirstPageID: v.FirstPageID, TotalLen: v.TotalLen}
  384. if !b.Empty() {
  385. // Compress 没有持久化, 这里只能取零值 (CompressNone); 用户需要压缩一致性
  386. // 时, 应在表层配置 Compress 后整列落库, 这里不动它。详细见 types.Blob 注释。
  387. }
  388. target.Set(reflect.ValueOf(b))
  389. case target.Kind() == reflect.Slice && target.Type().Elem().Kind() == reflect.Uint8:
  390. data, err := readBlobBytes(blobReader, v)
  391. if err != nil {
  392. return err
  393. }
  394. target.SetBytes(data)
  395. default:
  396. rv := reflect.ValueOf(v)
  397. if rv.Type().AssignableTo(target.Type()) {
  398. target.Set(rv)
  399. } else if target.Kind() == reflect.Ptr && rv.Type().AssignableTo(target.Type().Elem()) {
  400. p := reflect.New(target.Type().Elem())
  401. p.Elem().Set(rv)
  402. target.Set(p)
  403. }
  404. }
  405. default:
  406. // 尝试直接设置 (同类型), 或填进同元素类型的指针字段
  407. // (struct 里写 `*types.Decimal` / `*big.Int` 时, 解码值是值类型)。
  408. rv := reflect.ValueOf(val)
  409. if !rv.IsValid() {
  410. return nil
  411. }
  412. switch {
  413. case rv.Type().AssignableTo(target.Type()):
  414. target.Set(rv)
  415. case target.Kind() == reflect.Ptr && rv.Type().AssignableTo(target.Type().Elem()):
  416. p := reflect.New(target.Type().Elem())
  417. p.Elem().Set(rv)
  418. target.Set(p)
  419. }
  420. }
  421. return nil
  422. }
  423. // setDecimalField 把解码出来的 Decimal 落到结构体字段。
  424. // 只做【无损】转换: 目标是有符号/无符号整数时要求 scale 为 0, 否则不写 —— 由调用方
  425. // 决定是要 string 还是 float 载体, 而不是在这里悄悄舍入。
  426. func setDecimalField(target reflect.Value, d types.Decimal) {
  427. switch {
  428. case target.Type() == reflect.TypeOf(types.Decimal{}):
  429. target.Set(reflect.ValueOf(d))
  430. case target.Kind() == reflect.Ptr && target.Type().Elem() == reflect.TypeOf(types.Decimal{}):
  431. p := reflect.New(target.Type().Elem())
  432. p.Elem().Set(reflect.ValueOf(d))
  433. target.Set(p)
  434. case target.Kind() == reflect.String:
  435. target.SetString(d.String())
  436. case target.Kind() == reflect.Float32, target.Kind() == reflect.Float64:
  437. target.SetFloat(d.Float64())
  438. case d.Scale() == 0:
  439. coef := d.Coefficient()
  440. switch target.Kind() {
  441. case reflect.Int, reflect.Int8, reflect.Int16, reflect.Int32, reflect.Int64:
  442. if coef.IsInt64() {
  443. target.SetInt(coef.Int64())
  444. }
  445. case reflect.Uint, reflect.Uint8, reflect.Uint16, reflect.Uint32, reflect.Uint64:
  446. if coef.IsUint64() {
  447. target.SetUint(coef.Uint64())
  448. }
  449. }
  450. }
  451. }
  452. // setUUIDField 把解码出来的 UUID 落到结构体字段 (UUID / string / [16]byte / []byte)。
  453. func setUUIDField(target reflect.Value, u types.UUID) {
  454. switch {
  455. case target.Type() == reflect.TypeOf(types.UUID{}):
  456. target.Set(reflect.ValueOf(u))
  457. case target.Kind() == reflect.Ptr && target.Type().Elem() == reflect.TypeOf(types.UUID{}):
  458. p := reflect.New(target.Type().Elem())
  459. p.Elem().Set(reflect.ValueOf(u))
  460. target.Set(p)
  461. case target.Kind() == reflect.String:
  462. target.SetString(u.String())
  463. case target.Kind() == reflect.Array && target.Len() == types.UUIDSize && target.Type().Elem().Kind() == reflect.Uint8:
  464. reflect.Copy(target, reflect.ValueOf(u[:]))
  465. case target.Kind() == reflect.Slice && target.Type().Elem().Kind() == reflect.Uint8:
  466. target.SetBytes(append([]byte(nil), u[:]...))
  467. }
  468. }
  469. // setBigIntField 把解码出来的 *big.Int 落到结构体字段 (big.Int / *big.Int / string / 整数)。
  470. func setBigIntField(target reflect.Value, v *big.Int) {
  471. if v == nil {
  472. v = new(big.Int)
  473. }
  474. switch {
  475. case target.Type() == reflect.TypeOf(big.Int{}):
  476. target.Set(reflect.ValueOf(*new(big.Int).Set(v)))
  477. case target.Type() == reflect.TypeOf(&big.Int{}):
  478. target.Set(reflect.ValueOf(new(big.Int).Set(v)))
  479. case target.Type() == reflect.TypeOf(types.Decimal{}):
  480. if d, err := types.NewDecimal(v, 0); err == nil {
  481. target.Set(reflect.ValueOf(d))
  482. }
  483. case target.Kind() == reflect.String:
  484. target.SetString(v.String())
  485. case target.Kind() == reflect.Int, target.Kind() == reflect.Int8,
  486. target.Kind() == reflect.Int16, target.Kind() == reflect.Int32, target.Kind() == reflect.Int64:
  487. if v.IsInt64() {
  488. target.SetInt(v.Int64())
  489. }
  490. case target.Kind() == reflect.Uint, target.Kind() == reflect.Uint8,
  491. target.Kind() == reflect.Uint16, target.Kind() == reflect.Uint32, target.Kind() == reflect.Uint64:
  492. if v.IsUint64() {
  493. target.SetUint(v.Uint64())
  494. }
  495. }
  496. }
  497. func setIntField(target reflect.Value, val int64) {
  498. switch target.Kind() {
  499. case reflect.Int, reflect.Int8, reflect.Int16, reflect.Int32, reflect.Int64:
  500. target.SetInt(val)
  501. case reflect.Uint, reflect.Uint8, reflect.Uint16, reflect.Uint32, reflect.Uint64:
  502. target.SetUint(uint64(val))
  503. case reflect.Float32, reflect.Float64:
  504. target.SetFloat(float64(val))
  505. case reflect.Bool:
  506. target.SetBool(val != 0)
  507. }
  508. }
  509. func setFloatField(target reflect.Value, val float64) {
  510. switch target.Kind() {
  511. case reflect.Float32, reflect.Float64:
  512. target.SetFloat(val)
  513. case reflect.Int, reflect.Int8, reflect.Int16, reflect.Int32, reflect.Int64:
  514. target.SetInt(int64(val))
  515. case reflect.Uint, reflect.Uint8, reflect.Uint16, reflect.Uint32, reflect.Uint64:
  516. target.SetUint(uint64(val))
  517. }
  518. }
  519. func setBytesField(target reflect.Value, val []byte, fd FieldDef) {
  520. switch target.Kind() {
  521. case reflect.String:
  522. // 截断到第一个 null 字节
  523. s := string(val)
  524. for i, c := range s {
  525. if c == 0 {
  526. s = s[:i]
  527. break
  528. }
  529. }
  530. target.SetString(s)
  531. case reflect.Slice:
  532. if target.Type().Elem().Kind() == reflect.Uint8 {
  533. target.SetBytes(val)
  534. }
  535. }
  536. }
  537. // ===== 类型转换辅助函数 =====
  538. // isNilPointerValue 判断反射值是否为 nil 指针 / nil 接口 (nil 切片不算 —— 空值 ≠ NULL)。
  539. func isNilPointerValue(v reflect.Value) bool {
  540. switch v.Kind() {
  541. case reflect.Ptr, reflect.Interface:
  542. return v.IsNil()
  543. }
  544. return false
  545. }
  546. func toUint64(v interface{}) uint64 {
  547. switch val := v.(type) {
  548. case uint64:
  549. return val
  550. case int64:
  551. return uint64(val)
  552. case int:
  553. return uint64(val)
  554. case int32:
  555. return uint64(val)
  556. case uint32:
  557. return uint64(val)
  558. case int16:
  559. return uint64(val)
  560. case uint16:
  561. return uint64(val)
  562. case int8:
  563. return uint64(val)
  564. case uint8:
  565. return uint64(val)
  566. case float64:
  567. return uint64(val)
  568. case float32:
  569. return uint64(val)
  570. case bool:
  571. if val {
  572. return 1
  573. }
  574. return 0
  575. default:
  576. rv := reflect.ValueOf(v)
  577. if rv.CanUint() {
  578. return rv.Uint()
  579. }
  580. if rv.CanInt() {
  581. return uint64(rv.Int())
  582. }
  583. return 0
  584. }
  585. }
  586. // toInt64 把任意数值/反射值转成 int64, 供有符号整数列 (FieldType_Int*) 使用。
  587. //
  588. // 不走 toUint64 再强转: 对负整数那条路是"绕一圈无符号", 靠低位截断侥幸正确;
  589. // 但对负浮点是未定义行为 (Go 规范: 负浮点转无符号数结果实现相关)。直接按有符号取,
  590. // 语义明确, 且 toInt8/16/32 也一并收敛到这里。
  591. func toInt64(v interface{}) int64 {
  592. switch val := v.(type) {
  593. case int64:
  594. return val
  595. case int:
  596. return int64(val)
  597. case int32:
  598. return int64(val)
  599. case int16:
  600. return int64(val)
  601. case int8:
  602. return int64(val)
  603. case uint64:
  604. return int64(val)
  605. case uint:
  606. return int64(val)
  607. case uint32:
  608. return int64(val)
  609. case uint16:
  610. return int64(val)
  611. case uint8:
  612. return int64(val)
  613. case float64:
  614. return int64(val)
  615. case float32:
  616. return int64(val)
  617. case bool:
  618. if val {
  619. return 1
  620. }
  621. return 0
  622. default:
  623. rv := reflect.ValueOf(v)
  624. if !rv.IsValid() {
  625. return 0
  626. }
  627. switch rv.Kind() {
  628. case reflect.Int, reflect.Int8, reflect.Int16, reflect.Int32, reflect.Int64:
  629. return rv.Int()
  630. case reflect.Uint, reflect.Uint8, reflect.Uint16, reflect.Uint32, reflect.Uint64:
  631. return int64(rv.Uint())
  632. case reflect.Float32, reflect.Float64:
  633. return int64(rv.Float())
  634. case reflect.Bool:
  635. if rv.Bool() {
  636. return 1
  637. }
  638. }
  639. return 0
  640. }
  641. }
  642. func toInt8(v interface{}) int8 { return int8(toInt64(v)) }
  643. func toInt16(v interface{}) int16 { return int16(toInt64(v)) }
  644. func toInt32(v interface{}) int32 { return int32(toInt64(v)) }
  645. // toFloatVal 把任意数值/反射值转成 float64, 供浮点列写入使用。
  646. // 注意这里不能经由 toUint64: 那会把小数部分先砍掉, 正是要避免的截断。
  647. func toFloatVal(v interface{}) float64 {
  648. switch val := v.(type) {
  649. case float64:
  650. return val
  651. case float32:
  652. return float64(val)
  653. case int64:
  654. return float64(val)
  655. case int:
  656. return float64(val)
  657. case int32:
  658. return float64(val)
  659. case uint32:
  660. return float64(val)
  661. case int16:
  662. return float64(val)
  663. case uint16:
  664. return float64(val)
  665. case int8:
  666. return float64(val)
  667. case uint8:
  668. return float64(val)
  669. case uint64:
  670. return float64(val)
  671. default:
  672. rv := reflect.ValueOf(v)
  673. if !rv.IsValid() {
  674. return 0
  675. }
  676. switch rv.Kind() {
  677. case reflect.Float32, reflect.Float64:
  678. return rv.Float()
  679. case reflect.Int, reflect.Int8, reflect.Int16, reflect.Int32, reflect.Int64:
  680. return float64(rv.Int())
  681. case reflect.Uint, reflect.Uint8, reflect.Uint16, reflect.Uint32, reflect.Uint64:
  682. return float64(rv.Uint())
  683. case reflect.Bool:
  684. if rv.Bool() {
  685. return 1
  686. }
  687. }
  688. return 0
  689. }
  690. }
  691. func toFixedBytes(v interface{}, size int) []byte {
  692. buf := make([]byte, size)
  693. switch val := v.(type) {
  694. case string:
  695. copy(buf, val)
  696. case []byte:
  697. copy(buf, val)
  698. default:
  699. // 数值类型: BigEndian 编码
  700. rv := reflect.ValueOf(v)
  701. if rv.CanUint() {
  702. binary.BigEndian.PutUint64(buf, rv.Uint())
  703. } else if rv.CanInt() {
  704. binary.BigEndian.PutUint64(buf, uint64(rv.Int()))
  705. }
  706. }
  707. return buf
  708. }
  709. func toBytes(v interface{}) []byte {
  710. switch val := v.(type) {
  711. case []byte:
  712. return val
  713. case string:
  714. return []byte(val)
  715. default:
  716. return nil
  717. }
  718. }
  719. // getPKValue 从结构体中提取主键值
  720. // 负数直接拒绝: 引擎的主键号是无符号 uint64, int64 主键填负数会被静默转成一个极大的号,
  721. // 之后按自己写的值既查不到也删不掉 —— 报错比留下查不到的行好。
  722. func getPKValue(obj interface{}, model *ModelInfo) (uint64, error) {
  723. // PKInStruct 现在恒为 true (表必须内嵌基类, 键列总能对应到结构体字段)。
  724. // 保留这个分支作为兜底: 万一将来又出现"键列不在结构体里"的模型, 让它退回
  725. // "主键填 0 → 由引擎分配"的旧行为, 而不是去取一个不存在的字段。
  726. if !model.PKInStruct {
  727. return 0, nil // PK 不在结构体中,返回 0 让 core 自动分配
  728. }
  729. v := reflect.ValueOf(obj)
  730. if v.Kind() == reflect.Ptr {
  731. v = v.Elem()
  732. }
  733. pkDef := model.AllFields[model.PKIndex]
  734. fv := fieldByModelPath(v, pkDef, model.StructType)
  735. if !fv.IsValid() {
  736. return 0, nil
  737. }
  738. if fv.CanInt() && fv.Int() < 0 {
  739. return 0, fmt.Errorf("%w: 字段 %s = %d 为负数, 主键必须是非负整数",
  740. ErrInvalidPrimaryKey, pkDef.Name, fv.Int())
  741. }
  742. return toUint64(fv.Interface()), nil
  743. }
  744. // setPKValue 设置结构体的主键值
  745. func setPKValue(obj interface{}, model *ModelInfo, pk uint64) {
  746. // 同 getPKValue: PKInStruct 恒为 true, 这里是防御性兜底。
  747. if !model.PKInStruct {
  748. return // PK 不在结构体中,无法回写
  749. }
  750. v := reflect.ValueOf(obj)
  751. if v.Kind() == reflect.Ptr {
  752. v = v.Elem()
  753. }
  754. pkDef := model.AllFields[model.PKIndex]
  755. fv := fieldByModelPath(v, pkDef, model.StructType)
  756. if fv.IsValid() && fv.CanSet() {
  757. // 走 setIntField 而不是 SetUint: 自定义主键可以是 int64,
  758. // 而在有符号整数上调用 SetUint 会 panic。
  759. setIntField(fv, int64(pk))
  760. }
  761. }
  762. // zeroValue 返回字段类型的零值
  763. func zeroValue(fd FieldDef) interface{} {
  764. switch fd.FieldType {
  765. case types.FieldType_Uint8:
  766. return uint8(0)
  767. case types.FieldType_Uint16:
  768. return int16(0)
  769. case types.FieldType_Uint32:
  770. return int32(0)
  771. case types.FieldType_Uint64:
  772. return uint64(0)
  773. case types.FieldType_Int8:
  774. return int8(0)
  775. case types.FieldType_Int16:
  776. return int16(0)
  777. case types.FieldType_Int32:
  778. return int32(0)
  779. case types.FieldType_Int64:
  780. return int64(0)
  781. case types.FieldType_Float64:
  782. return float64(0)
  783. // ===== 扩展类型: 零值必须与"标准解码载体"同类型, 否则写入时 EncodeValue 认不出来 =====
  784. case types.FieldType_Bool:
  785. return false
  786. case types.FieldType_Float32:
  787. return float32(0)
  788. case types.FieldType_Decimal:
  789. return types.Decimal{}
  790. case types.FieldType_UUID:
  791. return types.UUID{}
  792. case types.FieldType_Year:
  793. return int16(0)
  794. case types.FieldType_Int128:
  795. return new(big.Int)
  796. case types.FieldType_Blob:
  797. return []byte{}
  798. default:
  799. // 动态列的"值"就是字节内容本身: 行内那 6 字节堆引用由引擎写入时生成,
  800. // 不能当成值送进去 (旧写法送 6 个零字节, 落盘是一条 6 字节的垃圾内容)。
  801. if types.IsDynamic(fd.FieldType) {
  802. return []byte{}
  803. }
  804. // 定长字符串列的零值 = 该列宽度个零字节。宽度必须取列声明 (fd.Width()),
  805. // 不是类型默认: `maxlen:1000` 的列按 256 补零会让 EncodeValue 的长度校验失败,
  806. // "写零值"这条路直接报错。
  807. if size := int(fd.Width()); size > 0 {
  808. return make([]byte, size)
  809. }
  810. return []byte{}
  811. }
  812. }